14899_大数据技术基础(实践)_教材书籍

商品详情

书名：大数据导论

定价：42.00元

作者：李建伟编

出版社：北京邮电大学出版社

出版日期：2019-09-01

ISBN：9787563558810

版次：1

装帧：平装

开本：16开

内容简介

本书系统地介绍了大数据技术的基础知识。本书实战环节的知识是在大数据培训的基础上总结提炼出来的，案例都为企业实际开发中的案例，所以内容的科学性和有效性已经被证实过，期望读者通过对本书的学习和对本书案例的实践，理解大数据技术的概念和原理，掌握Hadoop大数据技术中*基础和*重要的知识和实践。

本书的主要内容包括大数据的概念及价值，Hadoop2.0介绍，分布式文件系统HDFS的原理、常用命令操作和编程实践，分布式计算框架MapReduce的原理、基础编程和高级编程，分布式资源管理系统YARN平台，分布式锁服务ZooKeeper，Hadoop高可用集群搭建和Hadoop实战项目。

本书可作为高等院校成人教育数据科学与大数据技术、计算机科学与技术和软件工程等专业的大数据课程教材，也可作为相关技术人员的参考书。

作者简介

李建伟，2005年毕业于北京邮电大学，美国Marist College访问学者，主要研究方向：智能自适应学习系统和大数据学习分析，曾主持研发了北京邮电大学网络教育学院远程教育平台。主要参与的、省部级科研项目有国家“十五”重大科技攻关计划“网络教育关键技术及示范工程项目”，国家科技支撑计划项目“虚拟实验智能指导与管理系统的研发”，国家科技重大专项“宽带无线校园创新实验网体系架构与关键技术研究”等，已发表论文19篇，获得国家发明专利2项，获得北京市教学成果二等奖1次。

目录

第1章大数据概述1

1.1大数据概念及价值1

1.2大数据数据源4

1.3大数据技术应用场景5

1.4大数据处理流程及技术7

1.5大数据与云计算的关系9

1.6大数据与人工智能的关系10

本章小结11

习题一11

第2章Hadoop介绍12

2.1Hadoop简介12

2.1.1Hadoop由来12

2.1.2Hadoop发展历程12

2.1.3Hadoop生态系统14

2.2Hadoop的体系架构17

2.2.1分布式文件系统HDFS17

2.2.2分布式计算框架MapReduce18

2.2.3分布式资源调度系统YARN18

2.3Hadoop依赖的技术基础19

2.3.1Java编程基础19

2.3.2Web可视化技术基础27

2.3.3关系数据库基础30

2.3.4Linux基础31

2.4Hadoop2.0集群搭建69

2.4.1伪分布式安装部署69

2.4.2全分布式安装部署74

本章小结80

习题二80

第3章分布式文件系统HDFS81

3.1HDFS简介81

3.2HDFS的设计目标81

3.3HDFS的体系架构82

3.3.1主从架构83

3.3.2HDFS高可用性架构84

3.4HDFS的核心设计87

3.4.1数据复制87

3.4.2健壮性设计90

3.4.3数据组织91

3.4.4存储空间回收机制91

3.4.5可访问性92

3.5HDFS中数据流的读写93

3.5.1RPC实现流程93

3.5.2文件的读取94

3.5.3文件的写入95

3.5.4一致性模型97

3.6HDFS的联邦机制98

本章小结99

习题三100

第4章访问HDFS的常用接口101

4.1HDFS常用命令接口101

4.2HDFS编程环境准备105

4.2.1IDEA的安装配置及特性105

4.2.2Maven的安装配置114

4.3Java接口119

4.3.1在本地Windows机器上配置Hadoop环境变量121

4.3.2编写Java客户端程序122

本章小结130

习题四130

第5章分布式计算框架MapReduce131

5.1MapReduce编程模型简介131

5.1.1产生背景131

5.1.2MapReduce编程模型133

5.1.3MapReduce工作流程134

5.1.4MapReduce两个版本比较139

5.2MapReduce入门编程140

5.2.1认识Map和Reduce140

5.2.2MapTask阶段140

5.2.3ReduceTask阶段145

本章小结147

习题五148

第6章MapReduce基础编程149

6.1MapReduce编程设计149

6.1.1MapReduce分布式计算模型149

6.1.2MapReduce分布式编程框架150

6.2MapReduce编程实例wordcount151

6.2.1wordcount开发需求分析151

6.2.2编程环境准备152

6.2.3编写Mapper类152

6.2.4编写Reducer类154

6.2.5MapReduce程序在YARN集群的运行机制155

6.2.6编写YARN的客户端156

6.2.7YARN集群的配置、作业打包和启动161

本章小结163

习题六163

第7章分布式资源管理系统YARN165

7.1YARN简介165

7.2发展史165

7.2.1Hadoop1.0165

7.2.2Hadoop2.0和Hadoop1.0的区别166

7.2.3MapReduce计算框架的演变166

7.3YARN的架构167

7.4YARN集群执行应用程序的工作流程169

7.5Hadoop如何使用YARN运行一个Job170

7.6YARN的调度策略173

7.7YARN的重要概念总结176

本章小结176

习题七177

第8章MapReduce高级编程178

8.1Combiner178

8.2Partitioner179

8.3计数器180

8.4排序188

8.5Join连接197

8.6倒排索引205

8.7求平均值和数据去重210

本章小结215

习题八216

第9章分布式锁服务ZooKeeper217

9.1ZooKeeper基本概念介绍217

9.1.1ZooKeeper的定义217

9.1.2ZooKeeper的基本原理和应用场景217

9.1.3ZooKeeper的选举机制218

9.1.4ZooKeeper的存储机制220

9.2ZooKeeper集群部署220

9.3ZooKeeper编程实例222

9.3.1ZooKeeper API基础知识222

9.3.2ZooKeeper API介绍及编程实例222

本章小结229

习题九229

第10章Hadoop高可用集群搭建230

10.1HDFS高可用的工作机制230

10.2集群规划231

10.3Hadoop HA集群搭建232

10.3.1前期准备232

10.3.2安装ZooKeeper集群233

10.3.3安装Hadoop集群234

10.3.4启动集群242

10.3.5测试245

本章小结247

习题十247

参考文献248

1、 电子资料：购买后1分钟左右系统自动发送到邮箱内；如长时间未收邮件，请查看是否被拦截在垃圾箱中；如遇发货失败，登录后购买的用户可于会员中心”已购资料“处下载；如购物邮箱填写错误，请联系客服进行修改或资料索取；电子资料购买后，一年内可以免费下载！

2、 在线题库，考前押题和精讲网课购买后，请分别于会员中心"已购题库"，"已购押题"和"已购视频"中进行查看。

3、 书籍教材：购买后如本地仓库有现货，客服会在2个工作日内发货，发货完会发送短信提醒，告知快递信息，用户可以自行查询物流信息。登录后购买的订单，可以进入会员中心，发货订单查看订单发货状态及实时的物流；如需要调货处理的，则需要耐心等待仓库发货，一般发货不会超7个工作日，如有疑问请咨询在线客服！

4、 收货说明：非书籍的电子资料/视频课具有可复制性，购买后不支持退款操作，如您需要的课程资料本网暂时没有，请直接联系客服补充！书籍收货后如因自身原因需要退换货，需要您承担退换货所产生的物流费用。