Hadoop集群程序设计与开发PPT.rar
sqlcls27.97MB需要积分:1资源文件列表:
Hadoop集群程序设计与开发PPT.rar.zip 大约有5个文件 
Hadoop集群程序设计与开发PPT.rar.rar 7.35MB - Hadoop集群程序设计与开发教材最终代码(1).zip 2.99MB
- Hadoop集群程序设计与开发教学大纲.doc 70KB
- Hadoop集群程序设计与开发教学进度.doc 57KB
- 大数据基础PPT.zip.zip 17.6MB
资源介绍:
Hadoop集群程序设计与开发PPT.rar
《Hadoop 集群程序设计与开发》教学
大纲
课程名称：Hadoop 集群程序设计与开发
课程类别：必修
适用专业：大数据技术类相关专业
总学时：64 学时
总学分：4.0 学分
一、课程的性质
本课程是为大数据技术类相关专业学生开设的课程。大数据技术蓬勃发展，基于开源技
术的 Hadoop 在行业中应用广泛。Hadoop 开源免费、社区活跃，框架具备分布式存储和计
算的核心功能，并且有企业成功的案例（如如淘宝、百度等）。本课程首先通过企业项目发
展历程介绍了大数据与云计算的概念并将 Hadoop 在这二个领域中的作用与地位进行阐述。
通过 Hadoop 源码片断与理论及实操结合的模式介绍 Hadoop 分布式存储框架 HDFS 与分布
式计算框架 MapReduce 的用法。对于 HDFS 不能很好支持小条目读取的缺陷，引入 HBase
框架进行应用说明。对于 MapReduce 框架对于项目专业人员的技能要求门槛高，复杂业务
开发周期较长的问题引入了 Hive 框架进行应用说明。Hadoop 与 HBase 和 Hive 结合进行项
目中大数据的存取与统计计算在企业中的运用越来越广泛，学习 Hadoop 框架已然是进入大
数据行业所必不可少的一步。
二、课程的任务
通过本课程的学习，使学生对 Hadoop 框架有一个全面的理解，课程内容主要包括了
Hadoop 基本原理与架构、集群安装配置、HDFS 应用、HDFS I/O 操作、MapReduce 工作原
理与应用编程、HBase 基本应用、Hive 基本应用，关键知识点配置 Hadoop 源码片断和实操
案例进行辅助。涉及的知识点简要精到，实践操作性强。
三、教学内容及学时安排
序
号
章节名称
主要内容
教学目标
学时
1
初识 Hadoop
1. 为什么要学习 Hadoop
2. Hadoop 与云计算的关系
3. Hadoop 与大数据的关系
4. 学习 Hadoop 需要具备哪
些知识基础
5. 学习 Hadoop 需要的实验
环境什么样
6. 学习完 Hadoop 能做什么
1. 了解 Hadoop 产生过程、应
用场景
2. 理解云计算、大数据概念及
Hadoop 与它们的关系
3. 了解 Hadoop 学习过程及目
前 Hadoop 人才需求情况
4
2
Hadoop 基 础 知
识
1. Hadoop 简介
2. Hadoop 版本演化工作原
理
3. HDFS（分布式文件系统）
工作原理
4. MapReduce （ 分 布 式 计
算框架）工作原理
5. YARN（资源管理系统）
工作原理
6. 容错机制
7. 安全性
1. 了解 Hadoop 版本衍化情况
及生态系统的特点
2. 掌握 Hadoop 版本原理衍化
过程
3. 掌握 HDFS、MapReduce、
YARN 工作原理
4
3
Hadoop 开 发 环
境配置与搭建
1. 集群部署
2. 本地/独立模式搭建
3. Hadoop 伪分布模式搭建
4. 完全分布式搭建
5. 基 于 Hadoop 环 境
Eclipse 开发环境搭建
1. 掌握集群部署的要点
2. 掌握 Hadoop 集群配置的流
程及内容
3. 掌 握 基 于 Hadoop 平 台
Eclipse 开发环境的建立过程
8
4
Hadoop 分 布 式
文件系统（HDFS）
1. HDFS 流操作
2. HDFS 常 用 命 令 行 操 作
概述
3. 通过 Web 浏览 HDFS 文
件
4. HDFS API
1. 理解 HDFS 流的操作过程
2. 掌握常用 HDFS 命令
3. 掌握 HDFS Java API 编程
写法
4
5
Hadoop 的 I/O 操
作
1. 压缩
2. I/O 序列化类型
3. 基于文件的数据结构
1. 掌握压缩类型的正确应用
2. 掌握 Writable 类型的正确
应用
3. 掌握自定义 Writable 类型
的实现与应用
4. 掌 握 SequenceFile 的 基 本
应用
6
ycz0821
mxyzhy
qq_44152062
jq12345c
weixin_39344648
oaoutoaout