大数据存储与处理培训课件(PPT 84页)

主要内容
Hadoop是什么？
Hadoop起源
Hadoop的特点
Hadoop越来越火
谁在用Hadoop？
Hadoop应用案例
Yahoo Hadoop应用揭秘
中国移动
Hadoop生态系统
Hadoop基本架构——物理分布的Hadoop集群
Hadoop基本架构——物理部署
HDFS文件系统——设计目标
HDFS文件系统——设计基础与目标
HDFS文件系统——能做什么？
HDFS文件系统不适合做什么？
HDFS文件系统——文件
HDFS文件系统——主要组件的功能
HDFS文件系统—— NameNode
HDFS文件系统—— DataNode
HDFS文件系统——系统架构
HDFS文件系统——保障可靠性的措施
HDFS如何写文件？
HDFS如何读文件？
读文件流程
HDFS的可靠性——回顾
MapReduce设计目的——大规模数据处理
MapReduce——特性
MapReduce示例
MapReduce数据流
从Map到Reducer数据整体传输过程
MapReduce数据流——输入
MapReduce数据流—— Map结果输出
MapReduce数据流—— shuffle和sort
MapReduce数据流—— Partitons
MapReduce数据流—— combiner
MapReduce数据流—— map输出结束
MapReduce数据流—— copy
MapReduce数据流—— Reduce
MapReduce数据流——输出
单一Reduce处理
多Reduce处理
无Redue处理
MapReduce工作原理
Hadoop 中的 MapReduce
MapReduce 作业执行流程
作业调度机制
任务执行优化
错误处理机制——硬件故障
错误处理机制——任务失败
大纲
实践
必要条件
启动系统
通过Web了解hadoop的状况
Jobtracker
NameNode
HDFS文件操作
列出HDFS下的文件
上传文件到HDFS
将HDFS文件复制到本地
查看HDFS基本统计信息
怎么添加节点
举例：单词计数
Map函数
Reduce函数
程序运行
MapReduce的应用
练习一：使用Hadoop HDFS
练习二：maprduce

..............................