Hadoop综述.ppt

Hadoop综述
主要内容
2
第一篇HDFS 分布式文件系统
第二篇 MapReduce
第三篇 Hbase简单介绍
第一篇HDFS
3
一: The Design of HDFS
二: HDFS Concepts
三:应用程序示例
四:Data Flow
第二篇 MapReduce
4
一:MapReduce基础
二:MapReduce数据流
三:MapReduce工作原理
第三篇 Hbase简单介绍
5
一:简介
二:数据模型
三:行、列、时间戳、API
第一篇HDFS 分布式文件系统
1 The Design of HDFS
Very large files
大数据集合为目标数
以千万计的文件
典型文件大小一般都在千兆至T字节
Streaming data access
write-one-read-many访问模型
文件创建、写,关闭之后不需要改变简化数据一致性
适合MapReduce框架,或者web modity hardware
错误检测和快速、自动的恢复是HDFS的核心架构目标
1 The Design of HDFS
Low-latency data access
流式读为主
比之关注数据访问的低延迟,更关键在于数据访问的高吞吐量
arbitrary file modifications
严格要求在任何时候只有一个writer。文件尾
在异构的软硬件平台间的可移植性移动计算
Java编写
2 HDFS Concepts
blocks
Namenodes and Datanodes
mand-Line Interface
通信接口
HDFS Concepts-blocks
files in HDFS are broken into block-sized chunks(64 MB by default)
减少元数据的量
有利于顺序读写(在磁盘上数据顺序存放)
副本的默认数目是3
a file can be larger than any single disk in work.
making the unit of abstraction a block rather than a file simplifies the storage subsystem.