通用大数据存储与分析处理平台-Hadoop.docx

通用大数据存储与分析处理平台
总体建设方案
(Hadoop)

目录
1 Hadoop 1
概述 1
Hadoop能做什么 1
特点 1
软件设计 1
Hadoop 中的文件格式 1
机架感知 10
Hadoop知识学习篇 11
RPC 11
Avro、Thrift 11
Java接口 11
FileSystem总结 1
文件读取过程/文件写入过程 4
Hadoop均衡器 1
Hadoop存档 1
数据完整性 3
压缩 4
序列化【优点】 6
序列化框架 11
MapReduce过程中的序列化与反序列化 20
√HDFS数据结构 25
MapReduce框架 26
MapReduce工作机制 39
推测执行【优点】 42
重用JVM【优化】 43
IDS 43
输入格式 43
输出格式 15
计数器 20
√排序技术 24
√连接 33
DistributedCache 38
√作业链接 42
√默认的MapReduce作业 43
集群规范 43
网络拓扑[优点] 44
环境设置 48
守护进程的关键属性 49
安全性 53
安全模式 53
fsck工具 53
日常维护 55
Hadoop知识总结篇 57
Hadoop通信协议总结 57
通过日志掌握Hadoop运行过程(HDFS/MAPREDUCE) 1
MapReduce配置调优 1
MapReduce过程配置 1
应用程序运行JOB 2
Hadoop源码篇 2
2 Accumulo 4
3 海量数据查询支撑分系统 4
Dremel 4
概述 4
软件设计 5
一句话总结 9
Drill 9
概述 9
Tez 10
Impala*** 14
Tajo*** 14
序列化框架与RPC 15
Avro 15
Protocol 15
Thrift 15
缓存 15
4 算法研究***** 16
BloomFilter 16
集合表示和元素查询 16
错误率估计 17
最优的哈希函数个数 18
位数组的大小 18
总结 19
Bit Map(BitSet) 20
Bit Map的基本思想 20
Map映射表 22
位移转换 22
扩展 25
Bit-Map的应用 25
Bit-Map的具体实现 25
哈希算法 32
二叉树 43
堆与堆排序 43
双层桶划分 49
trie树 50
外排序 56
5 海量数据处理思路 58
Bloom filter 80
Hashing 81
bit-map 82
堆 83
双层桶划分 83
数据库索引 84
倒排索引(Inverted index) 84
外排序 85
trie树 86
6 经典博文 88
从Hadoop框架与MapReduce模式中谈海量数据处理 88
前言 88
第一部分、mapreduce模式与hadoop框架深入浅出 88
架构扼要 88
Mapreduce模式 89
Hadoop框架 90
Hadoop的组成部分 90
第二部分、淘宝海量数据产品技术架构解读—学习海量数据处理经验 92
淘宝海量数据产品技术架构 92
mapreduce的二次排序 SecondarySort 95
Hadoop
概述
Hadoop能做