京东大数据技术白皮书.pdf

京东大数据技术白皮书





京东大数据平台部出品
顾问：
张晨 裴健 翁志


主要作者（排名不分先后）：
赵国梁、刘荣明、李冬峰、冯玉敏、滕永铮、王哲涵
王永亮、王文生、李双义、刘业辉、白贤锋、王威
焦文健、张晓鑫、赵鹏、纪鸿焘、乔超、吴怡然







欢迎关注京东大数据微信公众号及京东技术公众号
京东大数据技术白皮书
目 录
序言 ..................................................................................................................... 3
前言 ..................................................................................................................... 5
1 京东大数据的发展历程 ................................................................................. 8
2 京东大数据的技术体系 ................................................................................ 10
数据采集和预处理 .............................................................................. 10
流量数据采集 ..................................................................................... 13
数据存储体系 ..................................................................................... 22
离线计算环境 ..................................................................................... 34
实时计算环境 ..................................................................................... 37
机器学习环境 ..................................................................................... 40
任务管理和调度 .................................................................................. 43
资源监控和运维 .................................................................................. 49
3 京东大数据的数据管理 ................................................................................ 54
数据架构设计 ..................................................................................... 55
数据资产管理 ..................................................................................... 57
统一指标体系 ...