大数据技术峰会-廖晓格(携程).pdf

Make Big Data Visualizable and Real-time 廖晓格携程大数据平台组 About us ?来自携程大数据平台Team ?负责携程大数据平台的搭建,优化,排障和监控调度系统开发 Agenda ?背景介绍?携程大数据平台架构?HBase在携程应用?携程产品生态介绍?未来挑战背景介绍?携程所有应用不允许写本地日志?每天日志量40T,总条数上千亿条?每天用户行为数据30T ?业务数据飞速增长?所有数据都需要及时反馈给用户,应用或监控携程大数据架构报警用户可以在网站, 手机端查看网站各种趋势和报警预测/ 分析 BI报表 DashBoard 用户行为分析 DI Portal:Job执行,监控和调度系统 Hive Mahout Sqoop Shark ZooKeeper YARN HBase HDFS 携程大数据平台多个HBase集群, 分业务部署,共享HDFS Central Logging Storm MapReduce Spark 用户可以提交job, sql(hive or spark),sqoop, workflow调度系统, 可以查询HBase, metric,监控整个 hadoop平台携程集群分布 Storm HBase Hive Mahout Sqoop HDFS MapReduce Online Offline Spark Shark 携程数据流 HDFS Sqoop Mahout Dashboard DI Portal 调度系统 BI/报表团队游数据库机票酒店攻略社区实时用户行为分析 Log Cube UBT 爬虫告警应用告警数据层 Map/Reduce Storm 数据流向应用数据系统数据 HBase 业务层……前端JS数据 Hive JDBC/ SPARK SQL Spark HBase在携程?40个节点支持每天5百亿+条数据量,上20T+的容量?7x24小时服务?每秒百万级请求?改进balance来消除热点?专用HBase运维工具Tool:快速定位问题,发现并消除热点 HBase热点消除 HBase Client端优化?Endpoint + 自定义各种Filter实现在服务端计算SUM,COUNT,AVG,MAX,MIN