携程实时大数据平台实践分享.pdf

携程实时大数据平台实践分享GITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITC2016-06-30公司简介OPS/携程旅游网成立于1999年,总部设在上海,:在全球200多个国家和地区拥有超过120万家酒店的会员酒店机票预订:产品覆盖全球六大洲5000多大中城市旅游度假:线路产品覆盖超过100多个目的地国家和地区;2015年大陆地区度假产品的服务人次超过2000万我的介绍OPS/浙江大学本科,硕士毕业近10年工作经验,5年大数据架构的经验之前在eBay中国研发中心和大众点评工作过,从0开始组件团队,搭建起大众点评数据平台GITCGITCGITCGITCGITC的基础架构GITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITC目前是携程的大数据平台负责人关注大数据架构领域的发展,对Hadoop,HIVE,HBASE,Spark,Storm等有所研究,致力于大数据架构和业务场景的结合和落地,通过数据产生业务价值目录OPS/缘起小试牛刀GITCGITCGITCGITCGITCGITCGITCGITC成熟和完善GITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITC新方向和新尝试不断演进中的平台缘起OPS/携程数据业务的特点:•业务部门多,形态差别大:酒店/机票两大BU,近20个SBU和公共部门•业务复杂,变化快之前,各个业务部门也有一些实时数据应用,但存在着诸多问题:GITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITC•技术上五花八门•力量薄弱,应用的稳定性无法保证•缺少周边的配套设施•数据和信息共享不顺畅平台需求OPS/稳定可靠的平台:业务只需要关心业务逻辑的实现,平台维护交给专业同学完整的配套设施:测试环境,上线,监控,告警信息共享:数据共享,应用场景共享,互相启发GITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITC及时的服务:解决从开发,上线,维护整个过程中遇到的问题技术选型OPS/消息队列:实时处理平台:GITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITC主要出于成熟度,稳定性的考虑,我们最后选择Storm作为数据处理的平台系统架构示意图OPS/DBUBTServerKafkaStormRedisGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCGITCESBUClientsHBASE这样远远不够!平台治理–数据共享OPS/数据共享:数据共享的前提是用户能够清楚地知道可以使用的数据源的业务的含义以及其中数据的Schema我们的解决方法是