携程-携程基础大数据架构实践.pdf

携程基础大数据架构实践
基础大数据 于磊
背景
• OTA公司数据特点
• 业务线差异性大、复杂度高
• 机票
• 酒店
• 团队游
• 门票
• 租车
• Wifi
• 大数据落地场景
• 分析报表
• AB test平台
• 用户中心
• 个性化推荐栏位
• 精准化运营
大数据现状
• 在携程，有20个BU，以及相应的数据团队
• 数据源
• 数据消费者
• 数据的挖掘者
• 数据问题
• 数据来源多
• 标准不一
• ETL流程管理困难
• 全司级跨BU数据使用困难
携程大数据治理
• 在携程，数据治理工作及架构
• 埋点数据规范
• AB test平台
• 用户画像
• 实时用户意图
• 报表系统
• 实时商品信息
• 实时订单
• 用户推荐引擎
携程基础大数据架构
精准化应用层
推荐栏位 个性化广告 CRM 搜索排序
BU大数据应用
投放 报表
通用化配置层
通用精准化营销平台 通用报表平台
算法引擎层
用户画像 用户实时意图 相关DW 规范验证 BU算法挖掘
日志层
实时/离线订单 实时/离线商品
实时/离线用户行为
佣金日志 信息日志 BU日志
数据源层
埋点规范系统 订单/佣金规范系统 规范下发 BU线上系统
基础大数据团队 20个BU的数据团队
数据源层
• 埋点规范
• 埋点注册
• 埋点生成
• 规范校验
• 测试环境实时校验（事前）
•