携程-携程基础大数据架构实践.pdf

该【携程-携程基础大数据架构实践 】是由【小舍儿】上传分享，文档一共【13】页，该文档可以免费在线阅读，需要了解更多关于【携程-携程基础大数据架构实践 】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。:.
携程基础大数据架构实践
基础大数据于磊:.
背景
•OTA公司数据特点
•业务线差异性大、复杂度高
•机票
•酒店
•团队游
•门票
•租车
•Wifi
•大数据落地场景
•分析报表
•ABtest平台
•用户中心
•个性化推荐栏位
•精准化运营
:.
大数据现状
•在携程,有20个BU,以及相应的数据团队
•数据源
•数据消费者
•数据的挖掘者
•数据问题
•数据来源多
•标准不一
•ETL流程管理困难
•全司级跨BU数据使用困难:.
携程大数据治理
•在携程,数据治理工作及架构
•埋点数据规范
•ABtest平台
•用户画像
•实时用户意图
•报表系统
•实时商品信息
•实时订单
•用户推荐引擎
:.
携程基础大数据架构
精准化应用层
推荐栏位个性化广告CRM搜索排序
BU大数据应用
投放报表
通用化配置层
通用精准化营销平台通用报表平台
算法引擎层
用户画像用户实时意图相关DW规范验证BU算法挖掘
日志层
实时/离线订单实时/离线商品
实时/离线用户行为BU日志
佣金日志信息日志
数据源层
埋点规范系统订单/佣金规范系统规范下发BU线上系统
基础大数据团队20个BU的数据团队:.
数据源层
•埋点规范
•埋点注册
•埋点生成
•规范校验
•测试环境实时校验(事前)
•ETL数据校验(事中)
•离线校验告警(事后)
:.
规范监控报表门户:.
:.
日志层
•数据接入
•TraceMQ(Kafka等)
•离线&实时
•Hive
•Storm
•对外接口
•MQ
•APIService
•Hive表:.
算法引擎层
•数据接入
•离线:Hive表(Zeus调度)
•实时:MQ(Kafka等)
•算法引擎
•离线:用户画像、相似相关商品、规则挖掘、主题挖掘(HBase、Redis)
•实时:用户意图(HBase、Redis)
•DW:Hive、ES
•规范验证
•画像审核系统
•ETL中Schema识别
•测试环境血缘审核:.
通用化配置层
•通用化精准营销平台【开发中】
•选人魔方(广告、SMS、APP推送、EDM)
•个性化推荐平台
•选品平台
•数据出口
•ServiceAPI
•Hive表
推荐栏位广告推送发券
统一配置化平台
UI模版选人模块选品模块
推荐引擎(KV)
管理(ES+Spark)(ES+Hbase):.
数据治理在携程
数据规范统一数据接口数据安全管理
•元数据字典•时间维表•KPI
•元数据监控•埋点规范•气候维表•订单索引•UIP•数据隔离
•地理维表•用户肖像•权限管理
•产品索引
•用户偏好
元数据管理统一维表标准化指标:.
元数据标准流程
SQL
采集数
据
schema
Muise
定期
元数
创建
变更血缘通知
数据据扫
Redis预警分析下游
表描及
加入定比对
时扫
Hbaseschema
列表
HDFS