AB测试和灰度发布平台架构设计和实践.pdf

AB测试和灰度发布平台
架构设计和实践
1688技术部 欧舟（翰承）

大纲
 业务价值
 系统设计
 架构优化
 Q&A
AB测试介绍
AB测试 (A/B Test ) ，也称Bucket Test
版本A 版本B
转化率A 转化率B
业务价值
 缩短测试周期
 减少测试干扰，提高测试准确性和价值
 减少用户伤害，降低测试影响
页面优化及改版方案评估决策
后台算法，引擎及业务逻辑优化
还有哪些公司在使用A/B测试？
 Google
 百度
 微软
 易趣
 Amazon
 BBC
 迪斯尼
 。。。
核心环节
运行
分析
分流
评价
记录 • 和业务系统高度耦合
• 缺乏通用性
• 过程繁琐
BucketTest系统介绍
 阿里巳巳集团最主要的 AB测试和灰度収布平台
 中文站、国际站、阿里金融、天猫，淘宝，支付宝（开
源）、一淘（开源）等多个事业部
 30多条产品线的200多个项目
 多项核心技术
BucketTest系统案例
• 中文站举例 国际站举例 阿里金融举例
• Exodus系统会员登录 • 排序算法mlr升级 • 直投贷款
• 中文站首页改版 • magellan样式切换及改 • 老客户利率
版
• 人气搜索 • 订单贷款提前收款
广告算法升级及样式
• 321大促 • p4p • 账务明细白名单名单
改版
• 云归项目 • 天猫订单未续签不准入
• 搜索样式、按地域实验
• 919大促 • 天猫个人担保名单
• PPC右侧样式实验
• • 集市信贷等额本金
• ae_style实验
• 服装和社区首页改版 • 集市信贷合并还款日
• 勃兰项目
• 1122大促活动 • 集市短期贷款测试名单
• winner项目
• 物流项目 • 订单息费模式白名单
• Supplier频道
• 服装行业年度盘点活动 一淘举例
• compare分流实验
• 搜索排序测量模型测试 • P4P精美广告投放
• minOrder分流实验
• offerdetail页面测试 • P4P114首页改版升级
• 首页推荐算法
主要模块