阿里巴巴全域数据建设方案.docx

1
阿里巴巴全域数据建设方案
阿里巴巴数据技术及产品部定位阿里数据中台：以全域大数据建设为中心，技术上覆盖整个大数据从采集、加工、服务、消费的全链路的各个环节，对内对外提供服务。丰富的大数据生态组件，构成了阿里的队的组建等等，都会耗费企业大量的资金和人力。以优土（优酷土豆的简称）为例，优土去年加入阿里巴巴集团之后，我们开始启动数据融合项目：在此之前，优土有自己的Hadoop集群，阿里巴巴的数据规模则大的多，将优土数据融合到阿里大平台上，可以让优土获得更多弹性资源，也可以在基础设施运维、人力运维、平台运维上复用集团的技术体系；基于OneData大数据建设体系、统一的数据采集规范等，减少人力及运维成本。当项目完结后，我们发现目前优土在数据建设上的成本不到原来
9
50%。
◎其次，技术赋能
客观来说，在阿里生态内公司的数据能力参差不齐，因此为了赋能其他生态公司，我们通过短时间的数据体系迁移，让他们拥有和阿里集团同样的大数据能力。上述的优土融合项目就是通过半年时间，实现了技术赋能。
◎第三，数据连接——
我们知道数据孤岛的现象不光存在于传统行业，互联网行业也是一样。所以只有把数据连接起来，它才能发挥更大的价值，消除数据孤岛，让数据连接起来，也是我们进行全域数据建设的目的之一。
◎最后，赋能业——
无论我们的集群规模有多大，服务体量有多大，最终还是要回归业务、通过业务的数据表现来体现我
们的价值一巴数据体系统一后，除了让业务可以更加准确、快速的获取决策分析数据外，还能提供
业务快速试错的机会，最终为业务创新降低了门槛。
9
04如何建设全域数据
在整个全域数据接入过程中，尽管基础设施建设已经非常强大，但在实际过程中，我们仍然面对了诸多困难和挑战。仍以优土为例,它的大数据机房在青岛阿里集团大部分数据集群都在内蒙古和张北，而涉及到数据迁移也绝不是"拉一根网线”这么简单——其中涉及到应用体系、大数据架构都需要定制方案去做；
另外，统一数据采集在接入的过程中也会就原有业务进行统一梳理，包括后面的数据验证，做过数据的人应该都知道其中的痛点；同时在迁移过程中，原有的数据对业务的服务还不能停，这事情我们叫——飞机上换轮子，一边要进行核心零部件更新，一边还要保持高速飞行；
10
css
刍蝕学吧
最后就是项目周期，基于现实情况，大数据建设一般需要较长的周期，无法在几周内完工，因为大数据建设不是一蹴而就，而是一根体系化过程。
从基础设施来看，阿里经过电商发展，包括多年双11这种特殊场景下的考验，在基础设施上，从数据中心到网络到服务器，到数据库中间件、计算平台、数据平台、算法平台都有了非常多的沉淀。
因此，在建设全域数据的时候，我们要做的第一步就是将生态公司的数据在基础设施阶段就进行融合。
基础设施
FanMQ
^¥3■T^aSifL
计rt^tiiw■呷*»
JU^fnfBmPkvEFHi
mmmr*
<HWF
盍黃SHE
11
<25
m讀学吧
我们的数据组件划分如下：
最底层——数据采集，这是数据的来源；中间——计算存储平台：实时计算采用自主研发的Blink,离线则采用MaxCompute。
•WM
f血
«Tfql
DQC
Him
大数据生态组件
T4AR
Aa/laSbwirnAPI
ttfldMpHDr5num
KfawCDmfMA^MH闻y(xw*MRHita
TuhtkI
ECKPWPL
R
12
12
uw^TiacK
上图详细介绍了我们的数据组件：
基于用户的网上行为去做数据采集（我们有PC和无线的采集体系）然后放到实时、离线计算平台上来，这两个计算平台除本身计算能力外，还有许多基于SQL、Graph等可编程的能力，最上面就是研发工具、产品服务、BI工具。
12
有如此强有力的基础支撑外，长在上面的应用能力也非常给力：以研发工具为例，阿里有约两万名研发工程师，而每天基于阿里数据平台开展工作的同学就有近一万人！
基于这些丰富的大数据组件，大部分的研发同学、专业的或非专业的同学都能在上面基于大数据做一些探索和尝试。
下面介绍我们在全域数据建设中的几个体系：
◎首先看流量体系——
这是互联网行业和传统行业最大的区别。
打个比方，如果我们把淘宝可以看做流量分发中心，用户进来后把流量给到商品、给到卖家。那么在进行流量数据采集时，大家可能会纟合出不同的方案。
15
m魏学吧
我们基于阿里巴巴多年的电商经验，也沉