大数据技术白皮书-D.docx

大数据技术白皮书
如：到2021年 对5()()名分析师进行公共部门数据科学方术体系及主要开源软件
大数据基础技术为应对大数据时代的多种数据特征而产生。大数据
时代，数据量大、数据源异构多样、数据实效性高等特征催生了高 效完
成海量异构数据存储与计算的技术需求。在这样的需求下，面对迅速而庞
大的数据量，传统集中式计算架构出现难以逾越的瓶颈，传 统关系型数据
库单机的存储及计算性能有限，出现了规模并行化处理
（Massively Parallel Processing, MPP）的分布式计算架构；面向海量
网页内容及日志等非结构化数据，出现了基于Apache Hadoop和Spark
生态体系的分布式批处理计算框架；面向对于时效性数据进行实时计算
反馈的需求，出现了 Apache Storm> Flink和Spark Streaming等分布
式流处理计算框架。
数据管理类技术助力提升数据质量与可用性。技术总是随着需求
的变化而不断发展提升。在较为基本和急迫的数据存储、计算需求已在
一定程度上得到满足后，如何将数据转化为价值成为了下一个最主要需
求。最初，企业与组织内部的大量数据因缺乏有效的管理，普遍存在着
数据质量低、获取难、整合不易、标准混乱等问题，使得数据后续的使
用存在众多障碍。在此情况下，用于数据整合的数据集成技术，以及用于
实现一系列数据资产管理职能的数据管理技术随之出现。
数据分析应用技术发掘数据资源的内蕴价值。在拥有充足的存储计
算能力以及高质量可用数据的情况下，如何将数据中蕴涵的价值充分挖
掘并同相关的具体业务结合以实现数据的增值成为了关键。用以
发掘数据价值的数据分析应用技术，包括以BI(Business Intelligence)
工具为代表的简单统计分析与可视化展现技术，及以传统机器学习、基
于深度神经网络的深度学习为基础的挖掘分析建模技术纷纷涌现，帮助
用户发掘数据价值并进一步将分析结果和模型应用于实际业务场景中。
数据安全流通技术助力安全合规的数据使用及共享。在数据价值的
释放初现曙光的同时，数据安全问题也愈加凸显，数据泄露、数据丢失、
数据滥用等安全事件层出不穷，对国家、企业和个人用户造成 了恶劣影
响，如何应对大数据时代下严峻的数据安全威胁，在安全合规的前提下共
享及使用数据成为了备受瞩目的问题。访问控制、身份 识别、数据加密、
数据脱敏等传统数据保护技术正积极向更加适应大数据场景的方向不断发
展，同时，侧重于实现安全数据流通的隐私计算技术也成为了热点发展
方向。
（二）大数据技术发展趋势
2020年以来，大数据技术环境发生了一些变化，一些新的技术趋
势应运而生，重点呈现出以下几点趋势。
基础技术：控制成本按需索取成为主要理念
大数据技术自诞生以来始终沿袭着基于Hadoop或者MPP的分
布式框架，利用可扩展的特性通过资源的水平扩展来适应更大的数据量
和更高的计算需求，并形成了具备存储计算处理分析等能力的完整平台。
以往，为了应对网络速度不足、数据在各节点间交换时间较长 的问题，
大数据分布式框架设计采用存储与计算耦合，使数据在自身 存储的节点上
完成计算，以降低交互。同时，无论是私有化部署还是云化服务，大数据
平台始终以具备数据存储计算处理分析等完整能力的形态提供服务。
存储与计算耦合的自建平台造成了额外成本。实际业务中对于数
据存储与计算能力的要求往往是不断变化且各自独立的，使得两类资
源的需求配比不可预见且二者到达资源瓶颈的时间无法同步。在存储与
计算耦合的情况下，当两者其一出现瓶颈时，资源的横向扩展必然导致
存储或是计算能力的冗余，由此必须进行大量的数据迁移才能保证扩展节
点的资源得以有效利用，这无疑造成了难以避免的额外成本。同时，以完整
产品形式提供服务的大数据平台在应对弹性扩展、功能迭代、成本控制
等特性需求时，无论是开发迭代新版本还是集成混搭其他工具，总会引
发需求延迟满足、性能持续降低、额外新增成本等其他问题。
存算分离有效控制成本。存算分离是将存储和计算两个数据生命
周期中的关键环节剥离开，形成两个独立的资源集合。两个资源集合 之
间互不干涉但又通力协作。每个集合内部充分体现资源的规模聚集效应，
使得单位资源的成本尽量减少，同时兼具充分的弹性以供横向扩展。当
两类资源之一紧缺或富裕时，只需对该类资源进行获取或回 收，使用具
备特定资源配比的专用节点进行弹性扩展或收缩，即可在资源需求差异
化的场景中实现资源