分布式计算框架.doc

分布式计算框架:Google Cloud Dataflow
Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法,从MapReduce演化而来(并不是“抛弃”),集成了许多内部技术,如用于数据高效并行化处理的Flume和具有良好容错机制流处理的MillWheel。Dataflow当前的API还只有Java版本(其实Flume本身是提供Java/C++/Python多种接口的)。
相比原生的map-reduce模型,Dataflow有几个优点:
,在这不妨引用Google云平台的产品营销总监Brian Goldfarb的话。 Cloud Dataflow可以用于处理批量数据和流数据两种。在一个世界性事件(比如演讲当中的世界杯事件)中,实时分析上百万twitter数据。在流水线的一个部阶段责读取tweet,下一个阶段负责抽取标签。另一个阶段对tweet分类(基于情感,正面负面或者其他方面)。下一个阶段过滤关键词等等。相比之下,Map/Reduce这个用来处理大数据的较早模型,处理这种实时数据已经力不从心,而且也很难应用到这种很长很复杂的数据流水线上。
。自动进行代码优化和资源调度,使得开发者的主要精力可以放在业务逻辑本身。
: 假设我们要根据用户在twitter上产生的内容,来实现一个hashtags自动补全的功能。 Dataflow将数据抽象为一个PCollections (“parallel collections”),PCollection可以是一个内存中的集合,从Cloud Storage读进来,从BigQuerytable中查询得到,从Pub/Sub以流的方式读入,或者从用户代码中计算得到。为了对PCollection进行处理,Dataflow提供了许多PTransforms (“parallel transforms”),例如ParDo (“parallel do”) 对于PCollection中每一个元素分别进行指定操作(类似MapReduce中的Map和Reduce函数,或者SQL中的WHERE),GroupByKey对一个key-value pairs的PCollection进行处理,将相同key的pairs group到一起(类似Ma