Spark分布式并行计算框架.pptx

rk :分布式并行计算框架介? Spark 是什么? Spark 的发展历程? Spark 能干什么? Spark 的适用场景? Spark 的特点? Spark 生态系统? Spark 运行模式? Spark 高可用? Spark 核心概念: RDD ? Spark 集群搭建? Spark 与 Hadoop 整合? Spark 应用部署模式 rk 是什么? Spark 是一个基于内存计算的开源的分布式集群并行计算系统? Spark 非常小巧玲珑,由加州伯克利大学 AMP 实验室的 Matei 为主的小团队所开发。使用的语言是 Scala ,运行在 JVM 上,项目的 core 部分的代码只有 63 个 Scala 文件, 非常短小精悍。?是继 Hadoop 之后的新一代大数据分布式处理框架?目前 Spark 在全球已有广泛的应用,其中包括 Alibaba 、 Baidu 、 Tencent Youku 、 IBM 、 Intel 、雅虎等。 rk 发展历程? Spark 诞生于 2009 年,那时候它是,加州大学伯克利分校 RAD 实验室的一个研究项目,后来到了 AMP 实验室。? Spark 最初是基于 Hadoop Mapreduce 的,后来发现 Mapreduce 在迭代式计算和交互式上是低效的。因此 Spark 进行了改进,引入了内存存储和高容错机制。?关于 Spark 的研究论文在学术会议上发表,并且在它被创建的 2009 年不久之后,对于一些特定的工作, Spark 比 Mapreduce 快 10-20 倍。? 2010 年3月份 Spark 开源。? 2011 年, AMP 实验室开始在 Spark 上面开发高级组件,像 Shark(Hive on Spark) , Spark Streaming 。? 2013 年转移到了 Apache 下,现在已经是顶级项目了。? 2014 年5月份 发布。?目前:发布最新版 ? Spark 在7年内迅速发展,较于其他大数据平台或框架, Spark 代码库最为活跃 rk 发展历程 rk 能干什么 。例如用户行为数据,电子商务平台用户的操作行为记录,放进 Spark 系统,然后对数据进行多维度的分析,发现潜在客户,个性化推荐商品 。 。社交网络 。协同过滤 rk 的适用场景? Spark 是基于内存的迭代计算框架,适用于需要多次操作特定数据集的应用场合。需要反复操作的次数越多,所需读取的数据量越大,受益越大,数据量小但是计算密集度较大的场合,受益就相对较小?由于 RDD 的特性, Spark 不适用那种异步细粒度更新状态的应用,例如 web 服务的存储或者是增量的 web 爬虫和索引。就是对于那种增量修改的应用模型不适合?数据量不是特别大,但是要求实时统计分析需求 rk 特点? Spark 是快速的 ,对于一些特定的工作, Spark 比 Mapreduce 快 10-20 倍。 2. Spark 扩充了流行的 Mapreduce 计算模型,使 Spark 更高效地支持更多类型的计算, 包括交互式查询,和流处理。 , 能够在内存中计算。 ,如果数据由磁盘读取,速度是 Hadoop MapReduce 的 10 倍以上,如果数据从内存中读取,速度可以高达 100 多倍。 rk 特点? Spark 是易用的 Spark 不仅支持 Scala 编写应用程序,而且支持 Java 和 Python, Python, R 等语言进行编写。 rk 特点? Spark 是通用的 1. Spark 的设计,容纳了之前很多独立的,分布式系统所拥有的功能。独立的分布式系统包括: 批处理,迭代式计算,交互查询和流处理等。 ,由之前需要维护不同的集群,到现在只需要维护一个 Spark 集群。 3. Spark 生态圈即 BDAS (伯克利数据分析栈)包含了 Spark Core 、 Spark SQL 、 Spark Streaming 、 MLLib 和 GraphX 等组件,这些组件分别处理 Spark Core 提供内存计算框架、 SparkStreaming 的实时处理应用、 Spark SQL 的即席查询、 MLlib 或 MLbase 的机器学习和 GraphX 的图处理,它们都是由 AMP 实验室提供,能够无缝的集成并提供一站式解决平台。