1.spark简介

spark是一个用于大规模数据处理的统一计算引擎。适用于各种各样原先需要多种不同的分布式平台处理的场景,包括批处理、迭代计算、交互式查询、流处理。通过统一的框架将各种处理流程整合到一起。

10年积累的网站制作、成都网站制作经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站设计后付款的网站建设流程,更有阳高免费网站建设让你可以放心的选择与我们合作。

spark特性

  • 快速性

spark通过使用先进的DAG调度器、查询优化器和物理执行引擎,可以高性能地进行批量及流式处理。使用逻辑回归算法进行迭代计算,spark比hadoop速度快100多倍。

1.spark简介

  • 简单易用

spark支持多种编程语言,比如Java、Scala、Python、R及SQL。

spark提供了超过80多个高级算子操作,可以很便捷地构建并行计算应用。

  • 通用性

spark构建了一个完善的生态栈,将批量计算、交互式计算、流式计算、机器学习及图计算整合到一个统一的框架体系中。

1.spark简介

  • 处处运行

spark可以运行在standalone、YARN、Mesos、Kubernetes及EC2多种调度平台上。

另外,spark可以接入多种数据源,比如HDFS、Alluxio、HBase、Cassandra、Hive及本地文件。

1.spark简介

spark生态栈

1.spark简介

Spark Core

Spark Core实现了Spark的基本功能,包括任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core还包含了对弹性分布式数据集(resilient distributed dataset,简称RDD)的API定义。RDD表示分布在多个计算节点上并行操作的元素集合,是Spark的核心抽象模型。

Spark SQL

Spark SQL是Spark用来处理结构化数据的子框架。Spark SQL支持多种数据源,比如Hive表、Parquet及JSON等。Spark SQL可使用SQL或Hive的SQL方言(HQL)查询数据,还支持将SQL和RDD相互转换。

Spark Streaming

Spark Streaming是Spark提供的对实时数据进行流式计算的组件。Spark Streaming提供了操作数据流的API,同时还提供了高级别的容错性、吞吐量及可伸缩性。

MLlib

MLlib是一个提供常见机器学习(ML)功能的程序库。MLlib提供了很多种机器学习算法,包括分类、回归、聚类、协同过滤等,还提供了模型评估、数据导入及更底层的机器学习原语(包括通用的梯度下降优化算法)。

Graphx

Graphx是用来操作图(比如社交网络的朋友关系图)的程序库,可进行并行的图计算。Graphx扩展了RDD API,能用来创建一个顶点和边都包含任意属性的有向图。Graphx支持对图的各种操作(比如进行图分隔的subgraph和操作所有顶点的mapVertices),及一些常用算法(比如PageRank和三角计数)。

集群管理器

Spark设计为可高效地在一个计算节点到数千个计算节点之间伸缩计算,所以为了获取最大灵活性,spark支持在各种集群管理器上运行,包括Hadoop YARN、Apache Mesos及Spark自带的独立调度器等。

spark用户及用途

spark的使用者主要分为两大目标人群:数据分析师和工程师。这两大人群使用spark的典型用例不一致,大致分为两类:数据分析和数据处理。

数据分析

数据分析师就是主要负责分析数据并建模的人。他们具备SQL、统计、预测建模(机器学习)等方面技能,有一定使用Python、Matlab或R编程的能力。

Spark通过一系列组件支持数据分析任务。Spark shell提供python和scala接口来进行交互式数据分析。Spark SQL提供独立的SQL shell来使用SQL探索数据,也可以通过标准的Spark程序或Spark shell进行SQL查询。MLlib程序库进行机器学习和数据分析。Spark还支持调用R或Matlab外部程序。

数据处理

工程师就是使用Spark开发数据处理应用的软件开发者。他们具备软件工程概念(封装、接口设计及面向对象思想),能使用工程技术设计软件系统。

Spark为开发用于集群并行执行的程序提供了捷径。不需要开发者关注分布式问题、网络通信及程序容错性。为工程师提供足够的接口实现常见的任务及对应用监控、审查和性能调优。

spark简史

  • 2009 ,Spark诞生于UCBerkeley的AMP实验室

  • 2010 ,Spark正式对外开源

  • 2012-10-15,Spark 0.6.0发布。

  • 大范围的性能改进,增加了一些新特性,并对Standalone部署模式进行了简化

  • 2013-02-27,Spark 0.7.0发布

  • 增加了更多关键特性,例如:Python API、Spark Streaming的alpha版本等

  • 2013-06-21,Spark接受进入Apache孵化器

  • 2013-09-17,Spark 0.8.0发布

  • 支持Scala2.9/YARN2.2/Standalone部署模式下调度的高可用性,shuffle优化等

  • 2014-01-24,Spark 0.9.0发布

  • 增加了GraphX,机器学习新特性,流式计算新特性,核心引擎优化(外部聚合、加强对YARN的支持)等

  • 2014-05-26,Spark 1.0.0发布

  • 增加了Spark SQL、MLlib、GraphX和Spark Streaming都增加了新特性并进行了优化。Spark核心引擎还增加了对安全YARN集群的支持

  • 2014-09-03,Spark 1.1.0发布

  • Spark核心API及Streaming,Python,SQL,GraphX和MLlib的bug修复

  • 2014-12-10,Spark 1.2.0发布

  • Spark核心API及Streaming,Python,SQL,GraphX和MLlib的bug修复

  • 2015-03-06,Spark 1.3.0发布

  • 该版本发布的最大亮点是新引入的DataFrame API,对于结构型的DataSet,它提供了更方便更强大的操作运算。。除了DataFrame之外,还值得关注的一点是Spark SQL成为了正式版本,这意味着它将更加的稳定,更加的全面。

  • 2015-06-03,Spark 1.4.0发布

  • 该版本将 R API 引入 Spark,同时提升了 Spark 的核心引擎和 MLlib ,以及 Spark Streaming 的可用性

  • 2015-09-09,Spark 1.5.0发布

  • Spark 1.5.0是1.x线上的第6个发行版。这个版本共处理了来自230+contributors和80+机构的1400+个patches。

  • Spark 1.5的许多改变都是围绕在提升Spark的性能、可用性以及操作稳定性。

  • Spark 1.5.0焦点在Tungsten项目,它主要是通过对低层次的组建进行优化从而提升Spark的性能。

  • Spark 1.5版本为Streaming增加了operational特性,比如支持backpressure。另外比较重要的更新就是新增加了一些机器学习算法和工具,并扩展了Spark R的相关API。

  • 2015-12-22,Spark 1.6.0发布

  • 该版本含了超过1000个patches,在这里主要展示三个方面的主题:新的Dataset API,性能提升(读取Parquet 50%的性能提升,自动内存管理,streaming state management十倍的性能提升),以及大量新的机器学习和统计分析算法。

  • 在Spark1.3.0引入DataFrame,它可以提供high-level functions让Spark更好地处理数据结构和计算。这让Catalyst optimizer 和Tungsten execution engine自动加速大数据分析。发布DataFrame之后开发者收到了很多反馈,其中一个主要的是大家反映缺乏编译时类型安全。为了解决这个问题,Spark采用新的Dataset API (DataFrame API的类型扩展)。Dataset API扩展DataFrame API支持静态类型和运行已经存在的Scala或Java语言的用户自定义函数。对比传统的RDD API,Dataset API提供更好的内存管理,特别是在长任务中有更好的性能提升。

  • 2016-07-20,Spark 2.0.0发布

  • 该版本主要更新APIs,支持SQL 2003,支持R UDF ,增强其性能。300个开发者贡献了2500补丁程序

  • 2016-12-16,Spark 2.1.0发布

  • 这是 2.x 版本线的第二个发行版。此发行版在为Structured Streaming进入生产环境做出了重大突破,Structured Streaming 现在支持了event time" alt="1.spark简介">


    分享题目:1.spark简介
    URL分享:http://myzitong.com/article/gjgodd.html