Apache Spark 2.2.0 中文文档 - 概述 | ApacheCN

Spark 概述

Apache Spark 是一个快速的, 多用途的集群计算系统。 它提供了 Java, Scala, Python 和 R 的高级 API,以及一个支持通用的执行图计算的优化过的引擎. 它还支持一组丰富的高级工具, 包括使用 SQL 处理结构化数据处理的 Spark SQL, 用于机器学习的 MLlib, 用于图形处理的 GraphX, 以及 Spark Streaming

下载

从该项目官网的 下载页面 获取 Spark. 该文档用于 Spark 2.2.0 版本. Spark可以通过Hadoop client库使用HDFS和YARN.下载一个预编译主流Hadoop版本比较麻烦. 用户可以下载一个编译好的Hadoop版本, 并且可以 通过设置 Spark 的 classpath 来与任何的 Hadoop 版本一起运行 Spark. Scala 和 Java 用户可以在他们的工程中通过Maven的方式引入 Spark, 并且在将来 Python 用户也可以从 PyPI 中安装 Spark。

如果您希望从源码中编译一个Spark, 请访问 编译 Spark.

Spark可以在windows和unix类似的系统(例如, Linux, Mac OS)上运行。它可以很容易的在一台本地机器上运行 -你只需要安装一个JAVA环境并配置PATH环境变量,或者让JAVA_HOME指向你的JAVA安装路径

Spark 可运行在 Java 8+, Python 2.7+/3.4+ 和 R 3.1+ 的环境上。针对 Scala API, Spark 2.2.0 使用了 Scala 2.11. 您将需要去使用一个可兼容的 Scala 版本 (2.11.x).

请注意, 从 Spark 2.2.0 起, 对 Java 7, Python 2.6 和旧的 Hadoop 2.6.5 之前版本的支持均已被删除.

请注意, Scala 2.10 的支持已经不再适用于 Spark 2.1.0, 可能会在 Spark 2.3.0 中删除。

运行示例和 Shell

Spark 自带了几个示例程序. Scala, Java, Python 和 R 示例在 examples/src/main 目录中. 要运行 Java 或 Scala 中的某个示例程序, 在最顶层的 Spark 目录中使用 bin/run-example <class> [params] 命令即可.(这个命令底层调用了 spark-submit 脚本去加载应用程序)。例如,

./bin/run-example SparkPi 10

您也可以通过一个改进版的 Scala shell 来运行交互式的 Spark。这是一个来学习该框架比较好的方式。

./bin/spark-shell --master local[2]

该 --master选项可以指定为 针对分布式集群的 master URL, 或者 以local模式 使用 1 个线程在本地运行, local[N] 会使用 N 个线程在本地运行.你应该先使用local模式进行测试. 可以通过–help指令来获取spark-shell的所有配置项. Spark 同样支持 Python API。在 Python interpreter(解释器)中运行交互式的 Spark, 请使用 bin/pyspark:

./bin/pyspark --master local[2]

Python 中也提供了应用示例。例如,

./bin/spark-submit examples/src/main/python/pi.py 10

从 1.4 开始(仅包含了 DataFrames APIs)Spark 也提供了一个用于实验性的 R API。 为了在 R interpreter(解释器)中运行交互式的 Spark, 请执行 bin/sparkR:

./bin/sparkR --master local[2]

R 中也提供了应用示例。例如,

./bin/spark-submit examples/src/main/r/dataframe.R

在集群上运行

该 Spark 集群模式概述 说明了在集群上运行的主要的概念。 Spark 既可以独立运行, 也可以在一些现有的 Cluster Manager(集群管理器)上运行。它当前提供了几种用于部署的选项:

快速跳转

编程指南:

API 文档:

部署指南:

其它文档:

外部资源:

我们一直在努力

apachecn/spark-doc-zh

原文地址: http://spark.apachecn.org/docs/cn/2.2.0/index.html 网页地址: http://spark.apachecn.org/ github: https://github.com/apachecn/spark-doc-zh(觉得不错麻烦给个 Star,谢谢!~)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云容器服务团队的专栏

kubernetes 中 kafka 和 zookeeper 有状态集群服务部署实践 (一)

本文将尝试根据社区提供的 StatefulSet 方案,对 kafka 和 zookeeper 服务进行部署。具体的部署过程包括以下几个部署: Persiste...

7.2K3
来自专栏Hadoop实操

如何在集群外节点跨网段向HDFS写数据

Fayson想了想这个问题其实在各个环境是都可能碰到的,于是在这篇文章给大家系统介绍一下。

4915
来自专栏Java编程技术

Dubbo剖析-监控平台的搭建与使用

dubbo-monitor主要用来统计服务的调用次调和调用时间的监控中心,服务消费者和提供者,在内存中累计调用次数和调用时间,定时每分钟发送一次统计数据到监控中...

1232
来自专栏加米谷大数据

ZooKeeper在Hadoop中的应用

1732
来自专栏魏琼东

centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建

一、Java安装 1、安装包准备: 首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downl...

3074
来自专栏搜云库

大数据平台搭建 Hadoop-2.7.4 + Spark-2.2.0 快速搭建

Apache Spark 简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (...

4018
来自专栏Hadoop实操

Hive2.2.0如何与CDH集群中的Spark1.6集成

1452
来自专栏散尽浮华

分享一例脚本发版和tomcat重启脚本

线上有个网站业务部署在tomcat上,由于频繁上线修改,需要经常启动tomcat。 tomcat服务自带的bin下没有重启脚本,下面分享一例脚本发版和tomca...

1896
来自专栏Hadoop实操

如何通过Cloudera Manager为Kafka启用Kerberos及使用

在CDH集群中启用了Kerberos认证,那么我们的Kafka集群能否与Kerberos认证服务集成呢?本篇文章主要讲述如何通过Cloudera Manager...

4869
来自专栏乐沙弥的世界

非root用户tomcat daemon配置

基于安全策略来考虑,绝大多数应用程序都应以非root用户来启动,对于轻量级的应用程序,如tomcat,用root再寻常不过了。你懂的,方便啊。在生产环境这么干很...

692

扫码关注云+社区