前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >让你真正理解什么是SparkContext, SQLContext 和HiveContext

让你真正理解什么是SparkContext, SQLContext 和HiveContext

作者头像
用户1410343
发布2018-03-27 12:09:13
3.2K0
发布2018-03-27 12:09:13
举报
文章被收录于专栏:about云

问题导读 1.你认为SparkContext的作用是什么? 2.SQLContext 和HiveContext的区别是什么? 3.SQLContext、HiveContext与SparkContext的区别是什么?

第一步spark driver 应用程序创建SparkContext,SparkContext 允许spark driver 应用程序通过资源管理器访问集群。资源管理器可以是Yarn,或则spark集群管理器。为了创建SparkContext,你可以第一步创建SparkConf,SparkConf存储的配置信息, Spark driver 应用程序将传给SparkContext。一些参数定义 Spark driver应用程序属性和用于分配集群资源。比如worker节点运行的executors 的number, memory 大小和cores。 Spark driver 应用程序可以通过setAppName() 自定义。你可以查看spark1.3.1 获取sparkconf的完整参数。SparkConf 文档(http://spark.apache.org/docs/1.3.1/api/scala/index.html

[Scala] 纯文本查看 复制代码

?

代码语言:javascript
复制
import org.apache.spark.SparkConf
val conf = new SparkConf().setAppName(“MySparkDriverApp”).setMaster(“spark://master:7077”).set(“spark.executor.memory”, “2g”)

现在我们有SparkConf可以传递给SparkContext,因此我们的应用程序知道如何访问集群。

[Scala] 纯文本查看 复制代码

?

代码语言:javascript
复制
import org.apache.spark.SparkConf
 
import org.apache.spark.SparkContext
 
val conf = new SparkConf().setAppName(“MySparkDriverApp”).setMaster(“spark://master:7077”).set(“spark.executor.memory”, “2g”)
 
val sc = new SparkContext(conf)

现在你的Spark driver应用程序有SparkContext,它知道使用和请求集群资源。如果使用是YARN,hadoop的resourcemanager (headnode)和 nodemanager (workernode) 将会为executors分配container 。如果资源有效的,在集群上executors 将会根据配置参数分配memory和cores。如果你使用Sparks 集群管理器,SparkMaster(headnode) 和SparkSlave (workernode) 将会使用分配在的executors。下面的图展示了他们之间的 driver 应用程序, 集群资源管理器 和executors关系

每一个spark driver 应用程序有自己的executors 在集群上。集群保持运行只要spark driver 应用程序有SparkContext。executors 运行用户code,运行计算和缓存应用程序的数据。SparkContext 创建job,分解为stages。 SparkSQL是spark的一个模块,SparkSQL 用来处理结构化数据,所以SparkSQL你的data必须定义schema.在spark1.3.1,sparksql继承dataframes 和a SQL 查询引擎。SparkSQL 有SQLContext 和HiveContext.HiveContext 继承SQLContext.Hortonworks 和 Spark社区建议使用HiveContext.你可以看到下面,当你运行spark-shell,它和driver应用程序是交互的,他会自动创建SparkContext 定义为sc和HiveContext 定义为sqlContext.HiveContext 允许执行sql查询以及Hive 命令.pyspark同样也是。你可以看下 Spark 1.3.1 文档,SQLContext 和HiveContext 在SQLContext documentation and HiveContext documentation(http://spark.apache.org/docs/1.3.1/api/scala/index.html#package

从上面看出,SparkContext其实是连接集群以及获取spark配置文件信息,然后运行在集群中。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2017-02-17,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 about云 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档