当我尝试的时候：sc=SparkContext()KeyError: 'SPARK_HOME'
解决方案是什么
浏览 0提问于2015-07-14得票数 2
1回答
如果我必须添加SBT和Maven依赖项，您能详细说明这个过程吗(我在Google中找不到)import org.apache.spark.SparkContext // create Spark context with Spark configuration
val sc = new SparkContext
浏览 0提问于2018-11-08得票数 3
如何在java spark api的map函数中获取SparkConf或JavaSparkContext。 JavaSparkContext sc = new JavaSparkContext(conf);如何在这个function.shall中获得这个sp
浏览 3提问于2015-03-04得票数 1
如果设置为true，则可以在执行程序中创建SparkContext。
但我想知道，如何在执行程序中创建SparkContext？据我所知，SparkContext是在驱动程序上创建的，执行程序由资源管理器分配。因此，SparkContext总是在执行者之前创建的。这个配置的用例是什么？
浏览 2提问于2021-01-16得票数 6
回答已采纳
在条件语句中结束spark作业的推荐方式是什么？if (isValid(data)) {}Exception in thread "main" java.lang.IllegalStateException: SparkContext has been shutdown
然后它会显示一个堆栈跟踪。sparkContext</
浏览 56提问于2017-12-09得票数 0
", s3endPointLoc)spark.sparkContext.hadoopConfiguration.set", connectionTimeOut)
spark.sparkContext.hadoopConfiguration.set("spark.sql.debug.maxToStringFields",&q
浏览 11提问于2022-03-23得票数 0
sql_Context = SQLContext(output_df.sparkContext())sql_Context.sql("select * from table1") # or some more complicated query 但是output_df.sparkContext(获得星火DataFrame的sparkContext的正确方法是什么？
浏览 10提问于2020-07-03得票数 1
回答已采纳
当我在Pyspark上工作时，当我使用任何ML算法时，我得到Java堆空间错误。我有200MB的数据，我使用的计算机是32GBRAM。我想知道问题可能如下所示。你能帮帮我吗? 我拥有的数据是基于文本的。我想用这个数据做一个计算。一共有20万条线路。我可以计算25行，但是当我尝试计算超过25000行时，我得到Java堆空间错误。 mySchema = StructType([ StructField("column1", IntegerType(), True)\
,StructField("column2"
浏览 14提问于2019-02-24得票数 0
:01:59,595 spark.jobserver.context.DefaultSparkContextFactory$$anon$1 logError - Error initializing SparkContext<init>(TaskSchedulerImpl.scala:60)a
浏览 0提问于2016-11-16得票数 1
使用Apache的mllib，我有一个Logistic回归模型，存储在HDFS中。这个Logistic回归模型是根据来自某些传感器的历史数据进行训练的。要加载培训模型，我必须在代码中使用以下行：sc:火花上下文。
然而，这个应用程序是一个流应用程序，因此已经有了一个"Streami
浏览 0提问于2016-03-15得票数 3
回答已采纳
2回答
守则如下：{ at org.apache.spark.SparkContext.clean(SparkContext.scala:1242)
at org.apache.spark.
浏览 3提问于2014-12-20得票数 7
回答已采纳
它们之间的区别是什么？SparkContext, JavaSparkContext, SQLContext和SparkSession？ 是否有任何方法可以使用SparkSession？中的所有函数SQLContext，SparkContext，以及JavaSparkContext也在SparkSession？一些函数，比如parallelize在中有不同的行为SparkContext和JavaSparkContext。它们在如何使用SparkSession？
浏览 216提问于2017-05-05得票数 39
回答已采纳
1回答
val sc = SparkSession.builder().master("local").getOrCreate().sparkContext
val rdd = sc.parallelize
浏览 1提问于2022-03-22得票数 2
我正在Spark中构建一个应用程序，并且希望在类中的方法中使用SparkContext和/或SQLContext，主要用于从文件或SQL查询中提取/生成数据集。例如，我想创建一个T2P对象，它包含收集数据的方法(在本例中需要访问SparkContext)：
class T2P (mid: Int, sc: SparkContext, sqlContext: SQLContext作为参数传递给T2P类不起作用，因为SparkContext是不可序列化的(在创建T2P对象时获得task not serial
浏览 1提问于2015-07-27得票数 2
做这件事最好的方法是什么？string (nullable = true)但是如果我们运行下面的代码-
schemaRDD = spark.sparkContext.parallelize
浏览 0提问于2019-05-22得票数 0
1回答
from pyspark import SparkContext, SQLContextprint
浏览 0提问于2018-02-13得票数 1
回答已采纳
pysparkfrom pyspark.conf import SparkConf .master("local") \ .getOrCreate()
<ipython-input-2-2fb2
浏览 1提问于2020-10-20得票数 0
回答已采纳
当我使用处理大数据时，Spark会向Out Of Memory发出警报。不使用隧道GC。我猜原始数据太大了，无法处理。
浏览 2提问于2014-09-10得票数 1
问题是，它需要一个SparkContext才能加载，但是是否有一种方法来“伪造”它，因为它似乎并不是真正必要的，或者创建一个SparkContext所需的最低限度是什么？
浏览 3提问于2017-08-16得票数 1
回答已采纳
在下面的代码中，您会注意到我有两个SparkContexts，一个用于SparkStreaming，另一个是普通的SparkContext。根据最佳实践，您应该在Spark应用程序中只有一个SparkContext，即使可以通过配置中的allowMultipleContexts绕过这一点。
浏览 4提问于2016-01-31得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
