我正在尝试在Spark中运行多个单元测试，并从源代码中复制(并略微调整)部分：import org.apache.spark_sc = null super.afterAll() }带有伴生对象的LocalSparkContext类只是从源代码复制而来。我考虑按如下方式使用它，这告诉我sta
浏览 1提问于2016-09-09得票数 2
我喜欢在枚举中定义应用程序的星火上下文，如下所示：import org.apache.spark.SparkContext;import org.apache.spark.sql.SQLContext;
public enum SparkGlobalContextreturn javaSparkC
浏览 4提问于2021-07-16得票数 0
回答已采纳
如您所知，在Spark 2.x with Scala API中，您可以按如下方式创建SparkSession对象： .config("spark.master", "local[2]")这段代码可以很好地处理单元测试但是，当我使用<e
浏览 2提问于2017-07-31得票数 7
1回答
我正在使用Scala编写一个Spark应用程序，并试图为一种方法编写单元测试，该方法将从Hive表加载数据，对其进行一些处理，并将结果作为数据框架返回。方法如下所示： val table = context.tableselectColumnList = Seq("colA", "colB")
table.select(s
浏览 0提问于2017-11-27得票数 0
回答已采纳
我正在努力编写创建数据框架的基本单元测试，使用Spark提供的示例文本文件，如下所示。因为我已经在spark.implicits._中验证了这一点，但是在测试类中，我得到了很多错误；IDE不识别'import spark.implicits._，或toDF()，因此测试不运行。我使用的是SparkSession，它会自动在引擎盖下创建SparkConf、SparkContext和S
浏览 3提问于2017-08-08得票数 5
回答已采纳
Simple Application").setMaster("local") val ctx = new org.apache.spark.sql.SQLContextval persons = ctx.read.json("/tmp/persons.json").as[Person] }在IDE中，Primitive types
浏览 5提问于2016-01-11得票数 17
回答已采纳
显然，我正在尝试导入spark.implicits._，这是scala中的一个类中的对象。当我将其导入如下所示的方法时： val spark = SparkSession()....import spark.implicits._它工作得很好，但是我正在编写一个测试类，我想让这个导入对我尝试过的所有测试都可用：
class SomeSpec extends FlatSpeci could make i
浏览 44提问于2016-08-26得票数 55
我使用的是spark 1.4.0<console>:19: error: not found: value spark ^
有人能帮我解决这个问题吗
浏览 5提问于2017-06-29得票数 1
回答已采纳
我只是尝试将一个文本文件读入一个pyspark，并且注意到sqlContext.read.load和sqlContext.read.text之间的巨大差异。, format='com.databricks.spark.csv', header='true', inferSchema='false',sep=','): java.lang.ClassNot
浏览 8提问于2017-12-05得票数 5
我使用星星之火，我一直在努力用Dataframe和spark进行简单的单元测试。net.lizeo.bi.spark.conf.JobConfiguration._
_
浏览 3提问于2015-08-14得票数 2
回答已采纳
我正在使用sbt为SQLContext创建一个Scala程序。这是我的build.sbt：//libraryDependenciesimport org.apache.spark.sql.SQLContext
de
浏览 3提问于2015-12-21得票数 8
回答已采纳
1回答
rdd字符将转换为数据帧
、、、
敬请告知me.This程序用于使用scala和spark解析excel示例import org.apache.poi.ss.usermodel.Cell._import org.apache.spark.SparkContext
import org.apach
浏览 3提问于2016-10-24得票数 0
3回答
使用spark 1.6，我尝试了以下代码：它导致了这个错误
error: not found: value spark
浏览 6提问于2020-04-29得票数 1
我正在使用Spark2进行EMR。当我进入主节点并运行火花外壳时，我看不到对sqlContext的访问。我遗漏了什么吗？scala> import org.apache.spark.sql.SQLContext
scala> sqlContext<console>:25: error: not found: val
浏览 3提问于2016-11-10得票数 1
我有一个单独的Hive表，用于多个后续的spark.sql查询。我怎么才能避免这种情况？下面是一个复制问题的简化示例spark.sql("CREATE DATABASE IF NOT EXISTS default")spar
浏览 0提问于2019-04-23得票数 0
回答已采纳
我正在尝试在Windows10中设置spark。最初，我在启动时面对，链接中的解决方案很有帮助。现在我仍然不能运行import sqlContext.sql，因为它仍然抛出一个错误Loaded from file:/F:/Soft/spark/spark-2.1.0-bin-ha
浏览 3提问于2017-03-24得票数 15
回答已采纳
有人能告诉我使用我尝试并失败的2.2选项将csv文件保存到Hbase表的工作示例吗？(注意:所有这些选项都与Spark1.6一起工作)
谢谢
浏览 3提问于2017-09-28得票数 3
我尝试为一些java spark方法添加单元测试代码。然而，在我添加它们之后，我发现spark作业运行失败了。这是我发现的东西 a)在我添加单元测试代码之后，它们将在我构建java fat jar时运行。d)如果我不再构建jar，而是直接运行spark作业(在步骤c中修复问题之后)，那么它将运行得很好。 根据我在上面看到的，我猜测构建jar过程中的单元测试启动了一个spark会话(
浏览 23提问于2021-11-06得票数 1
我将Spark2.4.3用于一个结构化流应用程序(从事件中心Azure /readStream到CosmosDB)。对于数据有一些转换步骤，其中一个步骤是查找CosmosDB进行一些验证，并添加更多字段。-> queryStmt,
val coll = spark.sqlContext.read.cosmosDB:
浏览 2提问于2019-12-03得票数 0
回答已采纳
我试着运行spark-ml的例子，但是import pyspark.sql
training = sqlContext.createDataFrame([(1.0, Vectors.dense([0.0, 1.2, -0.5]))], ["labe
浏览 2提问于2016-11-14得票数 8
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
