我使用的是spark 2.0.0。下面是我的代码：import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.catalyst.analysis.EliminateSubqueryAliasesimport org.apache.spar
浏览 2提问于2016-08-12得票数 1
我有一个系统，其中组件A将sql传递给组件B，然后B通过apache spark运行sql，并返回结果。出于调试的目的，我放入了第二个通信通道，在这个通道中，A可以将sql传递给B，并请求和解释计划。B中的代码如下所示： val dataFrame = sparkContext.sql(sql)
dataFrame.explain(
浏览 0提问于2019-04-10得票数 7
2回答
我只是想知道这个火花密码就像这个一样有效率：在第一组中，我们是将所有的单元数据加载到RAM中，还是足够聪明地在执行生成的DAG时过滤蜂巢中的这些值
浏览 2提问于2020-08-28得票数 0
回答已采纳
我正试图使用Case类将rdd转换为DataFrame，如下所示==分析逻辑计划==名称: string GlobalLimit 21 +- LocalLimit 21 +- P
浏览 1提问于2017-05-19得票数 0
1回答
我是Scala的新手，所以如果解决方案微不足道，我会提前道歉。import org.apache.spark.sql._
val newDS = Dataset.ofRows(spark, newPlanval newDS = org.apache.
浏览 0提问于2017-11-07得票数 1
回答已采纳
我有Maven依赖项spark-sql_2.1.0和spark-hive_2.1.0。然而，当我尝试import org.apache.spark.sql.DataFrame时，出现了一个错误。但是导入org.apache.spark.sql.SQLContext是可以的，没有错误。为什么？
浏览 20提问于2017-07-19得票数 4
回答已采纳
声称Spark中的DataFrame等同于Dataset[Row]，但是显示DataFrame有一个模式。以博客文章中关于将RDD转换为DataFrame的例子:如果DataFrame与Dataset[Row]相同，那么将RDD转换为DataFrame应该是一样简单的。= sparkSession.createDataFrame(rddStringToRowRDD,dfschema)
val rDD
浏览 0提问于2016-10-07得票数 6
回答已采纳
1回答
Project节点在Sparks执行计划中的意义是什么？我有一个计划，其中包括：
+- Project [dm_country#population#6a1ad864-235f-4761-9a6d-0ca2a2b40686#834, dm_country#population
浏览 4提问于2017-11-28得票数 12
回答已采纳
2回答
我正在使用Spark SQL从Spark应用程序的Cassandra中检索数据。数据以DataSet的形式检索。但是，我需要使用javaRDD()函数将此dataset转换为JavaRDD。是否有一些参数需要调整以增强这次的性能？
浏览 1提问于2017-08-19得票数 0
1回答
最近，我计划迁移我的独立python代码来激发。spark.ml中的ML管道非常方便，使用了精简API来链接算法阶段和超参数网格搜索。不过，我发现它对现有文档中一个重要特性的支持很难理解:中间结果缓存。当管道涉及计算密集型阶段时，这一特性的重要性就出现了。例如，在我的例子中，我使用一个巨大的稀疏矩阵对时间序列数据执行多个移动平均值，以形成输入特性。矩阵的结构由某些超参数决定。这一步最终成为整个管道的瓶颈，因为我必须在
浏览 1提问于2015-09-14得票数 16
我目前正在遍历我的所有数据帧，并在它们上运行本质上相同的查询/过滤器。有没有一种方法可以更有效地并行运行？以下是示例代码...for (db <- list_of_dbs)
.format("csv")
.option("sep
浏览 18提问于2020-08-28得票数 0
一个关于星火结构流与HIVE表集成的查询。 val spark =SparkSession.builder().appName("StatsAnalyzer") .config", "hdfs://pp/apps/hive/warehouse/ab.db")
&
浏览 0提问于2018-12-28得票数 13
1回答
我在代码中使用了withColumn()函数；但是，我还没有导入下面的类：我想知道为什么编译器没有抛出错误。如果是，Spark中的默认类是什么？
浏览 0提问于2018-07-25得票数 0
1回答
<console>:65: error: overloaded method value join with alternatives: (right: or
浏览 0提问于2018-06-07得票数 1
回答已采纳
我的代码： import org.apache.spark.required: org.apache.spark.rdd.RDD[org.apache.spark.mllib.regression.LabeledPoint]
我尝试了以下两种可能的解决方案: org.apache.spark
浏览 0提问于2016-03-13得票数 14
回答已采纳
1回答
火花放电管道中的用户定义变压器
、、、、
我的数据集有一个列，它是一个字符串。因此，在应用管道模型之前，我使用“StringIndexer”将其转换为数字。我的管道只包含两个阶段StringIndexer和ClassificationModel有其他方法可以删除StringIndexer中的实际列吗？
谢谢
浏览 0提问于2017-07-19得票数 2
回答已采纳
如果我的理解是正确的，火花申请可能包含一个或多个工作。作业可以分为阶段，阶段可以划分为任务。我或多或少可以在星火用户界面中遵循这一点(或者至少我认为是这样)。但我对SQL选项卡的含义感到困惑。特别是：为了理解，我一直在列举一些例子，但仍然不太清楚。
浏览 3提问于2021-07-28得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
