我已经编写了一个pyspark脚本来执行SQL文件，它在最新版本的spark上运行得很好，但目标机器的版本是2.3.1，并且它抛出了异常： pyspark.sql.utils.AnalysisException: u"Undefined function: 'array_remove'.我的sql片段失败的原因是 SELECT NIEDC.*, array_join(array_remove(split(groupedNIEDC.appearedIn,'-'
浏览 62提问于2021-01-14得票数 0
回答已采纳
另外，我需要在生成的字符串的末尾和开头放置一个字符串(与strip()方法或函数相反)。编写的解决方案如下： array_join(split(col("state_name"),","),"<-->"),lit("***]")).as("cool_city")).show()
问题是，运行这个程序的计算机使用的是Spark2.1.1，
浏览 1提问于2021-05-08得票数 2
回答已采纳
例如，我有一个数据帧，它包含两列，colA和colB，数据如下：|ColA | ColB ||1ABC | 101ATP |
|2BCA
浏览 0提问于2019-09-12得票数 0
1回答
" %% "spark-core" % "2.3.1"libraryDependenciesimport org.apache.spark.sql.import org.apache.spark.sql.import org.apache.spark.sql.import org.apache.
浏览 11提问于2018-09-10得票数 1
回答已采纳
我想在PyCharm中调试Spark代码，因为它更容易调试。但是我需要添加一个spark-redis.jar，否则就是Failed to find data source: redisspark = SparkSession \.builder \ .config("spark.redis.host",self.redis_host
浏览 9提问于2019-07-11得票数 2
回答已采纳
2回答
我下载了spark版本2.3.1，并得到了以下错误：Failedto detect version from SPARK_HOME or SPARK_HOME_VERSION.Try passing the spark version explicitly.
在使用spark_availa
浏览 1提问于2018-07-13得票数 1
回答已采纳
-- Spark dependency --> <artifactId>spark-sql_2.11</artifactId> <scope>provided</scope>
<
浏览 0提问于2019-01-11得票数 1
回答已采纳
2回答
假设我有两个数据格式：df，grp_df，它是df.groupby("region").set_list() user item region amy I5 Germanygrp_df Canada [I1, I2,... In] U.S
浏览 2提问于2022-01-25得票数 1
1回答
数组列的火花聚合
、、、
val json = """[{"id": 2, "value": [23, 21, 29]}df.select($"id", explode($"value").as("value&quo
浏览 0提问于2018-09-24得票数 4
回答已采纳
1回答
我有一个用于结构化流媒体的Kafka和Spark应用程序。现在我主要做的是将Spark与官方Spark结构化流媒体指南中报告的Kafka主题联系起来： .readStream()CAST(key AS STRING)", "CAST(value AS STRING)");我有以下输出和
浏览 44提问于2018-06-09得票数 0
2回答
提交给executors的My Function类和Custom类实现了Serializable。$.org$apache$spark$util$ClosureCleaner$$clean(ClosureCleaner.scala:335) ~[spark-core_2.11-2.3.1.jar:2.3.1.jar:2.3.1]
at org.apache.spark.SparkContext.clean(SparkContext.scala:2299) ~[<
浏览 9提问于2018-08-12得票数 0
2回答
item_str', concat_ws(" ", col("items"))).select("item_str").show(truncate = False): org.apache.spark.sql.AnalysisException
浏览 22提问于2020-03-10得票数 1
回答已采纳
一切运行正常，我尝试运行SparkPi示例(使用spark-submit和spark-shell)，它能够正常运行。/spark-2.3.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.1.jar",
"clientSparkVersion": "2.3.1/Spark/<
浏览 10提问于2018-09-07得票数 0
回答已采纳
1, 2, 1, 0, 0], 因此，"a“在每个数组中出现一次，"b”在column1中出现两次，在column2中出现一次，"c“只在column1中出现，"x”和"
浏览 17提问于2020-02-08得票数 0
回答已采纳
1回答
/spark-2.3.1-bin-hadoop2.7/bin/spark-submit --packages org.apache.spark:spark-sql-kafka-0-10_2.11:2.3.1但是当我在学校的服务器上尝试后，它有以下的信息和错误。我在谷歌搜索了很长一段时间，不知道。有谁可以帮我？
常春藤默认缓存设置为:/home/zqwang/./repository/org
浏览 1提问于2018-08-27得票数 0
回答已采纳
我有一个关于使用scala sbt的CrossValidatorModel的问题libraryDependencies ++= Seq( "org.apache.spark" %% "spark-core" % "2.3.1" % "provided" ,
"org.apache.spark" %% "spar
浏览 4提问于2018-07-17得票数 1
回答已采纳
1回答
使用火花或火花的转换
、、、
当我将列E/C除以40/5时，我试图用某种方法得到具有逻辑的新输出列，它将8作为一个除法，我需要用E列数字(不包括结束零)*除以红利。即4,4,4,4,4,4,4,4。
浏览 4提问于2021-12-08得票数 0
回答已采纳
Ok问题：
java.util.concurrent.TimeoutException:期货在5秒后超时
和
浏览 1提问于2018-12-24得票数 1
我在cmd提示符中按照教程的要求移动了它：然后我解开了它：和
卷曲-k -L -o w
浏览 2提问于2018-07-15得票数 5
回答已采纳
云服务器
ICP备案
对象存储
云直播
腾讯会议
腾讯云开发者
