在pyspark中使用udfs时，我遇到了以下问题。 只要我不使用任何udf，我的代码就能很好地工作。执行简单的操作(如选择列)或使用sql函数(如concat )都没有问题。一旦我在使用自定义函数的DataFrame上执行操作，程序就会崩溃，并出现以下异常： WARNING: An illegal reflective access operation has occurred<
浏览 43提问于2019-06-05得票数 1
回答已采纳
2回答
当用于Java 11时，Spark 2.x会出现以下错误
Spark3.0还有其他解决办法可以在Spark中使用Java 11吗？
浏览 2提问于2020-07-14得票数 5
pyspark.sql.utils.AnalysisException: No handler for UDF/UDAF/UDTF 'org.apache.hadoop.hive.ql.udf.generic.GenericUDAFHistogramNumericLorg.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;, boolean, boolean); line 4 pos 29 当我尝试在Spark
浏览 108提问于2020-09-16得票数 1
回答已采纳
我在一个基于类的视图中创建了一个pyspark，在另一个基于类的视图中，我拥有了我想要调用的函数，它们都位于同一个文件(api.py)中，但是当我检查由此产生的dataframe的内容时，我会得到以下错误当您使用基于类的视图时，创建pyspark的正确方法是什么？在<
浏览 2提问于2020-03-22得票数 1
当试图通过Submit或Zeppelin运行一些代码时，我得到了以下错误："_pickle.PicklingError:来自__ newobj __ args的args有错误的类“奇怪的是，前两次通过齐柏林飞艇运行我的代码我得到了错误，但是在第三次尝试之后，它运行得很好，输出就是我期望的结果。追溯(最近一
浏览 3提问于2017-10-22得票数 1
我已经编写了一个模块，其中包含了在PySpark DataFrames上工作的函数。它们对DataFrame中的列进行转换，然后返回一个新的DataFrame。通过尝试使用str2num函数，我检查是否实际导入了我的模块：97
所以它实际上是在导入模块。，而不是导入模块，而是在交互式shell中定义了str2num函数和UDF。然后，我输入了最后
浏览 6提问于2016-03-10得票数 7
回答已采纳
我有以下格式的数据，这是从Hive获得的数据格式：1388534400, GOOG, 501388534400, MSFT, 551388620800, FB, 61其中日期是当天午夜的时代，我们有大约10年前的数据(800million'1388534400': 50,
'138862080
浏览 0提问于2018-12-26得票数 1
回答已采纳
我正在使用YARN设置Spark集群，其中Jupyterhub在主节点上运行。我已经使用conda在所有节点上安装了python2和3，我希望用户能够指定他们使用哪个版本的python执行代码。这是必要的，因为Python UDF中使用的一些库还不支持Python 3。可执行文件，并使用 spark = pyspark.sql.SparkSess
浏览 14提问于2019-04-13得票数 0
回答已采纳
我正在运行一段代码，它使用pickled来使用一个泡沫化的sklearn模型来获取数据。在我将引擎更改为Python3.6之前，这在Python2.7中似乎没有问题。而且，似乎只有在运行UDF脚本(分布式模式)时才会发生这种情况，但是当在UDF之外运行时，sklearn工作得很好。每当我尝试将dataframe写入数据库时，或者在另一个实例中，当我尝试将数据写入数据库时，我都会得到
浏览 12提问于2022-02-09得票数 0
我使用的是Putty，它没有Python3，它有python2或python，所以尝试使用命令来运行python文件。55 08 * * * /usr/bin/python2 /home/user/file.py
还有几条其他命令，但什么也没起作用。我所拥有的python文件运行得非常好，可以使用闪烁2-submit命令。这是一个被转换为python的pyspark
浏览 4提问于2022-07-24得票数 1
我看了看类似的问题和回复，但没有找到我的解决方案。
我正在使用openjdk11和apache-maven-3.5.4进行项目编译和打包，一切工作正常，应用程序运行正常。但是在我通过maven命令连接到sonarcube服务器的基础上执行声纳分析时，它失败了，并且发生了一些问题。当我使用jdk6和maven 3.2.1时，这个命令起作用了。使用的maven命令: mvn sonar:sonar -Dsonar.host.url={my
浏览 0提问于2018-10-19得票数 12
2回答
x) + 1import pyspark.sql.functions as fndf.withColumn('x1', _udf(df['x'])).show()
如果我们在定义这两个函数(udfs.py)的文件中执行此操作，则工作正常。但是，我的目标是在</em
浏览 0提问于2019-04-15得票数 9
这是在jupyter笔记本上运行的pyspark代码。import pysparkbuilder = pyspark.sql.SparkSession.builder.appName("MyApp") \：调用Py4JJavaError时出错：java.lang.IllegalAccessError: org.apache.spark.storage.StorageUtils$类(在未命名模
浏览 11提问于2022-01-17得票数 3
3回答
如何将数组(即列表)列转换为向量
、、、、
这个问题的简短版本！请参阅下面的详细信息(以及解决方案的尝试失败)。或者，还有其他的手术能起到我想要的效果吗？
)这个杂乱无章的问题的
浏览 9提问于2017-02-09得票数 75
回答已采纳
2回答
我使用spark-submit提交spark作业，并通过--jars标志指定要加载的Teradata JDBC驱动程序的最新版本(17.10.00.14)。日志确认JAR文件已成功添加。但是，在与Teradata建立连接时 ( option("url", url).此java.sql.SQLException由com.teradata.jdbc.jdbc_4库<em
浏览 136提问于2021-07-15得票数 0
回答已采纳
我在运行SBT-pro卫士时遇到了这个错误，它的运行框架为2.7.3。proguard) Proguard failed with exit code [1]它说的是问题--不支持的类版本号。
浏览 4提问于2019-10-24得票数 0
我试图在Google colab上运行pyspark，它需要Java 8，但当我在Colab中查看java版本时，它提供了： openjdk version "11.0.4" 2019-07-16 OpenJDK1ubuntu218.04.3) OpenJDK 64-Bit Server VM (build 11.0.4+11-post-Ubuntu-1ubuntu218.04.3, mixed mode) 我尝试使用以下命令更改Java版本
浏览 35提问于2019-09-26得票数 2
回答已采纳
我有IBMJava1.6.0和maven 3.3.3的环境。
当我运行mvn干净安装时，会出现以下错误。
浏览 3提问于2015-10-14得票数 5
回答已采纳
INPUTLANGUAGE java AS 'return MyClass.mymethod(custommap);';
其中"MyClass“是我可以在类路径中注册的类
浏览 2提问于2017-04-27得票数 5
from pyspark.sql.functions import *我试图将数据帧转换为df.column.cast(ShortType())，但当我尝试插入数据99999时，它正在转换为null而不会抛出任何错误，所以您能否建议在转换时抛出错误的任何方法。
浏览 0提问于2021-05-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
