无法调用pyspark udf函数

文章/答案/技术大牛

发布

2回答

使用withColumn函数从PySpark中的列表动态创建新列

pyspark、pyspark-sql

我试图通过使用cp_codeset()函数并在withColumn()函数中调用pySpark中的udf来动态地为列表中的每个项创建列(在本例中是withColumn列表)。from pyspark.sql.functions import udf, col, litfrom pyspark.sql.types import= udf(flag, Intege

浏览 2提问于2017-03-27得票数 2

1回答

python、apache-spark、pyspark、user-defined-functions

尝试使用UDF函数，但遇到错误： import timefrom pyspark.sql.functions import lit,unix_timestamp, udf, col, lit dict = [{'name': 'Alice', 'age':return unix_timestamp(

浏览 36提问于2021-07-23得票数 2

回答已采纳

1回答

具有多个参数的用户定义函数返回空值。

python、apache-spark、pyspark、apache-spark-sql、user-defined-functions

我试图将python函数转换为PySpark用户定义的函数，如下所示：from pyspark.sql.functions importudf,col,arrayfrom datetime import/input/applicationloan

浏览 8提问于2022-07-11得票数 2

回答已采纳

1回答

正在分析的pyspark udf打印行

python、python-3.x、pyspark、user-defined-functions、static-variables

我在一个pyspark udf函数中遇到了一个问题，我想打印产生问题的行号。import pyspark.sql.functions as F myF.lineNumber += 1 print(myF.lineNumber) myF

浏览 2提问于2019-01-18得票数 3

1回答

为什么我不能在木星笔记本中输入'pandas_udf‘？

pyspark、jupyter-notebook

请注意，“udf”可以在木星中进口。from pyspark.sql.functions import pandas_udf ImportError:无法导入名称“pandas_udf” 有人知道怎么修吗？

浏览 1提问于2018-03-22得票数 3

1回答

为什么我的udf调用不能看到与SparkContext.addPyFile一起添加的依赖项？

python、apache-spark、pyspark

我正在做一些简单的PySpark从木星控制台，我遇到了一个问题，当我试图调用一些外部代码。我的最小示例代码只有一个依赖项，testpackage.zip。当我调用一个在包中使用代码的UserDefinedFunction时，我会得到一个AttributeError，它显示Spark无法在testpackage.zip中找到函数。from pyspark.sql import SparkSession from pyspark.sql.functions import U

浏览 0提问于2019-01-24得票数 1

1回答

使用用户定义函数添加列

python、python-3.x、apache-spark

在以下示例(取自)中，用户定义函数(UDF)的名称为Total(...,...)。但是作者用new_f(...,...)这个名字来称呼它。问题：在下面的代码中，我们如何知道函数调用new_f(...,...)应该调用函数Total(...,...)？如果有另一个UDF函数，比如说，Sum(...,...)。在这种情况下，代码如何知道调用new_f(...,...)是否意味着调用Total(...,...)或Sum(.

浏览 2提问于2022-05-20得票数 1

回答已采纳

2回答

Spark (2.3+)可从PySpark/Python调用的Java函数

java、apache-spark、pyspark

我的问题是：这是正确的吗？我是

浏览 76提问于2018-08-11得票数 0

1回答

使用udf以编程方式从dataframe中选择列

python、pyspark、apache-spark-sql

使用pyspark打开火花壳。from pyspark.sql.functions import udfdef squared_udf(s): jsonCurDF.select(colSelListStr).show() 上述命令失败“无法解析'`squared_udf('age')‘”

浏览 8提问于2019-06-18得票数 1

1回答

如何将变量传递给UDAF (自定义聚合函数)

pyspark、apache-spark-sql

import pandas as pdfrom pyspark.sql import SparkSessionfrom pyspark.sql.functions import PandasUDFType, pandas_udfimportrequest_json_data['groupby_key']

浏览 5提问于2020-09-21得票数 0

1回答

如何将子字符串和instr结合使用

python、apache-spark、pyspark

我试图同时使用子字符串和instr函数来提取子字符串，但无法这样做。我试着使用pyspark本机函数和udf，但得到了一个错误，即“列不可迭代”。你能帮帮我吗from pyspark.sql.functions import UserDefinedFunction{"chargedate

浏览 7提问于2019-12-08得票数 1

回答已采纳

1回答

如果我使用类方法作为pyspark中的udf，会发生什么呢？

python、apache-spark、pyspark

我理解如果我定义一个Python函数并将它用于PySpark UDF，会发生什么。但是，我并不完全清楚，当调用实例化对象的方法时，PySpark在做什么： _const = 1 return x +_const 执行者是如何发挥这一作用的？

浏览 0提问于2018-10-08得票数 2

回答已采纳

1回答

Pyspark:访问UDF中行中的列

python、pyspark、pyspark-sql

一位尝试理解UDF的pyspark初学者：功能：转换为UDF test_udf=udf(test

浏览 16提问于2019-08-16得票数 0

1回答

使用类方法的udf

class、pyspark、user-defined-functions

我的问题是:如何使用problem在类中的另一个函数中调用函数。我正在尝试使用文件devAM_hive.py中名为Anomalie的类中的一个方法来编写pyspark。(): self.Anomalie_udf = F.udf(Anomalie.aux,ArrayType(StringType()))(F.col("Description")))当我从主文件中

浏览 9提问于2022-04-09得票数 0

1回答

解析存储为string的pyspark行

python、pyspark

当我将它们读入pyspark中时，这些列被读取为如下所示的字符串： 'Row(name='Bob', updated='Sat Nov 21 12:57:54', isProgrammer=True)'

浏览 3提问于2022-06-03得票数 0

1回答

过滤Spark SQL数据帧中的距离

python、apache-spark、pyspark、apache-spark-sql、geopy

我有一个带有纬度和经度列的Spark SQL DataDrame，我试图通过计算到输入的距离来过滤低于阈值的行。我当前的代码看起来像这样。我使用geopy (great_circle)来计算后面长对之间的距离。threshold = 10当我运行这段代码时，我得到以下错误 ValueError: Cannot conver

浏览 11提问于2017-12-19得票数 0

回答已采纳

1回答

带有PySpark 2.4的Pandas UDF

pandas、apache-spark、pyspark、apache-spark-sql

我正在尝试基于下面的spark文档使用PySpark 2.4，pyarrow版本0.15.0和pandas版本0.24.2执行pandas_udf，在调用pandas_udf函数时有问题。import pandas as pdfrom pyspark.sql.types import LongType# Declare the function and

浏览 1提问于2020-11-06得票数 0

2回答

如何在同一个文件中从另一个类函数中调用类函数，从而创建吡火花udf？

django、python-3.x、apache-spark、pyspark、user-defined-functions

我在一个基于类的视图中创建了一个pyspark，在另一个基于类的视图中，我拥有了我想要调用的函数，它们都位于同一个文件(api.py)中，但是当我检查由此产生的dataframe的内容时，我会得到以下错误当您使用基于类的视图时，创建pyspark的正确方法是什么？在调用函数的同一个文件中编写函数是否是错误的做法？函数的文件中(如我的代码中所示)，将函数定义为pyspark的类。import TextMiningMet

浏览 2提问于2020-03-22得票数 1

1回答

当输出是要从Pyspark使用的复杂类型(使用StructType和StructField)时，如何传递Scala UserDefinedFunction

scala、apache-spark、pyspark、interop、user-defined-functions

因此，我想创建一个可以在Pyspark中使用的scala UDF。我的问题是试图让这个在pyspark中可调用。DualArrayExplode { new DualArrayExplode()} 我已经创建了一个jar，其中包含此代码以及其他函数注册此函数时，我无法定义正确的返回类型。我如何在pyspark中实际使用这个scala UDF？我

浏览 29提问于2020-10-09得票数 4

回答已采纳

1回答

是否有一种方法可以获得pyspark.sql.column.Column的dtype而不首先在pyspark.sql.DataFrame上调用它？

python、apache-spark、pyspark

这可能是一个小众问题，但假设您有一个定义如下的udf：import pyspark.sql.types as stdef some_function(text: str) -> List[str]:这将返回一个udf是否有一种方法可以获得返回类型： Without调用<

浏览 2提问于2021-11-20得票数 0

回答已采纳

点击加载更多

使用withColumn函数从PySpark中的列表动态创建新列