使用Quantlib函数的Pyspark UDF

文章/答案/技术大牛

发布

1回答

pyspark、quantlib

我一直在尝试使用Quantlib和Spark，尝试在Pyspark中传递Quantlib函数参见下面的示例：from pyspark.sql.typesimport StringType df = sc.parallelize([("2016-10-01",),("2016-11

浏览 1提问于2017-02-15得票数 0

回答已采纳

1回答

具有多个参数的用户定义函数返回空值。

python、apache-spark、pyspark、apache-spark-sql、user-defined-functions

我试图将python函数转换为PySpark用户定义的函数，如下所示：from pyspark.sql.functions importudf,col,arrayfrom datetime import：源文件“loan.txt”<em

浏览 8提问于2022-07-11得票数 2

回答已采纳

1回答

使用PySpark整数列作为参数

pyspark

我正试图解析一个PySpark列，其中包含一个"=“号。我为此目的创建的两个函数分别工作：同时，当我创建子字符串列时我收到一个错误：TypeError: int()参数必须是字符串或数字，而不是‘列’问题似

浏览 4提问于2017-08-11得票数 0

1回答

如何将udf添加到sqlContext中

python、apache-spark、user-defined-functions

我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用： return len(s)from pyspark.sql.types import IntegerTypedata.se

浏览 1提问于2018-04-13得票数 0

回答已采纳

2回答

将自定义函数应用于PySpark中数据帧的选定列的单元格

python、apache-spark、pyspark、spark-dataframe

+| 2|address 2.1|address 2.2|我想将一个自定义函数直接应用于address1和address2列中的字符串，例如： name_1 = string1.lower().split(' ')，以便我的最终数据框架看起来如下：| i

浏览 3提问于2017-07-28得票数 7

回答已采纳

1回答

在spark 2.2中使用pandas_udf

pandas、pyspark、user-defined-functions

在Pyspark2.2中有没有使用pandas_udf的方法？

浏览 33提问于2019-05-04得票数 1

1回答

Spark dataframe的udf()的Python包中的函数

python、apache-spark、pyspark

对于通过pyspark的Spark dataframe，我们可以使用pyspark.sql.functions.udf来创建一个user defined function (UDF)。我想知道我是否可以在udf()中使用Python包中的任何函数，例如来自numpy的np.random.normal？

浏览 0提问于2015-04-07得票数 8

1回答

使用在内部定义了udf的模块冻结pyspark作业-解释？

pyspark、apache-spark-sql、user-defined-functions

情况是这样的：我们有一个模块，在其中我们定义了一些返回pyspark.sql.DataFrame (DF)的函数。为了获得这些DF，我们使用在同一文件或助手模块中定义的一些pyspark.sql.functions.udf。问题是，当我们这样做时，udf函数冻结了我们的工作。我们发现的令人讨厌的修复方法是在作业中定义udf函数

浏览 12提问于2017-07-14得票数 9

2回答

如何将pyspark UDF导入到主类中

python、apache-spark、pyspark、user-defined-functions

functions.py有一个函数，并从该函数创建一个pyspark udf。main.py会尝试导入该自定义项。但是，在访问functions.py中的函数时，main.py似乎遇到了问题。functions.py：from pyspark.sql.types import StringType def do_something/usr

浏览 3提问于2017-10-04得票数 5

回答已采纳

1回答

如何从Pyspark中的UDF函数发送日志

logging、pyspark、user-defined-functions

如果在PySpark中将任何类型的登录添加到UDF函数中，它将不会出现在任何地方。这是一种实现这一目标的方法吗？例如。下面是我想使用的一个函数： try:

浏览 0提问于2019-10-15得票数 5

1回答

Pyspark Data Frame:访问列(TypeError: Column不可迭代)

pyspark、databricks

我正在为PySpark代码而苦苦挣扎，尤其是，我想在一个不可迭代的对象col上调用一个函数。from pyspark.sql.functions import col, lower, regexp_replace, splitclean_text_df.show(10) 当我在c = translator.translate(c, dest='en', src='aut

浏览 86提问于2020-04-10得票数 1

1回答

Pyspark体验

apache-spark、pyspark、user-defined-functions

我对myself非常陌生，我自己也在学习UDF。我意识到UDF有时会减慢代码的速度。我想知道你的经历。您应用了什么UDF功能(不能仅用Pyspark代码实现)。有什么有用的UDF函数可以帮助您清理数据吗？除了Pyspark文档之外，还有什么资源可以帮助我学习UDF函数吗？

浏览 8提问于2022-03-03得票数 0

1回答

将int列转换为列表类型pyspark

pyspark

我的DataFrame有一个列num_of_items。这是一个计数字段。现在，我想将它从int类型转换为list类型。from pyspark.sql.types import ArrayType return [x]

浏览 1提问于2019-01-07得票数 3

回答已采纳

1回答

如何将子字符串和instr结合使用

python、apache-spark、pyspark

我试图同时使用子字符串和instr函数来提取子字符串，但无法这样做。我试着使用pyspark本机函数和udf，但得到了一个错误，即“列不可迭代”。你能帮帮我吗from pyspark.sql.functions import UserDefinedFunction{"c

浏览 7提问于2019-12-08得票数 1

回答已采纳

1回答

正在分析的pyspark udf打印行

python、python-3.x、pyspark、user-defined-functions、static-variables

我在一个pyspark udf函数中遇到了一个问题，我想打印产生问题的行号。import pyspark.sql.functions as F myF.lineNumber += 1 print(myF.line

浏览 2提问于2019-01-18得票数 3

2回答

如何在同一个文件中从另一个类函数中调用类函数，从而创建吡火花udf？

django、python-3.x、apache-spark、pyspark、user-defined-functions

我在一个基于类的视图中创建了一个pyspark，在另一个基于类的视图中，我拥有了我想要调用的函数，它们都位于同一个文件(api.py)中，但是当我检查由此产生的dataframe的内容时，我会得到以下错误当您使用基于类的视图时，创建pyspark的正确方法是什么？在调用函数的同一个文件中编写函数是否是错误的做法？'pa

浏览 2提问于2020-03-22得票数 1

2回答

如何在PySpark 1.6中将DataFrame列从字符串转换为浮点型/双精度？

python、pyspark、apache-spark-sql、type-conversion

在Spark1.6 DataFrame中，目前没有PySpark内置函数可以将字符串转换为浮点型/双精度型。from pyspark.sql.funct

浏览 0提问于2016-02-28得票数 5

2回答

使用部分函数的pyspark pandas_udf出错

python-3.x、pyspark、pandas-groupby、user-defined-functions

我定义了一个pandas udf函数，并希望将除pandas.Series或pandas.DataFrame之外的其他参数传递给udf函数。我想使用partial函数来做这件事，但它出错了。我的代码如下： from functools import partial from pyspark.sql importSparkSess

浏览 15提问于2019-12-18得票数 0

回答已采纳

1回答

我有一个包含列(id、id2、vec、vec2)的表，其中id是整数，向量是pyspark SparseVeectors。我想写一个udf来接受vec和vec2的点积，如下所示： def dot_product(vec, vec2): #or do the row and I can access them later asreturn vec.dot(vec2)dot_product = df.withColum

浏览 16提问于2020-07-08得票数 1

2回答

使用withColumn函数从PySpark中的列表动态创建新列

pyspark、pyspark-sql

我试图通过使用cp_codeset()函数并在withColumn()函数中调用pySpark中的udf来动态地为列表中的每个项创建列(在本例中是withColumn列表)。from pyspark.sql.functions import udf, col, litfrom pyspark.sql.types import= udf

浏览 2提问于2017-03-27得票数 2

点击加载更多