假设我希望对具有嵌套结构的表(如)使用进行一些处理。在对UDF实现进行迭代时，我可能希望更改在UDF中查看的字段，因此我决定将整个行从表传递给它。我的UDF最终看起来像这样：CREATE TEMP FUNCTION GetCommitStats( parent ARRAY<STRING>, diff_count
浏览 4提问于2017-05-17得票数 1
回答已采纳
1回答
我正在尝试创建一个具有嵌套结构的DataFrame。因此，首先我创建了包含所有列(甚至包括将要包含在嵌套结构中的列)的DataFrame。然后我有一个case类来指定嵌套结构中的列： val makeStruct = udf((currency: String, amount: String, country: String,
浏览 1提问于2018-09-25得票数 0
1回答
我想在pySpark中使用UDF，它不返回原子值，而是返回嵌套结构。我知道我可以注册UDF并手动设置它将返回的对象的模式。StructField('text',StringType()) )并在UDF中使用python列表来匹配格式。return [
浏览 3提问于2017-03-16得票数 3
问题：例如..。JavaScript UDF只能包含JavaScript代码，而SQL只能包含一条JavaScript语句(没有DML和DDL)。在嵌套的情况下，SQL可以调用另一个SQL或一个JavaScript UDF，但是JavaScript UDF的情况并非如此(它只包含JavaScript代码)。(ID )返回$$，选择udf_InteractionIndicator_nested(ID) + js_factorial(I
浏览 0提问于2019-10-21得票数 1
回答已采纳
1回答
我已经创建了一个返回不嵌套的StructType的udf。只是一个和数组的混合类型(int，float)与字段名。我想把它们炸成不同的/split列。请注意，这将创建大约50个新列。编辑：df_udf = df.withColumn('udf', my_udf(df.input))
df_exploded = df_udf.select('input', &#x
浏览 1提问于2018-05-25得票数 2
回答已采纳
1回答
我知道我可以注册一个UDFand函数，因为它可以在SQL查询中使用： return len(s)spark.sql("SELECT example_udf(col) FROM data")frompyspark.sql.functions import ud
浏览 1提问于2018-04-13得票数 0
回答已采纳
我有一个pig脚本，它将一个元组发送到Java UDF，而这个元组又包含一包元组。在UDF中，我使用AliasableEvalFunc按别名读取元组。例如:假设pig将这个发送到UDF：data = foreach data generate udf(title,enti
浏览 0提问于2015-10-22得票数 0
我正在使用外部名称创建一个CLR，而第二级嵌套类名似乎是不允许的。是这种情况吗？在使用以下语法并包含第一级类名和相关方法时，我可以将UDF绑定到该方法，但如果我包含了其他子类级别，则不能绑定UDF。 RETURNS [nvarchar](MAX) WITH EXECUTE AS CALLER
AS
浏览 0提问于2013-02-25得票数 4
回答已采纳
有没有办法选择整行作为一列输入到Pyspark过滤器udf中？我有一个复杂的过滤函数"my_filter“，希望应用于整个DataFrame：new_df= df.filter(my_filter_udf(col("*"))col("*")
引发错误，因为这不是有效的操作。我的DataFrame具有复杂的嵌套类型，因此当我再次尝试将
浏览 2提问于2018-08-28得票数 4
回答已采纳
我必须在雪花中编写一个JavaScript UDF函数，它接收一个变量作为参数，并对几个键进行一些值更改。这一切都很好，但是有一个特定的属性(属性)看起来像一个嵌套的JSON，但是它有一些有转义符(反斜杠)，这增加了一些复杂性，因为其中一个要求是转换"PROP_3“的值(属性中的嵌套属性)。看屏幕截图。如何处理这个请求，将屏幕截图作为UDF的输入？
谢谢
浏览 7提问于2022-05-13得票数 0
回答已采纳
我将此列传递给一个UDF，以提取其中一个值。sparkSession.udf().register(ADD_START_TOTAL, (UDF1<WrappedArray<WrappedArray<Double>>, Double
浏览 12提问于2017-08-17得票数 4
回答已采纳
1回答
我有许多嵌套级别，所以我使用了第一个级别，使用了爆炸性和选择，然后我使用UDF作为嵌套级别。 | | |-- FieldD: boolean (nullable = true)def extractObjs: UserDefinedFunction = udf<
浏览 0提问于2018-07-13得票数 1
回答已采纳
我正在尝试在redshift中实现一个嵌套的udf。select from 但它说嵌套的udf不受支持
浏览 1提问于2018-10-02得票数 0
我想在Palantir Foundry代码库中定义以下pandas_udf。@pandas_udf("long", PandasUDFType.GROUPED_AGG) return v.quantile(0.95)("long", PandasUDFType.GROUPED_AGG) return v.quantile(0.95)(df.Recei
浏览 2提问于2021-03-02得票数 1
回答已采纳
我希望首先只过滤具有Max的行，然后只对嵌套列中具有Max的行进行爆破。因此嵌套列分裂为2行。
浏览 2提问于2016-05-23得票数 1
我有两个dataframe，在使用collect_set()之后在agg中使用groupby。聚合后如何最好地将结果数组flatMap。
df2 = spark.createDataFrame(b,
浏览 5提问于2017-01-12得票数 4
回答已采纳
我知道当涉及到矢量化时，pyspark.sql.functions.pandas_udf会比pyspark.sql.functions.udf更快。
浏览 31提问于2020-12-19得票数 1
2回答
SQL嵌套替换顺序
、、、
愚蠢的问题，但似乎找不到快速的答案.我正在创建UDF，用嵌套的替换替换名称前缀.就像这样： REPLACE( REPLACE(
REPLACE(嵌套替换的顺序/层次结构是什么？蒂娅，丹尼
浏览 1提问于2018-10-03得票数 0
回答已采纳
如何进行成对迭代列以查找相似之处.例："Ajay Malhotra"，28岁"Madhav Shankar“，33岁
&#
浏览 1提问于2019-05-08得票数 0
回答已采纳
云服务器
ICP备案
云直播
对象存储
腾讯会议
腾讯云开发者
