腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何在不指定完整类型的情况下将行从表传递给
UDF
?
、
假设我希望对具有
嵌套
结构的表(如)使用进行一些处理。在对
UDF
实现进行迭代时,我可能希望更改在
UDF
中查看的字段,因此我决定将整个行从表传递给它。我的
UDF
最终看起来像这样:CREATE TEMP FUNCTION GetCommitStats( parent ARRAY<STRING>, diff_count
浏览 4
提问于2017-05-17
得票数 1
回答已采纳
1
回答
创建具有10个以上参数的
UDF
、
我正在尝试创建一个具有
嵌套
结构的DataFrame。因此,首先我创建了包含所有列(甚至包括将要包含在
嵌套
结构中的列)的DataFrame。然后我有一个case类来指定
嵌套
结构中的列: val makeStruct =
udf
((currency: String, amount: String, country: String,
浏览 1
提问于2018-09-25
得票数 0
1
回答
pySpark中
UDF
返回对象的动态模式推断
、
、
、
、
我想在pySpark中使用
UDF
,它不返回原子值,而是返回
嵌套
结构。我知道我可以注册
UDF
并手动设置它将返回的对象的模式。StructField('text',StringType()) )并在
UDF
中使用python列表来匹配格式。return [
浏览 3
提问于2017-03-16
得票数 3
1
回答
关于在雪花函数中
嵌套
多个函数的问题
问题:例如..。JavaScript
UDF
只能包含JavaScript代码,而SQL只能包含一条JavaScript语句(没有DML和DDL)。在
嵌套
的情况下,SQL可以调用另一个SQL或一个JavaScript
UDF
,但是JavaScript
UDF
的情况并非如此(它只包含JavaScript代码)。(ID )返回$$,选择
udf
_InteractionIndicator_nested(ID) + js_factorial(I
浏览 0
提问于2019-10-21
得票数 1
回答已采纳
1
回答
火星雨:把结构炸成柱子
、
我已经创建了一个返回不
嵌套
的StructType的
udf
。只是一个和数组的混合类型(int,float)与字段名。我想把它们炸成不同的/split列。请注意,这将创建大约50个新列。编辑:df_
udf
= df.withColumn('
udf
', my_
udf
(df.input)) df_exploded = df_
udf
.select('input',
浏览 1
提问于2018-05-25
得票数 2
回答已采纳
1
回答
CosmosDb:从另一个存储过程或触发器调用存储过程
、
那
UDF
呢?我可以从另一个
UDF
、存储过程或触发器调用
UDF
吗?
浏览 2
提问于2019-03-12
得票数 2
回答已采纳
1
回答
如何将
udf
添加到sqlContext中
、
、
我知道我可以注册一个UDFand函数,因为它可以在SQL查询中使用: return len(s)spark.sql("SELECT example_
udf
(col) FROM data")frompyspark.sql.functions import
ud
浏览 1
提问于2018-04-13
得票数 0
回答已采纳
1
回答
使用AliasableEvalFunc并读取Java
UDF
中的一大堆元组
、
、
、
我有一个pig脚本,它将一个元组发送到Java
UDF
,而这个元组又包含一包元组。在
UDF
中,我使用AliasableEvalFunc按别名读取元组。例如:假设pig将这个发送到
UDF
:data = foreach data generate
udf
(title,enti
浏览 0
提问于2015-10-22
得票数 0
1
回答
如何创建具有指定名称空间、类和子类的外部名称的CLR?
、
、
我正在使用外部名称创建一个CLR,而第二级
嵌套
类名似乎是不允许的。是这种情况吗?在使用以下语法并包含第一级类名和相关方法时,我可以将
UDF
绑定到该方法,但如果我包含了其他子类级别,则不能绑定
UDF
。 RETURNS [nvarchar](MAX) WITH EXECUTE AS CALLER AS
浏览 0
提问于2013-02-25
得票数 4
回答已采纳
1
回答
使用整行
udf
过滤Pyspark Dataframe
、
、
有没有办法选择整行作为一列输入到Pyspark过滤器
udf
中?我有一个复杂的过滤函数"my_filter“,希望应用于整个DataFrame:new_df= df.filter(my_filter_
udf
(col("*"))col("*") 引发错误,因为这不是有效的操作。我的DataFrame具有复杂的
嵌套
类型,因此当我再次尝试将
浏览 2
提问于2018-08-28
得票数 4
回答已采纳
1
回答
如何操作雪花中JavaScript
UDF
中的Json
嵌套
属性
、
我必须在雪花中编写一个JavaScript
UDF
函数,它接收一个变量作为参数,并对几个键进行一些值更改。这一切都很好,但是有一个特定的属性(属性)看起来像一个
嵌套
的JSON,但是它有一些有转义符(反斜杠),这增加了一些复杂性,因为其中一个要求是转换"PROP_3“的值(属性中的
嵌套
属性)。看屏幕截图。如何处理这个请求,将屏幕截图作为
UDF
的输入? 谢谢
浏览 7
提问于2022-05-13
得票数 0
回答已采纳
1
回答
在
UDF
Java中Spark get value form WrappedArray<WrappedArray<Double>>
、
、
、
我将此列传递给一个
UDF
,以提取其中一个值。sparkSession.
udf
().register(ADD_START_TOTAL, (
UDF
1<WrappedArray<WrappedArray<Double>>, Double
浏览 12
提问于2017-08-17
得票数 4
回答已采纳
1
回答
从
UDF
内部的Spark中提取
嵌套
数组
、
、
、
我有许多
嵌套
级别,所以我使用了第一个级别,使用了爆炸性和选择,然后我使用
UDF
作为
嵌套
级别。 | | |-- FieldD: boolean (nullable = true)def extractObjs: UserDefinedFunction =
udf<
浏览 0
提问于2018-07-13
得票数 1
回答已采纳
1
回答
redshift中的python
udf
-支持
嵌套
udf
、
、
我正在尝试在redshift中实现一个
嵌套
的
udf
。select from 但它说
嵌套
的
udf
不受支持
浏览 1
提问于2018-10-02
得票数 0
1
回答
在Palantir铸造代码库中定义Pandas
UDF
的正确方法是什么?
、
、
、
我想在Palantir Foundry代码库中定义以下pandas_
udf
。@pandas_
udf
("long", PandasUDFType.GROUPED_AGG) return v.quantile(0.95)("long", PandasUDFType.GROUPED_AGG) return v.quantile(0.95)(df.Recei
浏览 2
提问于2021-03-02
得票数 1
回答已采纳
1
回答
激发
嵌套
记录上的Sql查询。我想先过滤
嵌套
的记录数组,然后爆炸(将它们展开成行)。
、
、
、
我希望首先只过滤具有Max的行,然后只对
嵌套
列中具有Max的行进行爆破。因此
嵌套
列分裂为2行。
浏览 2
提问于2016-05-23
得票数 1
2
回答
火花放电数据图中的collect_set平面映射
、
、
我有两个dataframe,在使用collect_set()之后在agg中使用groupby。聚合后如何最好地将结果数组flatMap。 df2 = spark.createDataFrame(b,
浏览 5
提问于2017-01-12
得票数 4
回答已采纳
1
回答
如何在pyspark.sql.functions.pandas_
udf
和pyspark.sql.functions.
udf
之间进行选择?
、
、
我知道当涉及到矢量化时,pyspark.sql.functions.pandas_
udf
会比pyspark.sql.functions.
udf
更快。
浏览 31
提问于2020-12-19
得票数 1
2
回答
SQL
嵌套
替换顺序
、
、
、
愚蠢的问题,但似乎找不到快速的答案.我正在创建
UDF
,用
嵌套
的替换替换名称前缀.就像这样: REPLACE( REPLACE( REPLACE(
嵌套
替换的顺序/层次结构是什么?蒂娅,丹尼
浏览 1
提问于2018-10-03
得票数 0
回答已采纳
1
回答
DataFrame元素的配对智能比较
、
如何进行成对迭代列以查找相似之处.例:"Ajay Malhotra",28岁"Madhav Shankar“,33岁
浏览 1
提问于2019-05-08
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券