1回答
我只是有点困惑如何创建火花udf。我现在有一个函数parse_xml，并执行以下操作：parsed_df = xml_df.withColumn("parsed_xml', parse_xml_udf(xml_df['raw_xml']))
其中xml_d
浏览 2提问于2020-06-30得票数 0
回答已采纳
所以我希望在整个数据帧中逐列应用映射，而不是逐列应用映射。从字符串到数字的映射根据列的不同而不同。例如，对于一列，字符串“糟糕”，“公平”，“好”，“非常好”将吸引分数1,2,3,4；对于另一列，分数可能是4,3,2,1。因此，我想开发一个udf，它以列标题和字符串值为参数，然后基于数据帧列应
浏览 3提问于2018-01-23得票数 0
回答已采纳
jdatetime.datetime.strptime(col, format=format).togregorian()spark.udf.register列中的字符串是匹配的，我已经对其进行了测试。这是spark如何将列值发送到我的函数的问题。不管怎
浏览 11提问于2020-10-18得票数 1
回答已采纳
1回答
我正在尝试在scala的Column上应用一个函数，但是我遇到了一些困难。有这样的错误required: Array[Double]更新： quant
val get_
浏览 1提问于2018-10-03得票数 1
2回答
我正在尝试将一些Pandas代码转换为Spark以进行缩放。myfunc是一个复杂应用程序接口的包装器，它接受一个字符串并返回一个新的字符串(这意味着我不能使用矢量化函数)。这将有效地修改DataFrame中的所有单元。
我是Spark的新手，我想用pyspark来翻译这个逻辑。= StructType([StructField(c, StringType(), True) for c in df.
浏览 2提问于2019-02-02得票数 1
回答已采纳
我想用不同的方法对Spark DataFrame的一些列应用一个函数：fn和fn1。(x*3)
df1 = df.withColumn(col_name, udf_1(col_name))
return
浏览 11提问于2020-07-02得票数 1
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。df.ix[x,y] = new_value
编辑：合并下面所说的内容，您不能修改现有的数据格式，因为它是不可变的，但是您可以返回一个新的数据格式，并进行所需的修改。如果只想根据条件替换列<em
浏览 12提问于2015-03-17得票数 95
回答已采纳
1回答
我有一个用Python编写的spark作业，它使用DataBricks CSV读取器从CSV文件中读取数据。我希望通过应用udf函数将一些列从字符串转换为双列，而udf函数实际上也改变了浮点分隔符。=FloatType())
df = df.withColumn(name, convert_udf</e
浏览 3提问于2016-02-02得票数 1
回答已采纳
作为输入，我有一个包含int值的csv文件。我还设计了一些用于numpy数组输入的python函数，这些函数需要应用于星火DataFrame。np.sqrt(np.mean(np.diff(float_arra
浏览 4提问于2021-02-08得票数 2
回答已采纳
1回答
我知道有很多这样的答案与我要求的内容有关，但是由于我对scala非常陌生，所以我无法理解这些答案。如果有人能帮我纠正我的UDF，我会非常感激的。我有这个UDF，它用于完成从GMT到MST的时区转换： mst.format(
浏览 17提问于2022-09-20得票数 0
回答已采纳
1回答
我在一个小型集群上运行spark 2.1，创建一个数据文件，如下所示：我需要将下面的映射函数应用于field1、field2和field3，但保留整个数据集'].map(mapDict)
在<
浏览 1提问于2017-05-10得票数 0
回答已采纳
我正在尝试构建一个递归重写ArrayType列的spark函数： import org.apache.spark.sql.我认为该函数缺少的一个方面是它不是尾递归的；也就是说，整个'when().otherwise()‘块与'if else’块不同。话虽如此，该函数目前在应用于即使是很小的数据帧时也会抛出堆栈溢出(所以我认为它肯定存在比不是尾递归更多的<
浏览 13提问于2019-01-31得票数 0
1回答
因此，我正在尝试将python算法转换为Spark友好代码，并且遇到了以下问题：df1 = spark.read.load(*.csv)
func_udf = udf(index.inde
浏览 0提问于2018-07-25得票数 0
回答已采纳
1回答
我正在尝试根据某些列的值在dataframe上创建一个新列。它在所有情况下都返回null。有人知道这个简单的例子出了什么问题吗？df = pd.DataFrame([[0,1,0],[1,0,0],[1,1,1]],columns = ['Foo','Bar','Baz'])
elif &
浏览 2提问于2018-09-26得票数 2
回答已采纳
我正在使用Scala，并希望构建自己的DataFrame函数。例如，我希望将列视为数组，遍历每个元素并进行计算。"value length is not a member of org.apache.spark.sql.column",
我不知道如何遍历该列。，
浏览 2提问于2016-04-11得票数 19
回答已采纳
2回答
问题：在调用User Defined Function (UDF)时，我似乎没有在下面的代码中做一些正确的事情。为什么输出不是“这是一个测试”？备注：我使用的是python notebook in Azure数据库。pyspark.sql import functions as F
new_name = F.udf
浏览 13提问于2022-07-14得票数 0
1回答
我使用Spark SQL创建了一个名为todays_ids和previous_days_ids的ID数组。我希望能够直接使用Spark SQL将这些ID数组转换为集合，然后计算一列的ID与另一列的ID之间的差异。到目前为止，我已经使用了UDF：... query to generate today and pre
浏览 28提问于2021-05-15得票数 1
回答已采纳
1回答
我有一个大文件(~5GB)，我已经将它加载到一个dataframe中。现在，我必须从每一行中获取一个值(Fid)，并在相同的dataframe中获取相应的行。var references = df.sqlContext.sql("Select authors,references,id from publications")
浏览 0提问于2018-03-03得票数 0
回答已采纳
我正在尝试使用spark.read来获取我的UDF中的文件数，但当我执行该程序时，它会在这一点挂起。 我正在调用dataframe的withcolumn列中的UDF。udf必须读取一个文件并返回它的计数。但它不起作用。我将一个变量值传递给UDF函数。当我删除spark.read代码并<
浏览 24提问于2019-04-15得票数 2
2回答
我有一个这样的数据帧：df = spark.createDataFrame(rdd1dec列中的可用值，我希望在val列上完成转换。例如，如果是dec = 2，那么我希望将val转换为DecimalType(7,2)。decimal(%d,%d)" % (self.precision, self.scale)
TypeError: %d
浏览 4提问于2018-08-28得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
