org.apache.spark.functions.transform将一个函数应用于数组的每个元素(在Spark3.0中是新的)，然而，pyspark docs没有提到等效的函数 (有pyspark.sql.DataFrame.transform-但它用于转换DataFrames，而不是数组元素)
浏览 12提问于2020-12-06得票数 0
我在PySpark中工作，并将一个事务表作为Spark DataFrame导入，如下所示： User_ID Date Product_NameC 2019-10-01 Product 1
A 2019-12-01 Product 1 我正在尝试做的是创建一个结果表，对于每个唯一的User_ID，计算该用户是否购买了比产品2更多的产品1，然后将在这个新表<em
浏览 11提问于2020-10-03得票数 1
回答已采纳
1回答
我正在使用Kafka流式传输一个JSON文件，将每一行作为一条消息发送。其中一个关键字是用户的email。下面是我的
浏览 2提问于2018-11-21得票数 0
1回答
我目前正在使用pyspark.streaming.kafka.createDirectStream的卡夫卡消费者(用火药厂)
火花流提供了一种称为离散流或DStream的高级抽象，它表示连续的数据流DStreams可以从卡夫卡、弗卢姆和动态等源的输入数据流中创建，也可以通过在其他DStreams上应用高级操作来创建。在内部，DStream被表示为RDDs的序列。本质上，我希望将一组函数应用于DStream中的每个元素<
浏览 4提问于2016-02-29得票数 0
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataFrame有一个最大长度为52个唯一ints的列表。我想要生成一
浏览 9提问于2017-01-12得票数 1
回答已采纳
我熟悉使用UDF将自定义函数逐行应用于DataFrame。但是，我想知道如何将自定义函数并行应用于我的DataFrame的不同子集。下面是一个简化的例子：import pandas as pd
浏览 1提问于2018-07-20得票数 2
我的公司正转向使用Hadoop & learning进行机器学习。我知道python在库中是非常全面的，但是当我们切换到pyspark时，如果我们需要的东西还没有在pyspark中可用呢？而且，继续使用python可能更容易一些，因为我已经知道了python.So：
你能把它们混合在一起，用python编写一部分代码，用pyspa
浏览 4提问于2017-08-30得票数 0
2回答
是否有一种方法可以有条件地将筛选器应用于pyspark中的窗口函数？对于col1中的每个组，我希望只保留在col2中有X的行。如果一个组在X中没有col2，我希望保留该组中的所有行。
浏览 2提问于2019-11-20得票数 0
回答已采纳
我有一个3列的星火数据。如果帮助，列1是唯一的键，没有重复。Col1 | Col2 | Col3 || 11 | 'a' | 13 |由此产生的数据文件：--------------------
|
浏览 7提问于2022-08-19得票数 0
回答已采纳
1回答
用PySpark计算形状值
、、、、
我正在寻找一种方法来减少在我的大型数据集上计算SHAP值所需的计算时间(大约180米行，6个特性)，我遇到了这个，讨论了如何在SHAP上使用PySpark。我是PySpark新手，我正在努力弄清楚如何使用本文中提供的代码片段来运行我的代码。
我现在使用下面的代码运行SHAP，其中还使用了X_values来适应我的隔离森林模型。代码片段演示了如何在PySpark中使用Pandas并行化应用扩展程序。我们定义了一个名为calculate_
浏览 6提问于2022-07-28得票数 2
(sigmoid/logistic)：def myfunc(z):我希望获得一个新的NumPy数组/矩阵，其中每个元素都是将myfunc函数应用于原始矩阵中相应元素的结果。map(myfunc, mymatrix)失败是因为它尝试将myfunc应用于行，而不是应用于每个元素<
浏览 2提问于2017-03-04得票数 60
我试图让pyspark.sql.functions.count()函数或pyspark.sql.functions.count_distinct()函数在计算列中不同元素的数量时考虑null值。从我的研究来看，这似乎与count_distinct()以与相同的方式工作有关。| 4| 4|
浏览 12提问于2022-06-07得票数 0
1回答
如果我将一个列强制转换为不同的类型，那么任何无法强制转换的数据都会被静默转换为NULL：
df = sc.parallelize([('a', '1'), ('b', 'NAN'), ('c', 'foo
浏览 4提问于2017-09-29得票数 0
1回答
计算每一行中元素总数的最有效方法是什么?在上面的示例中，中，预期的结果数据框架是这样的：6…from pyspark.sql.types import IntegerType如果由于某种原因而没有将字段存储在一起，则map()在计算每个数组的长度之前强制对其进行提取。
更广泛地说，“纯粹的”火花方式会更有效，但它是逃避我。对
浏览 0提问于2016-11-13得票数 2
我的数据帧df：A 1 5A 2 6B 5 5
我想从C1中每个不同值的C2中提取最低值作为新的数据帧。
浏览 9提问于2020-05-31得票数 0
回答已采纳
我正在寻找一种有效的方法，将一些映射函数应用于数据帧中的每一对元素。+---+---++---+---+| 2| b|| 4| d|a -> cb -> cc -> d 通过比较，我指的是自定义函数，它接受这两
浏览 6提问于2020-11-20得票数 0
3回答
我真的不明白为什么在为“课程”创建一个带有groupby的Dataframe时，我会得到一个入口位置输出？代码：technologies = ({print(df2) Courses Fee Duration Discount
0
浏览 22提问于2022-10-22得票数 0
回答已采纳
我想将groupBy和后续的agg函数应用于PySpark DataFrame，但仅应用于特定窗口。这可以通过一个例子得到最好的说明。假设我有一个名为df的数据集 df.show()
| ID| Timestamp| Condition|0| 48| +-----+--------
浏览 19提问于2021-02-10得票数 2
回答已采纳
2回答
我有PySpark DataFrame： StructField("col1", StringType"cc", "dd"),我需要计算每一行中唯一值的计
浏览 6提问于2022-10-17得票数 1
回答已采纳
type StudentMark = (String, Int)capMarks :: [StudentMark] -> [StudentMark]下面是我的capMark函数：它应该返回：
[("Jo", 3
浏览 2提问于2016-01-22得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
