我在pyspark中有了下一个df： +---------+----------+--------+-----+----------+------++---------+----------+--------+-----+----------+------+ 我需要删除ncf和日期相等的行。
浏览 42提问于2021-10-25得票数 0
回答已采纳
尝试在连接hdfs表后删除pyspark df中的重复列名称？ 您好，我正在尝试连接多个具有200+最终列数的数据集。由于要求和大量的列，我不能在连接时选择特定的列。有没有办法在连接后删除重复的列。我知道有一种方法可以通过spark df的.join方法来做到这一点，但是我加入的基表不是spark df，并且我正在试图避免在join之前将它们转换为spark df。用于创建Spar
浏览 20提问于2018-12-20得票数 1
1回答
我有一个pyspark RDD，它有大约200万个元素。我不能一次收集它们，因为它会导致OutOfMemoryError异常。 如何批量采集？这是一个潜在的解决方案，但我怀疑还有更好的方法:收集一个批处理(使用take、https://spark.apache.org/docs/3.1.2/api/python/reference/api/pyspark.RDD.take.html#pyspark.RDD.take)
浏览 29提问于2021-10-12得票数 0
回答已采纳
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataFrame有一个最大长度为52个唯一ints的列表。我想要生成一个列，它遍历int
浏览 9提问于2017-01-12得票数 1
回答已采纳
当我用groupBy()替换spark数据帧上的distinct()时，我在我的pyspark代码中看到了很大的性能改进。但是我不能理解背后的原因。整个意图是从数据帧中删除行级重复项。我尝试在谷歌上搜索groupBy()和distinct()在pyspark中的实现，但没有找到。
有没有人能给我解释一下或者给我指出正确的方向？
浏览 0提问于2018-09-11得票数 6
插入表的_InsertMain Table_EditContains更新。它可以有一个主键的多个更新条目_插入-| 123 | CarMonth || 123 | House Loan | 05-May-22|
现在，我尝试在Dataframe (合并的dropDuplicatesSELECT * FROM ins
浏览 2提问于2022-05-09得票数 -1
我像这样流式传输数据：time，id，value我只想用最新的value为每个id保留一条记录。解决这个问题的最好方法是什么？更喜欢使用Pyspark
浏览 23提问于2021-09-22得票数 1
1回答
我正在使用做一些工作，并有一个包含在每一行中的重复事务示例的rdd。这将导致模型训练函数因这些重复项而引发错误。我对Spark相当陌生，我想知道如何删除rdd行中的重复项。例如： from pyspark.mllib.fpm import FPGrowth
data = [["a", "a", "b", "c"], [&q
浏览 2提问于2016-09-06得票数 0
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas dataframe中的字符串应用自定义函数来完成的。不幸<em
浏览 7提问于2021-03-15得票数 0
回答已采纳
我有一个用例，我需要删除数据帧的重复行(在这种情况下，重复意味着它们具有相同的'id‘字段)，同时保留具有最高'timestamp’(unix时间戳)字段的行。我找到了drop_duplicate方法(我使用的是pyspark)，但无法控制将保留哪个项目。
有人能帮上忙吗？提前进行Thx
浏览 2提问于2016-04-14得票数 9
回答已采纳
我在pyspark中有一个数据框架，如下所示。camera| |我希望通过为每个column在device and model列中连接唯一值来创建id+---+-----------------------------------------------------------------------------+
但是我在结果中得到了重复的值如何避免在最终数据帧中填充重复值？
浏览 1提问于2018-06-16得票数 1
回答已采纳
在连接两个表时，我想从一个在databricks上的pyspark sql上有许多列的大表中选择除其中两列之外的所有列。我的pyspark sql： set hive.support.quoted.identifiers=none;谢谢
浏览 5提问于2020-07-28得票数 0
我正在尝试使用python从文本文件中删除重复的数字，但该操作仅适用于行。例如，我的文本文件是：66 9 23 import pyspark
from pyspark import SparkContext, SparkConf
浏览 2提问于2022-02-14得票数 0
回答已采纳
1回答
从一个随机项函数创建一个集合
、、、、
新的电火花，并希望任何指针生成一组项目的基础上，随机选择从一个给定的列表。这些随机选择需要附加到列表中，但必须是唯一的，因此在python实现中，我在while语句的上下文中使用了一个集来启动。语法)
我想做的是利用spark的分布式计算，并更快地完成上面的内容。这是在0,1 之间的分布，而不是，这是从某些项目列表中选择的随机选择。*我知道id_generator()的大小为6，大约有2,176,782,336个组合，所以复制
浏览 3提问于2021-11-12得票数 0
回答已采纳
2回答
我有一个pyspark数据帧：----------------------------------------------------------------------------------------
在matricule数组中，如果我删除AZ字符串，我会有重复的值。我想删除"AZ&q
浏览 28提问于2020-02-26得票数 2
回答已采纳
1回答
你好，我已经创建了一个星星之火数据，我正在尝试删除重复的：我得到以下错误： at java.lang.Thread.run(Thread.java:745)我用了一个这样的笔记本PYSPARK_DRIVER_PYTHON=jupyter <e
浏览 9提问于2016-05-07得票数 13
回答已采纳
在PySpark和Synapse数据流中，我遇到了非常奇怪的错误。 )这是我所知道的堆栈跟踪：
AnalysisException
浏览 3提问于2021-11-25得票数 0
1回答
当我在conda base env上设置环境变量时，我在应该分配给变量的路径中犯了一个错误。我尝试在conda环境中设置$PYSPARK_PYTHON环境变量。当我通过执行以下操作检查env var列表时：conda env config vars list -n base 它显示了我设置的不正确的路径，但没有变量名，如下所示：= C:\\ProgramDataInvalidVariableReferenceWithDrive,Microsoft.PowerShell.Commands.
浏览 206提问于2020-09-02得票数 4
我有以下表格作为RDD：1 y1 y1 n2 n我想从Value中删除所有的重复项。输出应如下所示：1 y2 y在pyspark中工作时，输出应该是如下所示的键值对列表：
[(u'1',u'n'),(u'2',u'n')在普通的Python程序中，这将是
浏览 4提问于2014-09-18得票数 14
回答已采纳
我正在使用Pyspark和Spark编写一个脚本。但是，在我的base_df和inc_df数据文件上运行了一个base_df之后，我的所有列都被复制了。我已经弄清楚了为什么这些列是重复的，但是现在我正在接收type errors，同时尝试对那些重复的列进行DROP。这是我下面代码的一部分。base_df.fleet_a
浏览 1提问于2022-03-08得票数 1
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
