b.GroupByFld]
c=c.drop('adjTransactionDate','a.GroupByFld') 我发现最后一行从数据集中删除了如果我简单地这样做： c=c.drop('adjTransactionDate','GroupByFld') 然后，从数据集中删除这两个GroupByFld。如何只删除属于源A的GroupByFld？
浏览 13提问于2019-01-04得票数 0
1回答
我尝试在pyspark中对两列进行左连接，其中只有一列的名称是相同的： 如何删除连接的数据帧df2.date和df2.accountnr的两列 dfAll = ( .join(我能想到的唯一解决方案是首先将df2.accountnr重命名为df2.accountnr2，然后使用.drop('date', 'accountnr2') 有没有更好的解决方案直接删除py
浏览 30提问于2019-02-10得票数 0
尝试在连接hdfs表后删除pyspark df中的重复列名称？ 您好，我正在尝试连接多个具有200+最终列数的数据集。由于要求和大量的列，我不能在连接时选择特定的列。有没有办法在连接后删除重复的列。我知道有一种方法可以通过spark df的.join方法来做到这一点，但是我加入的基表不是spark df，并且我正在试图避免<em
浏览 20提问于2018-12-20得票数 1
在连接两个表时，我想从一个在databricks上的pyspark sql上有许多列的大表中选择除其中两列之外的所有列。我的pyspark sql： set hive.support.quoted.identifiers=none;谢谢
浏览 5提问于2020-07-28得票数 0
Industries RR IndustriesRR Industries.withColumn("Name3",F.concat(F.trim(Name1), F.trim(Name2)))我认为，问题发生在df2和df3中的名称列可用于连接表之后。在加入之前，它们不包含空值。问题:连接后；由于pyspark不会删除
浏览 2提问于2020-06-01得票数 0
1回答
如何编写一个通用函数来连接两个PySpark数据格式？
我想要编写一个函数，在两个数据文件上执行内部连接，并在加入后消除重复的公共列。据我所知，没有办法做到这一点，因为我们总是需要在加入时手动定义公共列。还是有办法？
浏览 4提问于2022-07-30得票数 -1
回答已采纳
我使用的是pyspark 3.0.1。我想从我的pyspark数据帧df的列group中删除记录以2K开头的行。我的样本数据如下所示John 23 1L12Pat 35 1P28Name Age
浏览 1提问于2021-03-04得票数 0
1回答
如何处理连接多个表后的空值
、、、、
我正在通过连接4个数据帧来创建一个新的数据帧，之后我需要连接来自不同数据帧数据的两个相同的列：Acc1 Acc1 Acc1Acc1null Acc3 Acc3
问题:如果我没有替换null值而进行连接；我在连接后丢失了信息；由于pyspark不删除公共列，我们有两个表中的两个Account列，我尝试用空字符串替换它
浏览 18提问于2020-06-02得票数 0
回答已采纳
DF3=DF1.unionAll(DF2)合并后，DF1总是放在DF2下，我看到原因是因为较小的分区位于最后，如下所示：。DF1是第一位的，DF2是合并后的。
浏览 5提问于2022-02-10得票数 0
回答已采纳
1回答
, 7), ('2017-01-03', 'C', 9),('date', 'type', 'value')我想将它转换为列等于所有唯一的如果有人对我如何在PySpark中实现这一点有任何建议的话，那就太好了。
浏览 2提问于2020-03-18得票数 1
回答已采纳
在阅读中支持的Spark SQL语法时，我注意到您可以像往常一样使用INSERT语句：在Spark2.0 (Python)环境和到Mysql数据库的连接中进行测试时，抛出错误：
File "/home/yawn/spark-2.0.0-bin-hadoop2.7/python/lib/pyspark.zip/pys
浏览 2提问于2016-10-24得票数 7
2回答
如何根据大小更改列值
、、、
我在PySpark设置中有一个dataframe。我想更改一个列，比如它叫做A，它的数据类型是"string“。我想根据它们的长度来改变它的价值。特别是，如果一行中只有一个字符，则希望将0连接到末尾。“修改”列的名称必须仍然是A。这是用于使用PySpark3的木星笔记本。df.withColumn("A", when(size(df.col("A")) == 1, concat(df.col("A"), lit(&qu
浏览 2提问于2019-06-17得票数 1
回答已采纳
在主目录中列出了它们的子目录，因此第一个单元可能是A/AAAAA，文件位于/data/A/AAA.csv。但是所有的列都被命名为VALUE，框架变成了两
浏览 4提问于2020-02-18得票数 0
回答已采纳
有人想出了如何在AWS Sagemaker Notebook实例上安装软件包，以便在PySpark内核中可用吗？我现在做了几次尝试，包括生命周期脚本，但似乎就是错过了正确的python env。
浏览 12提问于2019-12-23得票数 3
1回答
5|| 8| 8|| 10| 10|| 4| 4|| 11| 11|但是，如果我删除一列，则其余的列将被置换。
浏览 0提问于2022-02-03得票数 0
回答已采纳
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。这是我的原始数据帧： pyspark> df.show()| id| lst_col|| 1|[a, b, c,d]|
pyspark> df.printSchema(
浏览 29提问于2020-01-24得票数 0
回答已采纳
1回答
我有PK列的列表。我在存储主键，因为每个表的主键数可能会发生变化。我想根据pk_list中的列连接两个数据帧。当我运行代码时，我会得到以下错误：
在join/yarn/usercache/root
浏览 0提问于2018-12-07得票数 2
在PySpark中，我们不能使用传统的熊猫或R风格的符号来根据DataFrame中的旧列来制作新的列。例如，假设我试图连接两列：df['newcol'] = F.concat(df['col_1'], df['col_2'])相反，这样做的实现方法是
df = df.withColumn
浏览 1提问于2016-07-28得票数 1
回答已采纳
改进此问题 我在几个.csv文件中有大约20 GB的数据，并希望对其进行一些常见的预处理步骤，如连接、添加列、删除行/列、分组/聚合等。是否值得在本地使用pyspark (Pyspark.sql)来简化预处理，这样我就可以利用所有的逻辑处理器？或者pyspark对于这个场景来说不是最好的工具。我对pandas非常熟悉，但对pyspark/任何潜在的并行处理工具来说都是非常陌生的，因此，为
浏览 34提问于2021-02-25得票数 0
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。连续字符删除函数逐字读取字符串，检查单词是否在例外列表中，如果不在例外列表中，则逐个字符移动，将其与前一个字符进行比较，如果匹配，则检查是否逐个字符创建新词，重复省略操作。下面是pyspark dataframe转换为pandas后当前实现的MWE。(drop_consecutive_
浏览 7提问于2021-03-15得票数 0
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
