我有以下数据帧，其中包含一个列表列，其中包含一个列表列表。在某些特定情况下，此列表包含一个唯一的列表，其中只包含空字符串。-------++--+---------------+|2 |[[,]] | 我想过滤掉这个列表
浏览 12提问于2020-12-24得票数 2
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataFrame有一个最大长度为5
浏览 9提问于2017-01-12得票数 1
回答已采纳
我继承了一个修改pyspark dataframe中一些字符串的程序。其中一个步骤涉及从字符串中的一些单词中删除双/三/等字母，以及一个额外的例外列表，即使它们有重复的字母也会保持不变。目前，这是通过将dataframe转换为具有udf的pandas，然后在读回pyspark之前对生成的pandas
浏览 7提问于2021-03-15得票数 0
回答已采纳
1回答
我列出我的数据帧以丢弃未使用的数据帧。首先，我使用下面的函数列出了我在其中一篇文章中找到的数据帧然后我试着从列表中删除未使用的。我
浏览 0提问于2018-10-31得票数 4
回答已采纳
我正在尝试废弃一个XML文件，并从XML文件上的标签创建一个数据帧。我使用pyspark开发Databricks。<?shorttitle> <shorttitle>shorttitle_4</shorttitle>我的代码似乎从页面中删除了XML并从标记中</e
浏览 2提问于2018-09-12得票数 2
我有一个火花数据框架，如下所示:每行包含一个列表，我想从中提取一个元素。我非常绿色的火花，所以我把它转换成一个熊猫DataFrame，然后使用地图功能，我提取所需的元素。问题是，数据是巨大的，因此这种方法是不可扩展的。让我花时间的是toPandas()命令。是否有从每一行访问列表中的值的选项？
谢谢!
浏览 5提问于2021-12-09得票数 1
回答已采纳
4回答
火花版本: 2.1test_list = [['Hello', 'world'], ['I', 'am', 'fine']]DataFrame[words: array<string>]
浏览 4提问于2017-04-17得票数 31
回答已采纳
我使用的是电火花pivot函数。我做错了什么？df_groupby.pivot('day').agg(*aggs)
aggs只是不同列(如f.sum(f.col(numeric_col))或f.first(f.col(string_col)) )上的聚合函数的列表
浏览 1提问于2021-01-28得票数 1
我正在尝试从Python列表列表中删除一个元素：| sources|| [62]|| [62]||[7, 31, 36, 62]|我希望能够从上面列表中的每个列表中删除一个元
浏览 7提问于2017-01-13得票数 6
回答已采纳
我有一个函数，可以用列表中的一组新标题来更改DF的列标题。)), dataFrame)我从另一个函数捕获newHeader列表。列表中的第一个标头被命名为Action。稍后，我应用了一个过滤器函数，其中我删除了Action列并创建了一个新的DF inse
浏览 2提问于2018-01-26得票数 2
1回答
我已经创建了一个pyspark数据帧，形象化地看起来像这样： >>> df
------------------------------30 | 50 | ... |300 | 350 | 50 | ... |500 | 5 然后我还创建了随机的行号列表，如下所示： my_list = [[2, 5],[4, 1, 3]] 根据这个列表的</e
浏览 16提问于2019-04-18得票数 0
回答已采纳
我有一个由函数生成的列表。当我在列表中执行print时：我获得：df = sqlContext.createDataFrame(preds_labels, ["prediction", "label"])
不支持的</
浏览 1提问于2016-08-07得票数 7
回答已采纳
我需要找到一种方法，从一个增量表/吡火花数据帧中删除多个行，给出标识行的ID列表。据我所知，没有一种方法可以使用一个列表来删除它们，但一次只能删除一个。任何建议/帮助都将不胜感激。
浏览 8提问于2022-05-13得票数 2
我有包含合同的dataframe1，还有包含工作人员的dataframe2，现在我想用来自dataframe2的列来过滤dataframe1。首先，我尝试用一个字符串过滤dataframe1，它可以工作，这是代码：
contract_con=dataframe1.filter(dataframe1.name_of_column.contains('Entretien des espaces naturels
浏览 1提问于2022-08-20得票数 0
回答已采纳
我正在尝试将pandas.DataFrame代码转换为等效的pyspark DataFrame。我有一个以下格式的RDD。[2, 'b', {'c': 1, 'd':3}],内部列表中的第
浏览 1提问于2018-04-07得票数 1
1回答
我有PK列的列表。我在存储主键，因为每个表的主键数可能会发生变化。我想根据pk_list中的列连接两个数据帧。现在，我的代码如下所示：
full_load_tbl_nc = full_load_tbl.join(delta_load_tbl, (col(f) == col(s) for (f,s/yarn/usercache/root&#
浏览 0提问于2018-12-07得票数 2
1回答
我需要处理一个表中的大量记录，当它通过电子邮件分组时，大约是100万条。我需要对、个人电子邮件、和执行多个逻辑计算，根据逻辑计算更新数据库。大概我的代码结构就像import sparkSession.implicits._
rdd.foreach(x => processDataAgainstEmail(x.getAs("em
浏览 0提问于2017-02-23得票数 0
1回答
我有一个pyspark dataframe，其中一列填充了列表，要么包含条目，要么只包含空列表。我想高效地过滤掉所有包含空列表的行。import pyspark.sql.functions as sf: java.lang.RuntimeException: Unsupported literal type class
也许我可以检查列表的<
浏览 17提问于2017-02-24得票数 7
回答已采纳
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。datasetMatchedDomains.withColumn(new_col,f
浏览 2提问于2020-05-12得票数 1
回答已采纳
云服务器
ICP备案
云直播
实时音视频
即时通信 IM
腾讯云开发者
