我有两个数据帧，第一个数据帧包含实际数据(从CSV文件读取)，第二个数据帧包含一个具有多个关键字的列。即下面的Dataframe-1外观相似(我们必须搜索的地方)：数据帧-2：我想要的输出：我在这里使用spark scala。有人知道如何在spark scala SQL中或使
浏览 1提问于2021-02-12得票数 0
我想像df1那样合并2列或2个数据帧|id||1 ||3 |df2 -->这也可以是一个列表|m ||A ||C |
浏览 2提问于2020-05-06得票数 0
回答已采纳
我知道这可能是一个愚蠢的问题。我有以下代码：rows = [1,2,3]df.printSchema()但是我得到了一个错误：我不明白为什么会发生这种情况，因为我已经提供了'data'，也就是变量row。
浏览 1提问于2018-03-12得票数 2
回答已采纳
1回答
例如，我有两个数据帧， DF1|id | value1|value2|value3|| 2 |200 |300 |400 |+----+-------+------+------+ 我想按id合并这两个数据帧，同时将两个数据<em
浏览 19提问于2019-03-30得票数 1
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于列的数据帧</
浏览 13提问于2016-09-22得票数 0
我计划将此函数应用于不同模式的各种数据帧。这些数据帧非常庞大，每个数据帧有数百万行，但每个数据帧都有一个定义好的模式 我想创建另一个函数，它将调用第一个函数，将函数的输出字符串与它发送到函数的行合并，并创建一个新的数据帧，该数据帧将作为第二个函数的输出这两个函数都将在spark-scala环境
浏览 46提问于2019-10-15得票数 0
回答已采纳
我用的是Scala和Spark。我有两个数据帧。-+-----------+| 35 | 15 | [a,b,d] |在第二个文件中，数据帧报头是我通过添加所有可能的头列创建了一个case类。现在我想要的是，通过匹配列num1和num2，我必须
浏览 1提问于2020-09-07得票数 1
回答已采纳
我有两个数据帧。第一个有7列，第二个有2列。常见的列名是“”。我想合并这两个数据帧，但问题是第二个数据帧只包含第一个数据帧在“味道”列的子集。|grapes|watermelon", "coffee|tea", "beer|alcohol|wine")
df2$
浏览 4提问于2019-02-28得票数 1
几天后，数据带来了大量的功能。为了获得简短的数据摘要，人们将数据加载到数据框中，并使用head()方法显示数据。使用Jupyter Notebook( Toree for scala)进行实验是很常见的。Spark (scala)很适合处理大量数据，但是它的head()方法不能在水平滚动的notebook中显示列标题。熊猫数据帧头
Spark Scala
浏览 3提问于2018-06-13得票数 2
对于我的用例，我缓存第一个dataframe，然后缓存第二个dataframe。df: org.apache.spark.sql.Dataset[org.apache.spark.sql.Row] = [rand: int, count: b
浏览 0提问于2019-01-01得票数 3
回答已采纳
3回答
我有两个Spark数据帧，之后我会加入并选择它们。我想选择其中一个数据帧的特定列。但是在另一个中存在相同的列名。因此，我得到了一个二义列的异常。
浏览 0提问于2017-12-28得票数 5
回答已采纳
我有两个数据帧A和B。A有30列- reason1,reason2.......reason30现在，我需要在B中查找所有以reason*开头的列，并在数据帧A的一列中获取相应的值。因此，最终的数据帧将具有reason1,reason2.......reason30, value
我试图将每一列与其他数据帧</em
浏览 9提问于2021-05-17得票数 0
我有一个spark dataframe，它有两列: name，age，如下：数据帧是使用以下命令创建的sqlContext.createDataFrame()
<e
浏览 9提问于2016-09-16得票数 0
回答已采纳
我有一个从sql server中的一个表创建的pyspark数据框架，我对它做了一些转换，现在我要将它转换为动态数据框架，以便能够将其保存为s3存储桶中的文本文件。当我将数据帧写入文本文件时，我将向该文件添加另一个头文件。这是我的动态数据框，将保存为文件：
2021_02_12| MT.1002
浏览 0提问于2021-04-23得票数 0
2回答
因此，我在Spark(scala)中有两个列表。它们都包含相同数量的值。第一个列表a包含所有字符串，第二个列表b包含所有长字符串。"check_name", StringType, true), )
) 将我的列表转换为单个数据帧的最佳方法是什么，该数据帧具有模式schema2，并且列分别由
浏览 11提问于2021-03-15得票数 0
回答已采纳
我使用的是Spark 1.3.1，其中连接两个数据帧会重复连接的列。我在外部连接两个数据帧，希望将结果数据帧发送到na().fill()方法，以便根据列的数据类型将空值转换为已知值。我看到有一个dataFrame.withColumnRenamed方法，但我只能重命名一列。我有涉及多个列的连接。给定：
scala> val
浏览 4提问于2016-02-28得票数 3
我正在尝试合并看起来像这样的两个数据框：https://i.imgur.com/ZCPzx7V.png 我应该写些什么来合并这两者呢？
浏览 17提问于2020-03-24得票数 0
我有一个数据帧，我通过列EQ_NR将其与另一个数据帧合并。下面是第一个数据帧的结构：(第320816行)合并后，我将一个带有'TA‘的数据帧通过'EQ_NR’的值从第二个数据帧添加到第一个数据帧中。问题是我在合并之前有
浏览 13提问于2016-08-09得票数 3
回答已采纳
2回答
我需要cbind，因为它发生在使用scala的spark中的R两个数据帧中，这两个数据帧没有ID列。关于它的任何现成的功能或其他解决方法，有什么建议吗？
浏览 0提问于2017-07-07得票数 2
2回答
我正在尝试对两个Spark数据帧进行两次连接，之后我希望保留第二个数据帧中的条目，并且只保留第一个数据帧中匹配的结果。问题是，在加入这些之后，我想将结果合并到一个数据帧中，并包含以下内容： .union(join2)
但是，这将复制连接的每个输出中的记录。有没有办法做到这一点，而不会在最终的数据帧中获得重复
浏览 0提问于2018-06-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
云直播
腾讯会议活动推荐
腾讯云开发者
