如何将数据框中的两列转换为scala中的地图(col1，col2)？
在Scala中，可以使用withColumn函数和map函数将数据框中的两列转换为地图。下面是一个完整的示例代码：
import org.apache.spark.sql.functions._
// 假设有一个名为df的数据框，包含两列col1和col2
val df = spark.createDataFrame(Seq(
("A", 1),
("B", 2),
("C", 3)
)).toDF("col1", "col2")
// 使用withColumn函数创建一个新的列，将col1和col2转换为地图
val dfWithMap = df.withColumn("map", map($"col1", $"col2"))
// 显示转换后的数据框
dfWithMap.show()上述代码中，首先创建了一个名为df的数据框，包含两列col1和col2。然后使用withColumn函数创建了一个新的列"map"，通过map函数将col1和col2转换为地图。最后使用show函数显示转换后的数据框。
关于腾讯云相关产品和产品介绍链接地址，由于要求不能提及具体的云计算品牌商，我无法提供相关链接。但是你可以通过访问腾讯云官方网站，查找与云计算相关的产品和服务，以获取更多详细信息。
相关·内容
我有一个包含三列的DataFrame；如何将它转换为Scala - Array[Array[Double]]中的嵌套数组？
当我试图绘制地图时，我正在获取Array[(Double, Double)]：
val x= dataframe.select("time","sex")
.collect()
.map(x=>x(0).toString.toDouble ,x(1).toString.toDouble)
浏览 1提问于2017-02-01得票数 1
回答已采纳
3回答
我正试图将数据格式插入卡桑德拉：
result.rdd.saveToCassandra(keyspaceName, tableName)
然而，一些列值是空的，因此我得到了异常：
java.lang.NumberFormatException: empty String
at sun.misc.FloatingDecimal.readJavaFormatString(FloatingDecimal.java:1842)
at sun.misc.FloatingDecimal.parseFloat(FloatingDecimal.java:122)
at java.lang.Float.pars
浏览 7提问于2017-05-08得票数 2
回答已采纳
1回答
我有一个具有以下类型的数据框
col1|col2|col3|col4
xxxx|yyyy|zzzz|[1111],[2222]
我希望我的输出是以下类型
col1|col2|col3|col4|col5
xxxx|yyyy|zzzz|1111|2222
我的col4是一个数组，我想把它转换成一个单独的列。需要做些什么？
我在平面地图上看到了许多答案，但它们增加了一行，我只想将元组放在另一列中，但在同一行中
以下是我的实际架构：
root
|-- PRIVATE_IP: string (nullable = true)
|-- PRIVATE_PORT: integer (nullable
浏览 0提问于2017-07-22得票数 24
回答已采纳
我是Scala和Spark的新手。我想通过计算编辑距离从数据框的现有列派生出一个新列。例如，FNAME和LNAME是两列数据帧，希望添加名为NAMESCORE的新列，该列保持FNAME到LNAME的编辑距离。请告知工作或伪代码。
这是我得到的部分答案的链接。
浏览 0提问于2016-03-21得票数 1
3回答
我有下面的语句，if col1="string1" and col2="string3"然后是newcol="newstring"，如果是col1="stringX"，那么是col2="stringY"然后是newcol="newstringZ"，我该如何将其构建到字典中，以便我可以应用映射函数来使用字典来检查和插入数据帧的新列？
df = pd.DataFrame(
{
'col1': ['string1', 'string1', &
浏览 0提问于2021-10-21得票数 0
我对R有问题，比如在标题中。我有一个数据框，其中包含40+行和我感兴趣的2列中的某种数据。我想要做的是检查列2中的值是value还是NA，以及列1中的同一行是否有NA复制值(可能也是空的)。我不知道在这种情况下应该使用什么方法。
致敬，Rafał
浏览 0提问于2018-02-20得票数 0
2回答
我正在尝试以下操作：*从df中的合并列中提取字符模式*使用提取的模式创建df列*从合并列中删除提取的模式
假设您有以下示例数据框
Col1 <- c("a1 b1 c1","a2 b2 c2","a3 b3 c3","a4 b4 c4")
dat <- data.frame(Col1)
dat
Col1
1 a1 b1 c1
2 a2 b2 c2
3 a3 b3 c3
4 a4 b4 c4
如何将包含"a“的所有元素提取到另一列中，然后从Col1中删除该元素以获取：
浏览 3提问于2016-09-19得票数 0
我有两个text[]列，如下所示：
Col1:
{itema, itemb, itemc}
Col2
{valuea, valueb, valuec}
如何将这两个数组合并成一个json？就像这样：
{"itema":"valuea", "itemb":"valueb", "itemc":"valuec"}
浏览 1提问于2019-07-29得票数 2
回答已采纳
我有一个字典，其中的值需要添加到dataframe中的列中。字典看起来像这样：
{1:123, 2:345, 3:678}
数据框的列如下所示：
col1
1
2
3
我想要这样的结果：
col1
1123
2345
3678
这是我正在使用的代码(替换函数)
file['col1'] = file['col1'].replace(dict)
但replace()不幸地删除了第1列中的值。
浏览 0提问于2019-07-02得票数 1
2回答
我有一个糟糕的投影数据库，它在文本列中有一个ID集，比如"1,2,5,10“。我需要得到两列的交叉点，这两列是以相同的方式设置的。我不喜欢使用PHP或其他脚本语言，我也不喜欢MySQL自定义函数。有没有办法获得逗号分隔符串给出的两个集合的交集？
实际上我不需要有完全的交集，我只需要知道在两个集合中是否有相同的数字。如果是，我需要有"1"，如果没有相同的数字，我需要有"0“。
谢谢。
浏览 0提问于2012-09-07得票数 2
回答已采纳
4回答
我有一个numpy数组，我想把它转换成一个dataframe。
import numpy as np
import pandas as pd
nparray = np.array([[1,2,3,4,5],[6,7,8,9,10]])
如何将其转换为数据，其中数据将如下所示：
col1 col2
1 6
2 7
3 8
4 9
5 10
浏览 6提问于2020-12-15得票数 1
回答已采纳
我在scala中有两个列，每个列都是一个Array[Struct]。
val arrayStructData = Seq(
Row("James",List(Row("Java","X",120)),List(Row("Scala","A",300))),
Row("Michael",List(Row("Java","Y",200)),List(Row("Scala","B",500))),
Row(
浏览 5提问于2022-08-03得票数 1
回答已采纳
我正在尝试用另外两个日期列中的最大(或最小)日期在pandas数据框中创建一个新列。但是，当这两个列中的任何一个列中存在NAN时，整个min/max列都变成了NAN。怎么回事？当使用数字列时，这可以很好地工作...但是对于dates，新的列都是NANs。下面是一些示例代码来说明这个问题：
df = pd.DataFrame(data=[[np.nan,date(2000,11,1)],
[date(2000,12,1), date(2000,9,1)],
[date(2000,4,1),np.na
浏览 0提问于2017-06-01得票数 7
回答已采纳
我想根据Scala映射所表示的配置来转换数据中的一些列。
我有两个案子：
如果映射中有一个实体( list.Receiving = col1 )，则接收一个映射( Map[String, Seq[String]] )和列( col1，col2 )来转换col3，而col2在此实体值中是一个映射Map[String, (Long, Long)和col1，col2，如果映射中有一个具有key =col1的实体，则转换col3，而col2在Long的元组描述为(开始、结束)的范围内。
例子：
例1具有此表和地图地图(U1 -> Seq(w1，w11)，u2 -> Seq(w2，w22))
浏览 0提问于2020-07-20得票数 1
我试图转换数据，旧代码在Tibco中，并使用uniqueConcatenate、uniqueCount函数。
我不知道如何在scala中实现相同的输出。
uniqueConcatenate示例：
uniqueCount示例：
我试着使用collect_set，但由于我需要通过另一个列进行分区，这似乎不适合我。
请帮帮我！
浏览 4提问于2021-12-04得票数 1
我有一个看起来像这样的data.frame：
A <- data.frame(id = 1:5, col1 = c(0,1,1,0,0), col2 = c(2,0,0,0,0), col3 = c(0,0,0,3,3))
如何利用它生成一个factor变量，因此它将如下所示：
factor(c(2,1,1,3,3))
我知道如何从一列中生成一个因子，但不知道如何将它们合并在一起。
浏览 1提问于2017-10-17得票数 1
回答已采纳
假设我有一个Spark Scala DataFrame对象，比如：
+----------------+ |col1 |col2 | +----------------+ |1 |2 | |3 |4 | +----------------+
我想要一个像这样的DataFrame：+--------------------+ |col1 |col2 |col3 | +--------------------+ |1 |2 |3 | |3 |4 |7 | +-----------------
浏览 3提问于2018-06-15得票数 2
2回答
我试图在其他主题中找到我的问题的解决方案，但我还没有找到任何东西。
我有一个包含一些列的数据框，我想要乘以这些列。Col1指的是你每周锻炼的次数，Col2指的是你每次锻炼的时间。
Col1 Col2
1 0 <NA>
2 3 00:40:00
3 2 00:40:00
4 5 00:20:00
5 <NA> NA
6 0 <NA>
我需要做的第一件事是将时间格式转换为分钟或秒。这里的第二件事也是最困难的问题是，对于每行中至少有一个NA的行，只有当NA只存在于第二列时才会发生乘法(请看本例中的第6行)。乘法的结果应该
浏览 0提问于2018-05-30得票数 0
2回答
如何将垂直矩阵转换为水平矩阵？
我的代码：
headersName = get(handles.tagTable, 'ColumnName');
headersName =
'Col1'
'Col2'
'Col3'
'Col4'
但我需要这样的水平矩阵：
headersName =
'Col1' 'Col2' 'Col3' 'Col4'
浏览 1提问于2013-11-08得票数 2
回答已采纳
我有一个名为0.csv的文件，有15列和100行。
我有一个不同的文件名8.csv，它只有一列和相同数量的行100。
我需要将第一个文件中的某一列0.csv替换为我从第二个文件中获得的列: 8.csv (列的行数相同)。
然后对其他几个列做同样的事情。
(因为我需要在IronPython中解决这个问题，所以我不能使用Pandas)。
我可以使用Python读/写.csv，但我找不到一个关于如何写特定列的示例。
非常感谢您的帮助！
谢谢!
浏览 0提问于2017-03-05得票数 0
3回答
在我的应用程序中，我需要从Map创建一个单行DataFrame。
所以像这样的地图
("col1" -> 5, "col2" -> 10, "col3" -> 6)
将被转换为带有单个行的DataFrame，并且映射键将成为列的名称。
col1 | col2 | col3
5 | 10 | 6
如果您想知道我为什么要这样做，我只需要使用MongoDB连接器将带有一些统计信息的单个文档保存到MongoSpark连接器中，这样就可以保存DFs和RDD。
浏览 0提问于2018-03-20得票数 4
回答已采纳
给定一个包含2列的数据集：
| col1 | col2 |
| 1 | 2 |
| 2 | 2 |
| 1 | 2 |
| 1 | 2 |
我想添加一个包含col1和col2之和的列
| col1 | col2 | col3 |
| 1 | 2 | 3 |
| 2 | 2 | 4 |
| 1 | 2 | 3 |
| 1 | 2 | 3 |
我找到了这个，它看起来和Scala的功能完全一样，但用的是Scala。
有什么建议吗？
浏览 0提问于2019-08-27得票数 0
我正在尝试重命名基于另一个数据帧的数据框的列。如何使用Scala实现这一点？
基本上，我的数据看起来像这样
DataFrame1
A B C D
1 2 3 4
我还有另一个表，它看起来像这个DataFrame2
Col1 Col2
A E
B Q
C R
D Z
我想相对于其他数据帧重命名我的第一个数据帧的列。因此，预期输出应如下所示：
E Q R Z
1 2 3 4
我尝试使用PySpark (由从复制的)编写代码，运行良好：
name_dict = datafram
浏览 7提问于2018-01-14得票数 0
回答已采纳
2回答
我在Spark中有以下sampleDF DataFrame：
+-------+--------+------------------
|col1 | col2| col3|
+-------+--------+------------------
| 200|20200218|batched-202002180|
| 207|20200218|batched-202002190|
+-------+--------+------------------
现在，我正在为单个col收集值，在Spark中执行以下操作:这将给出以下操作/p：
scala
浏览 2提问于2020-05-28得票数 0
回答已采纳
1回答
对于df中的每两行，我希望将它们连接为一个行。
从以下几点开始：
并以以下内容结束：
我已经能够将它应用于一列，但还不能将其应用于所有列。对于整个df，我还想每两行循环一次。
这是我的实际df：
Team Spread
0 Wagner Seahawks (-11.5, -118)
1 Fairleigh Dickinson Knights (11.5, -110)
我知道这不是格式化表格的最佳方式，但对于我的需要，这是最好的选择。谢谢
如果我要用excel来做这件事，
浏览 18提问于2022-02-24得票数 0
回答已采纳
所以如果我有以下数据
column1 column2 column3
1,2,3 2,3,4 3,4,5
1 1,3,4 2
2 3,2 2,3
excel/电子表格是否可以创建第四列，列出列1、2和3中的所有常见条目？或者可能找到至少两个(或N)列中存在的值？这就是我要找的东西。这是一个预期的输出
column1 column2 column3 column4
1,2,3 2,3,4 3,4,5 2,3
1 1,3,4 2 1
2 3,2 2,3 2,3
我已经看到了关于如何在列
浏览 1提问于2018-12-28得票数 0
回答已采纳
我正在尝试基于数据帧盗用来替换数据帧dh中的值。如果盗窃罪中的日期存在，我希望在dh中找到相应的日期，并将相应的第5列条目替换为1。 我目前正在用下面的代码(有些成功地)做这件事，但是，这需要永远的时间。对此有什么帮助吗？ 当我尝试比较日期时，代码不起作用，所以我比较日期的.value，这似乎是有效的。 import pandas as pd
from datetime import datetime
for i, row in dh.iterrows():
for j in range(45314):
if dh.iat[i,0].value==larceny.
浏览 16提问于2019-04-27得票数 0
回答已采纳
我有一个pandas数据框列，其中有浮点值和字符串类型NA value。我需要使用以下代码将这些NAs替换为均值。 trainTestJoin["col1"] = trainTestJoin.groupby("col2")["col1"].
transform(lambda x: x.fillna(x.median())) 我得到了 TypeError: could not convert string to float: NA 我试着在填充它之前转换为。 trainTestJoin["LotFrontage"].as
浏览 9提问于2018-12-26得票数 1
我有这样的数据框架
col1 col2 col3 col4
row1 1 0 6 7
row2 5 7 0 6
row3 0 0 4 6
而且，只有在列1和2中包含零的情况下，我才需要删除行。
mk<-mk[apply(mk!=0, 1, all),]
但不知道如何将其仅限于列1和列2中有零的行。
预期结果：
col1 col2 col3 col4
row1 1 0 6 7
row2 5 7 0 6
浏览 4提问于2020-05-16得票数 1
回答已采纳
2回答
我有一个Google表，其中行是唯一的城市，列是年份。它可以在二维范围内生长。
| | 2010 | 2011 |
-----------------------------------------------------------
| City | Temp low | Temp high | Temp low | Temp high |
-----------------------------------------------------------
| London |
浏览 0提问于2021-01-14得票数 1
我想检查一下我的数据框中一列中的字符串是否在另一列中的字符串中找到。我能够正确地对单个行执行此操作，但当我将其应用于整个数据框时，某些行的结果不正确。 示例数据df col1 col2
XYZ XYZXYZ
ABC BCABCA
XX XYXY 我使用以下代码对单个行进行模式匹配： grepl(df[1,1], df[1,2], fixed = TRUE) 我使用以下代码在整个数据框中应用： df$col3 <- sapply(df$col1, grepl, df$col2) 本例中的第3列应该是：TRUE，TRUE，FALSE。
浏览 22提问于2019-06-13得票数 1
回答已采纳
2回答
我正在尝试检查Dataframe中的两个双精度列是否在一定程度上相等，因此49.999999应该等于50。是否可以创建UDF并在where子句中使用它？我在Scala中使用Spark 2.0。
浏览 18提问于2017-12-27得票数 1
回答已采纳
我有一个记录文件和它们相应的盒子的工作表。我正在寻求帮助，一个公式，将保持一个计数多少个盒子已经完成。在"Box #“列中是文件所在的框号。在“REACC”栏中。是“是”或“否”的下拉列表。当所有文件被标记为“是”时，它将返回值1。当另一个框的所有文件都被标记为“是”时，我将得到2的返回，以此类推。我猜想公式会以某种方式得到每个框中有多少个记录，然后得到一个对该框标记为“是”的记录数。如果两个计数相等，则返回值1。如果两个计数不相等，则值为0或null。下面是一个有问题的工作表的例子。Sample1示例显示，除框1中的一个文件外，所有文件都标记为“是”，此框将不被计算为完整。此外，框2
浏览 0提问于2022-05-13得票数 -1
我正在尝试向R中的数据框添加列。为此，我从Excel导入了一个CSV文件，其中包含id列(与我在数据框中的列相同)，以及包含我想要添加到数据框中的信息的列。
我的问题是，我的简历包含西班牙语字符(‘，ñ)，当我使用read.csv时(如下例所示)
religion <- read.csv("religion.csv", header = TRUE, sep = ",", dec = ".",
filled =TRUE, comment.char = "", strip.white =
浏览 2提问于2015-07-18得票数 8
回答已采纳
我试图看看我们是否可以使用spark/scala从dataFrame中的一个列中的值中创建新列。我有一个包含以下数据的数据
df.show()
+---+-----------------------+
|id |allvals |
+---+-----------------------+
|1 |col1,val11|col3,val31 |
|3 |col3,val33|col1,val13 |
|2 |col2,val22 |
+---+-----------------------+
在上面的数据中，col1/col2
浏览 0提问于2018-05-04得票数 0
回答已采纳
我有一个数据框，其中一些列只包含值0& NA。我可以找出是否有任何具有2个唯一值的列。但是，我如何检查数据帧中是否有只有0和NA的列？
apply(production_list_DF, 2, function(a) length(unique(a))==2)
这只是检查每一列是否只有2个唯一的值
浏览 0提问于2021-10-17得票数 1
我有一个Scala DataFrame，希望向其中添加一个新列，以便它的值基于两个非null列中的任何一个。例如，在下表中，col1和col2是我要添加新列的基础列，因此如果col1为null，则新列具有来自col2的值，反之亦然。col1和col2中的一个将始终具有非空值。我只需要在Scala中执行此操作，而不使用SQL。提前感谢您的帮助。 <table><tbody><tr><th>Col1</th><th>Col2</th><th>Col3</th></tr>&l
浏览 12提问于2020-10-12得票数 0
回答已采纳
1回答
我需要指定一个自动生成的id列。该表已经存在，并且有大量的数据。而且，很难获得在生产环境上停止应用程序的许可。我想马上更新一下桌子。
是否有可能更改am现有表并使用标识功能丰富它？突然之间，正式文档只说明了如何创建标识列，而没有说明如何将其更改为标识。
如果没有，是否可以用序列和触发器来模拟功能？
-- current schema of the table
CREATE TABLE nl_status(
identificationnumber BIGINT NOT NULL PRIMARY KEY,
status varchar(25)
);
--desired fun
浏览 5提问于2021-03-29得票数 0
我想读取csv文件的按列内容，并按行写入它。
我已经试过了，但我不能将第二列添加到第二行，它正在合并到第一行本身。
import csv
col ={}
with open('C:/Users/upadh/Desktop/north.csv', 'r') as f,
open('current.csv', 'w') as f_out:
for line in f:
cols = line.split(',', 4)
if len(cols) >= 4:
col = cols[0].stri
浏览 0提问于2019-05-27得票数 0
我正在尝试使用dataframe中的现有列向dataframe中添加更多的列。然而，Scala是不可变的，因此很难进行迭代。因此，我想出了一个for循环来输出字符串(参见下面的示例代码，它存储了我可以使用的整个语句)。
val train_df = sqlContext.sql("select * from someTable")
/*for loop output is similar to the Str variable as below*/
var Str = ".withColumn(\"newCol1\",$\"col1\"
浏览 0提问于2018-08-15得票数 0
回答已采纳
2回答
我在R工作。 我有一个数据框列，里面有母的或公的，还有一些NAs。 现在，我想为这一列中的NA值随机分配女性或男性。我不希望所有的NA都是男性或女性，但每个NA都随机分配或。 我该怎么做？ 最好的，corkinabottle
浏览 34提问于2020-12-29得票数 0
回答已采纳
1回答
我想从我的数据框列中删除所有行中具有重复值的列。 我有这样的数据帧： test = [('a', 1, 'a', 34, 'b', 34,'a'),
('a', 1, 'a', 30, 'v', 30,'a'),
('a', 1, 'a', 16, 'a', 16,'a'),
('a'
浏览 9提问于2019-06-26得票数 0
我正在使用scala读取Spark中的CSV，它正确地处理了下面示例中的第一行，但在示例的第二行中，该行有一个结束引号字符，但第一列没有前导引号字符。这会通过移动数据并在最终结果中输出bad|col而导致问题，这是不正确的。 "good,col","good,col"
bad,col","good,col" 在使用scala读取spark中的文件时，是否有一个选项可以处理选项规范中没有前导(或结尾)引号的引号字符？
浏览 36提问于2020-09-03得票数 0
我正在用C# (windows )和Server进行一个程序，在那里我需要从两个列中获取字符串并将它们放入数组中。我稍后将使用该数组来实现对某些textBoxes的自动完成。这些规则是：
数组应该能够保存列中的任何字符串数量，这个数量可能超过500个字符串并且是可变的。i将需要与列不同的值，而不是重复值。
当将字符串放入数组时，我想我应该使用"UNION“将来自两列和SqlDataReader的所有字符串用一个"while”循环组合起来。
下面是一个示例表，使用它向我解释：
----------------------------
| name | surnam
浏览 2提问于2012-04-13得票数 0
回答已采纳
1回答
跨列匹配值
、、
假设我有一个数据框，我想看看给定列中的每个给定值是否等于第二列下一行中的值？
我可以对1个匹配执行此操作，但我会尝试对整个数据框执行此操作：
match(dataset$co1[i], dataset$co1[i+1]) # where i is a given row #
测试数据集：
case <- c("A", "B", "C", "A", "A", "A" ,"B", "C", "B", "A")
col1 <-
浏览 5提问于2016-10-29得票数 1
1回答
如何制作两列数据帧映射类型？
我想创建一个包含两列数据框的地图类型
-结果
map 'account‘-> 3，'word1’-> 2，'word5‘->1 ......
这是我的代码
keyword_f = df.filter(month(df['date']) >= 7) \
.filter(month(df['date']) <= 12) \
.filter(df['statistic_type'] =
浏览 0提问于2020-08-07得票数 0
我正在使用Spark处理Scala，我有一个包含两列文本的数据帧。
这些列的格式为"term1，term2，term3，...“我想用这两个词的共同术语创建第三列。
例如
Col1
orange, apple, melon
party, clouds, beach
Col2
apple, apricot, watermelon
black, yellow, white
其结果将是
Col3
1
0
到目前为止，我所做的是创建一个udf来拆分文本并获得两列的交集。
val common_terms = udf((a: String, b: String) => if (a.is
浏览 17提问于2018-12-14得票数 0
回答已采纳
3回答
我的数据框架中有三列。在这第二和第三是布尔字段。我想过滤掉那些是真的值。我尝试过这个nn.filter(col("col3")===true).show，但是它说无效的列名"true“。我的密码有什么问题？有什么帮助吗？
我的密码：
scala> nn.printSchema
root
|-- ID: integer (nullable = true)
|-- col2: boolean (nullable = true)
|-- col3: boolean (nullable = true)
scala> nn.show
+---+-----+--
浏览 1提问于2019-05-26得票数 2
回答已采纳
2回答
如何合并按另一列分组的列中的值？
例如，如何将列2值与列1值合并？因此，请转到以下几个方面：
Column 1|Column 2
-----------------
A |Bob
A |
B |Mary
C |
C |Kevin
C |
D |
D |
这方面：
Column 1|Column 2
-----------------
A |Bob
B |Mary
C |Kevin
D |
谢谢!
浏览 1提问于2016-02-17得票数 0
回答已采纳
1回答
我的星火DataFrame有以下格式的数据：
printSchema()显示每一列都是vector类型的。
我尝试使用下面的代码从[和]中获取值(对于1列col1)：
from pyspark.sql.functions import udf
from pyspark.sql.types import FloatType
firstelement=udf(lambda v:float(v[0]),FloatType())
df.select(firstelement('col1')).show()
但是，如何将其应用于df的所有列？
浏览 0提问于2020-02-18得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
云直播活动推荐
腾讯云开发者
