例如，我有一个如下格式的数据帧(实际上是更多的文档)： df.show()
+-----+-----+-----+println(ngramShingles)
List("the", "he ", "e l") 其中ngramShingles长度等于数据帧列的大小"he "|
+-----+--
浏览 71提问于2021-07-29得票数 2
回答已采纳
我试图在dataframe中添加一个新列。新列包含随机双值。该问题是DataFrame中所有行的新列中的值重复。我使用scala.util.Random类来生成。我试图简单地向dataframe添加一个新列，就像在类似的帖子中建议的那样。我试图将DataFrame更改为Dataset并添加列。
浏览 2提问于2019-04-26得票数 2
回答已采纳
1回答
我发现很难处理列表，例如5个列表，每个列表都有多个元素。有条件地删除元素(对于dataframe，我可以使用子集函数)向现有列表中添加新元素(对于dataframe，我可以使用rbind将新行添加到dataframe中)。我读到从内存效率到重新定义列表和不断
浏览 4提问于2020-02-12得票数 0
回答已采纳
, C++]| CA||Robert,,Williams| [CSharp,|CA ||Michael,Rose, |Spark |NJ |
浏览 11提问于2021-10-11得票数 2
我可以使用withcolumn向数据帧中添加新列。但是在scala中，我如何向DataFrame添加新行呢？
我正在尝试将一个数据帧添加到另一个数据帧的底部。因此，无论是如何在scala中添加行，或者如何将DataFrame添加到另一个行的
浏览 0提问于2015-11-06得票数 23
回答已采纳
2回答
将星火数据转换为可变地图
、、、、
我是新来的火花和斯卡拉。我正在尝试在hive中查询一个表(从表中选择2列)，并将结果转换为Map。我在Scala2.10.6中使用Spark1.6。$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
它将这个错误抛到我试图将键值对添加到Map的行中。然而，我正在使用Spark1.6，我不认为这个功能是可用<em
浏览 3提问于2017-10-19得票数 1
回答已采纳
1回答
如何在scala中将具有以下结构的RDD转换为dataframe这里，RDD的每一行都包含一个索引Long和一个向量org.apache.spark.mllib.linalg.Vector。我希望将org.apache.spark
浏览 2提问于2017-02-26得票数 2
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。因此，我希望向现有的DataFrame添加</
浏览 4提问于2016-10-10得票数 7
回答已采纳
我试图从csv中创建一个(使用scala)，其中包含如下条目:这是由5列组成的单个行条目：
{“用户名”：“john_doe，”id：“123411”}{“国家”：“IN”，“城市”：“BOM”}所以，有些列是JSON格式的，而有些则不是。我确实编写了一些代码，将JSON列作为字符串处理，并将它们按行顺序直接添加到dataframe中，但剩下的其他列，我不得不手动将它们添加到<e
浏览 0提问于2018-01-29得票数 0
我有一个dataframe，我有一个值列表(可能是列表字符串)，我想在我的dataframe中创建一个新列，并将这些列表值作为列值添加到这个新列。c_df)((df, column) => df.withColumn("newcolumnname" , lit(column)))
但它抛出了StackOverflow异常，我也尝试过迭代字符串值列表并添加到数据帧中，但结果值
浏览 0提问于2019-01-03得票数 0
2回答
],[[1,2,3],[11,12,13],[21,22,23],[1,2,3],[11,12,13],[21,22,23]]]
我希望创建"lslsls“中每个列表列表的熊猫数据，当我这样做时，将"ls”的每个元素添加到每一行的dataframe</
浏览 4提问于2020-07-01得票数 1
回答已采纳
我试图将json文件添加到JSON文件中，以便访问JSONSerDe数据，将JSON从spark作业加载到hive表中。at org.apache.spark.sql.DataFrame.<init>(DataFrame.scala:145)
at org.apache.spark.sql.DataFrame.<init>(
浏览 4提问于2016-06-14得票数 2
TL;DR:我听说某些PySpark函数在转换中是不可取的，但是我不知道哪些函数是错误的，它们为什么是错误的？
为什么我不能只在某些情况下将数据collect()到一个列表中，并对行进行迭代呢？
浏览 6提问于2020-09-25得票数 1
我试图寻找爆炸功能或它的等价物在普通的scala，而不是火花。使用Spark中的below函数，我能够将一个具有多个元素的行平平成多个行，如下所示。scala> import org.apache.spark.sql.functions.explode
import org.apache.spark.sql.functions.explod
浏览 2提问于2020-02-24得票数 1
回答已采纳
1回答
我是星火新来的，有一个大问题，我无法处理，即使经过几个小时的搜索……我有一个jsonFile，它看起来像这样： |-- dialogueData: struct (nullable = true| |-- transcription: string (nullable = true)我的程序进行情感分析，并返回带有预测(1.0、0.0、-1.0等)的dataframe列，并返回一些值(如平
浏览 2提问于2017-07-20得票数 1
2回答
我正在尝试从字符串的Seq中动态地向DataFrame添加列。下面是一个示例:源dataframe如下：|id | A | B | C | D ||1 || ||3 |b | c | a | d |我还有一个字符串Seq，它包含我想要添加<em
浏览 4提问于2020-01-20得票数 2
回答已采纳
2回答
我目前正在使用以下方法来连接dataframe中的列： val Finalraw = raw.withColumn("primarykey", concat($"prod_id",$"frequency我有一个由列名组成的列表： columnNames: List[String] = List("prod_id", "frequency", "fee_type_code") 因此，问题是如何<em
浏览 31提问于2019-01-23得票数 0
回答已采纳
2回答
=2000 --conf spark.dynamicAllocation.enabled=trueval x = Seq(df.collect.toList)在创建此列表<
浏览 0提问于2018-03-30得票数 0
1回答
我看了一下“createDataFrame”()中的pyspark源代码，它们似乎将数据转换为numpy记录数组，并将其转换为列表：但是，时间戳类型在此过程中转换为一个longs列表：
> df = pd.DataFrame(pd.date_range(start=datetime.datetime.now1500983800614193000L,), (15009
浏览 2提问于2017-07-25得票数 5
1回答
我刚刚开始学习pyspark，这里似乎是一个展示器:我试图将一个本地文本文件加载到spark中：
base_df = sqlContext.read.text("/root/Downloads/SogouQ1估计大小为61.8 KB，空闲78.0 KB) 16/12/29 11:55:36 INFO storage.MemoryStore:块broadcast_2_piece0存储为内存中的字节(估计大小为AccessorImpl.java：-2
浏览 5提问于2016-12-29得票数 1
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
