从某个函数获取的数组A1的三个值-A1 = [5,6,7,8]我的dataframe，我想在其中添加一个包含数组值的新列-+---+---+-----+| 2| B|-23.0|+---+---+-----+
我试过这样(假设'df‘是我的<
浏览 5提问于2018-01-23得票数 0
回答已采纳
我在目标表中有一个固定的火花DataFrame订单：
源(col3字符串、如何使用DataFrame重新排列源DataFrame以匹配目标DataFrame的列顺序？源应该重新排序，如下所示，以匹配目标
浏览 0提问于2019-06-27得票数 0
回答已采纳
1回答
我有一个星火DataFrame，看起来像：|----+-------+-----|| 2 | 2.6 |1 || 4 | 9.6 | 2 |
我有一个函数f，它接受一个值数组并返回一个数字。我想在上面的数据框架中添加一个列，其中每一行中的新列的值是具有相
浏览 3提问于2015-05-28得票数 2
回答已采纳
在我的火花作业中，我必须对两个用例在多列上进行转换：
ListOfCol.foldLeft(dataFrame) {
浏览 6提问于2021-11-01得票数 0
2回答
我有一个dataframe (火花)，它有两个列，每个列都有列表值。我想要创建一个新列，它连接这2列(以及列中的列表值)。例如：列2有一个行值- C，D具有行值的
浏览 0提问于2018-03-20得票数 2
回答已采纳
批处理之后，我需要向Kafka主题写入包含多个不同列的结果DataFrame。根据下面的火花文档，写入Kafka的Dataframe在模式中应该有以下强制列：
正如我前面提到的，我有更多的列有值，所以我有一个问题--如何正确地将整个DataFrame行作为一条消息从我的Spark应用程序发送到K
浏览 0提问于2018-11-23得票数 0
回答已采纳
当我在火花放电中遇到一个新的客户id时，我正试图增加一个列-pyspark.sql.dataframe.DataFrame类型，它有2列Customer_id 101 101010101010101010103，每当一个新的Customer_ID标志值被重置为1时，当遇到相同的id时增加。
浏览 2提问于2020-04-05得票数 1
回答已采纳
我有一个火花结构化流作业，它从cassandra和deltalake读取映射表，并加入流df。我想了解这里的确切机制。星火是否击中了这些数据来源(卡桑德拉和德尔塔雷克)的每一个周期的微批？如果是这样的话，我在spark中看到这些表只读取一次。请帮我理解一下。提前感谢
浏览 2提问于2020-12-02得票数 1
回答已采纳
2回答
我用的是斯卡拉的火花。
我有一个有3列的Dataframe : ID、Time、RawHexdata。我有一个用户定义的函数，它接受RawHexData并将其扩展为X列。重要的是要声明，对于每一行X都是相同的(列没有变化)。但是，在收到第一个数据之前，我不知道列是什么。但一旦我有了头脑，我就能推断出来。我想要包含上述列<
浏览 5提问于2015-09-15得票数 3
回答已采纳
Scala2.10在这里使用Spark1.6.2。我有一个与类似的(但不是相同的)问题，然而，被接受的答案不是，它假定了关于火花的某种“预先知识”；因此我无法复制它或理解它。(更重要的是，)，这个问题也仅限于向现有的dataframe中添加一个新列，而我需要添加一个列以及数据中所有现有行的值。因此，我希望向现有的Data
浏览 4提问于2016-10-10得票数 7
回答已采纳
10回答
我有一个火花DataFrame (使用PySpark 1.5.1)，并希望添加一个新的列。我尝试过以下几种方法，但都没有成功：
my_df_spark.withColumn("
浏览 13提问于2015-11-12得票数 179
回答已采纳
1回答
我在单元格中有一个名为test的表，其中列为id和name现在，我想比较这两个表的模式，并将列差异添加到test表中。在完成所有这些操作之后，hive表test将添加新的列city，并按照预期添加空值。
现在，当我关闭火花会话并打开一个新</
浏览 4提问于2017-03-23得票数 2
回答已采纳
2回答
我正在使用pyspark==2.3.1。我用熊猫对数据进行了数据预处理，现在我想把我的预处理功能转换成熊猫的火花放电。但是，当使用pyspark读取数据CSV文件时，许多值将变为空列，而该列实际上有一些值。如果我试图对这个dataframe执行任何操作，那么它将与其他列交换列的值。我也尝试过不同版本的火花放电。谢谢
来源于<em
浏览 5提问于2022-02-16得票数 0
回答已采纳
我有一个火花数据框架，如下所示1 naveen 24id personage有人能帮助我如何使用Scala在Spark中实现这一点吗？
浏览 1提问于2016-12-28得票数 2
回答已采纳
我有一个像这样的Pyspark：| col1|col2|| Apple| A||Facebook| F|我有一个值为"SFO“、"LA”、"NYC“的数组。我希望将这个数组作为新列添加到Dataframe中，如下所示：
#+--------+----+----------
浏览 2提问于2020-04-18得票数 1
回答已采纳
如何将一个列族从一个卡桑德拉集群复制到另一个？
最优先考虑的是，我希望使用火花卡桑德拉连接器JAVA在单个/多个火花作业(中间创建DataFrame，然后保存它)中完成这个任务。中度优先使用</
浏览 2提问于2015-09-06得票数 1
1回答
我很想知道什么时候我需要坚持我的数据在火花和什么时候不。个案：-
如果我需要文件中的数据(我需要持久化它吗？)因为据我所知，它应该在第一次计数后将df存储在内存中，在第二次计数中使用相同的df。文件中的记录是4，因为当我实际检查它时，它会一次又一次地读取文件，那么为什么spark不将它存储在内存中？第二个问题是火花阅读是一个动作或transformation?
浏览 0提问于2020-08-12得票数 0
回答已采纳
1回答
假设我有一个星火DataFrame d1，它有两个列elements_1和elements_2，它们包含一组大小为k的整数，以及包含整数值的value_1，value_2。例如，使用k = 3+------------+------------++-------------------------+4, 5) || (4, 3, 1) | (3, 5, 6) |
+----
浏览 6提问于2020-11-11得票数 1
回答已采纳
我有一个现有的，它有170列和841行。我想添加另一列，这是一个‘字符串’的列表。其中一种方法可以是创建一个新的dataframe并将其与主dataframe连接起来。而且它不能连接到原始的dataframe，因为没有可连接的公共列。
我能想到的另一个半生不熟的方法是使用文字。array<array<string&g
浏览 2提问于2017-07-20得票数 1
回答已采纳
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
