1回答
} } "PartNumber": "ABC"]
df2 = df1.select("*").withColumn("PriceArray", explode("
浏览 6提问于2020-11-14得票数 0
回答已采纳
1回答
使用Python和Spark：
假设我有一个包含句子行的DataFrame，那么我如何(从DBMS术语中)将句子DataFrame变成另一个DataFrame，每一行包含一个从句子中分离出来的单词？现在，我对行计数或唯一的单词并不感兴趣，这是因为我想加入sentence_id上的其他RDD，以获得存储在其他地方的其他有趣的数据。
浏览 1提问于2015-12-16得票数 2
回答已采纳
我尝试在PySpark中复制这个问题的解决方案(Spark < 2.3，所以没有map_keys)：下面的是我的代码(与上面链接的问题的df相同)： .select(F.explode("alpha"))\ .distinct()\
df.select对如何修复它有什么想法吗？
浏览 44提问于2020-05-20得票数 0
回答已采纳
1回答
我有一个具有值的dataframe表：00 Russian Digestion;Destillationid Country Int Interest00Q7 Russ Destillation Digestion;Destillat
浏览 2提问于2022-10-17得票数 0
1回答
我目前正在处理以下错误，同时试图在pyspark.sql.functions.explode中的DataFrame中的数组列上运行PySpark。我不知道如何访问这一行来查看数据，以了解我需要考虑哪些条件。
我更多的是寻找调试的建议，但如果你知道答案，这也是很好的！. : org.apache.spark.sql.AnalysisException: cannot resolve 'explode(lot)' due to data type mismatch:(df
浏览 2提问于2017-11-20得票数 1
回答已采纳
如何在DataFrame中为流PySpark设置架构。from pyspark.sql import SparkSessionfrom pyspark.sql.functionsimport splitfrom pyspark.sql.types import *
.builder如
浏览 3提问于2016-12-29得票数 3
回答已采纳
2回答
在PySpark中分解
、、、
如何在DataFrame中的列上分解？DF = sqlContext.createDataFrame([('cat \n\n elephantresolve 'explode(word)' due to data
浏览 2提问于2016-07-06得票数 30
回答已采纳
1回答
这是我的数据格式df。4 3/1/2019 SOD Null Null
from pyspark.sql import functions as F
df1 = df.withColumn("EndOfTheMonthcol("EndDate") >= col("EndO
浏览 1提问于2019-10-21得票数 1
回答已采纳
我有下面的pyspark数据帧df。它的模式如下所示。我还提供了一些样本数据，以及我正在寻找的所需输出。我遇到的问题是attributes列的值是字典。所以我在使用explode或from_json时遇到了问题。 我基于另一个使用explode的SO post进行了一次尝试，我运行的代码和错误低于示例数据和所需的输出。有谁有建议如何做到这一点？我正在考虑将它转换为pandas，并尝试以这种方式解决它，但我希望有一个更好/更快
浏览 43提问于2021-10-05得票数 1
回答已采纳
我有一个databricks数据框架，里面有大量的问卷结果，df上的问卷长度各不相同，问题也并不总是相同。如何从字符串字段Responses中获取问题和答案，这样我就有了一个包含3列的"CustomerID, Questions, Answers"列表 因此，从这里开始 CustomerID Responses
浏览 7提问于2021-09-22得票数 0
回答已采纳
1回答
from pyspark.sql import SparkSessionfrom pyspark.sql.types import*from pyspark.sql import Row .select((F.<
浏览 7提问于2021-11-18得票数 0
回答已采纳
我对pyspark非常陌生，并且正在尝试将一些python代码转换为PySpark。我从熊猫开始，转换成文档项矩阵，然后应用PCA.我正在使用火花2.4.4版本。
浏览 7提问于2022-03-18得票数 0
回答已采纳
在PySpark中遇到的错误：数据结构df.select('result_set.currency', 'result_set.date
浏览 3提问于2020-03-12得票数 2
回答已采纳
例如，对于下面的数据集，"a“、"b”、"c“将被索引为0、1、2，如果我在spark中使用VectorIndexer。但是我想根据标签给它们做索引。有4行数据被索引为1，其中3行具有特征'a',1行feautre 'c‘。在这里，我将索引'a‘为0，'c’为1，'b‘为2。
是否有任何可行的方法来实现这一点？
浏览 4提问于2016-10-26得票数 3
回答已采纳
我有一个数据帧 import os, sysimport pyodbc from pyspark.sql.functions import explode, col, from_json, litfrom pyspark<
浏览 28提问于2020-10-06得票数 0
回答已采纳
我有一个pyspark.sql.dataframe.DataFrame，是这样的：
+---------------------------+--------------------+---------
浏览 5提问于2019-12-09得票数 0
回答已采纳
1回答
我有一个数据格式的dfDistance。为什么它在PySpark情况下不能工作，我应该如何修改代码才能工作呢？
浏览 0提问于2019-04-27得票数 1
回答已采纳
我有一个数据帧，如下所示：123 2789 3所以输出应该是ID_New 123-2ID_New 789-1ID_New 789-3
我正在研究"explode“函数，但根据我看到的例子
浏览 1提问于2017-01-06得票数 1
我正在处理PySpark数据帧中的一些深度嵌套数据。当我试图将结构扁平化为行和列时，我注意到当我调用withColumn时，如果该行在源列中包含null，那么该行将从我的结果数据帧中删除。相反，我希望找到一种方法来保留行，并在结果列中使用null。要使用的示例数据帧：f
浏览 0提问于2018-10-11得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
