在对数据集运行pyspark中的ALS算法后，我遇到了一个最终的数据帧，如下所示 ? 推荐的列是数组类型，现在我想拆分这一列，我的最终数据帧应该如下所示 ? 谁能建议我，哪个pyspark函数可以用来形成这个数据帧？数据帧的模式 root |-- recommendation: array (nullabl
浏览 61提问于2021-07-11得票数 0
回答已采纳
我有一个PySpark表，其中的许多列都是VectorUDT类型的。这些列是使用PySpark中的OneHotEstimator函数创建的。我可以将这个表写到拼图文件中，但是当我尝试使用PyArrow将这个表读回到Pandas时，我得到了这个异常： ArrowNotImplementedError: Currently only nesting我不希望将每个VectorUDT<em
浏览 18提问于2019-06-10得票数 0
2回答
0.6| 12.41| false|byebye_world|我想使用输入Dataframe的类型将这些列分解为一个名为"col_value“的行。但是，当我试图在爆炸中使用cols时，它给类型带来了一个错误：
pyspark.sql.utils.AnalysisException: "cannot resolve 'array(`i
浏览 9提问于2020-04-07得票数 0
回答已采纳
2回答
我是个新手，我想爆炸数组值，使每个值都分配给一个新列。我试着用but，但我无法得到想要的输出。下面是我的输出
这是密码from pyspark.sql.functions import explode
if __
浏览 3提问于2020-09-26得票数 0
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe中获取不是
浏览 20提问于2021-04-11得票数 0
回答已采纳
2回答
我正试图用pyspark更改多列(100列)的数据类型，我试图创建一个循环或其他可以帮助更改100列(任何帮助)的内容，将不胜感激。这是帮助我更改3列的语法： IntegerTypedfcontract2 = dfcontract \
.withColumn
浏览 12提问于2022-07-19得票数 0
回答已采纳
1回答
如何传递数组列表(多列)，而不是使用以下命令在pyspark中传递单个列：eg:-filter_list = ['##', '$']
new_df = new_df.filter(new_df.color.isin(*filter_list) == F
浏览 0提问于2017-11-27得票数 0
回答已采纳
我有如下所示的数据： | Id | ----Tags---- | some_text || 1 | <a><c> ||| 1 | 1 | 0 | 1 | ex2 |
| 2 | 0 | 1 | 1 | ex3 | 我想使用pyspark
浏览 17提问于2019-09-19得票数 0
回答已采纳
我试图使用PySpark读取包含多列的CSV文件。inferschema选项非常适合推断大多数列的数据类型。如果我只想覆盖被错误推断的列类型之一，那么最好的方法是什么？我可以使用这段代码，但它使PySpark只导入了模式中指定的一个列，这是我不想要的。.option('inferschema', 'true'
浏览 1提问于2021-08-27得票数 2
回答已采纳
我试图使用Glue和pySpark在AWS上执行ETL工作，但不幸的是，我对此非常陌生。
在大多数情况下，我没有任何问题，使用胶水动态数据，以执行应用程序和一些其他的转换，我必须执行。但是，我面临一个特定列的问题，必须将其从字符串转换为整数数组。在这个列value中，我们将数据类型设置为string，它实际上是一个转换为string并由空格分隔的整数数组，例如，value列中<em
浏览 5提问于2020-04-20得票数 2
回答已采纳
1回答
我在pyspark中有一个dataframe，df有一个数组字符串类型的列，所以我需要生成一个包含列表头部的新列，还需要包含尾列表连接的其他列。这是我的原始数据帧： pyspark> df.show()| id| lst_col|| 1|[a, b, c,d]|
浏览 29提问于2020-01-24得票数 0
回答已采纳
1回答
我试图用标量乘以数组类型化的列。这个标量也是来自同一个PySpark数据的值。"l","factor"])| l|factor||[1, 2]| 3|我想要做到的是：| l|factor||[3, 6]| 3|
+------+--
浏览 1提问于2020-06-19得票数 3
回答已采纳
180238423 901 10/1/18user_id subscription_id expires_at Array_Col[938, 11/1/18]
0238423
浏览 16提问于2018-12-14得票数 1
回答已采纳
2回答
我想做一件简单的事。我想把所有的事件统计成2分钟的时间戳。File "/usr/hdp/current/spark2-client/python/pysparkanswer, self.gateway_client, self.target_id, self.name)
File "/usr&#
浏览 1提问于2018-05-15得票数 1
回答已采纳
2回答
我有一个单元格数组，只有一列。每行只包含一列。每个单元格由一个字符串组成。如何通过按空格分隔字符串，将单元格数组中一列的内容分成几列。每个字符串都有不同的长度。
浏览 3提问于2017-07-25得票数 1
回答已采纳
我对MatLab是个新手，这个问题真的让我抓狂：I.我需要将数组分成由空间列定义的更小的部分；假设空间坐标的范围是从0到500 -我现在想要给出空间坐标0-10的两个列值的<
浏览 2提问于2014-11-07得票数 0
考虑以下pyspark中的dataframe：| Col A|| [0.5, 0.6]| | [1.1, 1.5]| A列的类型是向量，如何创建一个值为A列但类型为数组或字符串的</
浏览 1提问于2020-03-04得票数 1
数组类型列的第n项可以使用getitem(n)检索.地图类型的列可以使用getItem(key)或'column.key'分开。数组有类似的语法吗？上下文:目标是以可读的方式从大规模嵌套的json中获取特定字段。from pyspark import SparkContext
sc =
浏览 4提问于2020-10-09得票数 0
回答已采纳
我如何拆分字典中的条目来阅读它们。['maine','14','']]).toDF('LogData','State','Orders','OrdDate') 我想要做的是将spark表读取到数据帧中，找到最大事件时间戳，找到具有该时间戳的行，然后计数并仅将这些行读取到具有数据列的新数据帧中，并从日志数据中添加事件id (不包括记录
浏览 39提问于2020-07-01得票数 1
回答已采纳
1回答
有一个有10列的表。其中一种列类型是struct，假设列名是xyz。xyz包含元素数组。 例如，xyz列包含a:值1，b:值2，c:值3...现在我想从这个数组中删除c元素。 我该怎么做呢？这段代码需要在pyspark/python中完成。
浏览 12提问于2021-09-22得票数 1
云服务器
ICP备案
腾讯会议
云直播
实时音视频
腾讯云开发者
