我尝试在这个pyspark数据帧的数组列的开头插入0。from pyspark.sql.types import ArrayType, IntegerType然而
浏览 7提问于2019-11-25得票数 0
回答已采纳
我有数据，其中DealKeys有数据，如{"Charge_Type"："DET"，"Country"："VN"，"Tariff_Loc"："VNSGN"}当我创建datafr
浏览 2提问于2022-05-26得票数 1
嗯，我使用的是PySpark，我有一个Spark dataframe，我使用它将数据插入到mysql表中。df.write.jdbc(url=url, table="myTable", mode="append")
我希望通过列值和特定数字的总和来更新
浏览 4提问于2015-09-16得票数 12
我有一个hive表，它是按插入时间列分区的。df.insertInto('tablename',overwrite=True)
但是我不知道如何从pyspark插入到一个特定的分区。下面尝试
浏览 0提问于2017-09-16得票数 1
我试图使用pyspark.pandas API在数据库上构造数据的共生矩阵。该代码在熊猫中运行良好，但在使用pyspark.pandas时出现了错误。coocc = psdf.T.dot(psdf)我得到了这个错误我查过医生了。pyspark.pandas.DataFrame.dot()
以串联作为输入。我尝试使用
浏览 8提问于2022-10-14得票数 0
回答已采纳
我正在使用pandasUDF将标准的ML python库应用于pyspark DataFrame。在定义了模式并进行了预测之后，我得到了pyspark DF作为输出。现在，我想用这个预测数据帧做一些事情，例如，我尝试对列"weekly_forecast_1“中的所有值进行求和。当我应用.collect()或.toPandas()方法时，在.fit()中得到以下错误 IndexError: too many
浏览 33提问于2020-11-24得票数 0
1回答
我想使用pyspark将pyspark dataframe的多个数值列转换为它的百分位值，而不改变它的顺序。例如，给定要转换为百分位arr = [Salary, Age, Bonus]的列数组和以下输入，我希望得到以下输出 输入 +----------+-------------+---------+----Business | 754 | 350 | 18
浏览 62提问于2021-07-28得票数 0
1回答
我正在使用一个自定义函数作为reduce操作的一部分。对于下面的例子，我得到了下面的消息TypeError: reduce() takes no keyword arguments -我相信这是由于我在函数exposed_colum中使用字典mapping的方式from pyspark.sql import DataFrame, Rowfrom pyspark.sql importSparkSession
fr
浏览 18提问于2020-02-05得票数 0
回答已采纳
我想从dataframe (pyspark)中的数组(在array列中)中删除一个数组。import pyspark.sql.functions as F|1 |[[A, 2], [B, 3]] |+---+----------
浏览 18提问于2020-02-05得票数 1
回答已采纳
1回答
PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。我使用以下方法创建id列：Postgres将该列解释为“变化的字符”。我可以看到，在读取数据()时可以调用Pos
浏览 0提问于2018-01-21得票数 2
回答已采纳
4回答
如何在Spark中压缩两个数组列
、、、、
我有潘达的数据。我尝试将包含字符串值的两个列连接到一个列表中，然后使用zip将列表中的每个元素都用'_‘连接起来。我的数据集如下：df['column_2']: '1.0, 2.0, 3.0'
我想将这两列连接到第三列中，如下所示，我的<
浏览 2提问于2019-01-21得票数 9
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe
浏览 20提问于2021-04-11得票数 0
回答已采纳
我有一个类型为integer4的列box_coordinates，我希望将数组中的每个元素除以640，并将其插入到类型为float4的新列中。在聚合之前，我首先尝试划分数组的每个元素FROM ( FROM image
浏览 0提问于2016-12-17得票数 0
假设DF有2列，如下所示：我遇到的问题是我的dataframe包含一个ArrayType (字符串)列。问题：
有更好的方法跳过S3吗？还是使用类似于.parquet格式的中介的方法？(postgres似乎不支持一种简单的批量插入拼板文件的方法，这就是我如何登陆
浏览 4提问于2019-09-23得票数 0
我正在尝试将我已有的一些postgres sql代码调整为pyspark sql。在postgres sql中，我使用regexp_substr函数解析出‘.5G’，如果它出现在productname列的字符串中。(我已经在下面包含了示例代码)。在pyspark方面，我尝试使用regexp_extract函数，但它只返回null。我将postgres中的regexp_replace函数的输出与<em
浏览 20提问于2021-01-26得票数 0
2回答
我有一个dataframe，它的列是一个字符串数组。数组的某些元素可能会丢失，如下所示：ID |array_list我尝试了以下代码，它使用了一个转换函数和一个正则表达式：from pyspark.sql.dataframe</
浏览 2提问于2020-10-27得票数 0
我不确定这是否是预期的行为，但下面是一个示例dataframe。df = pd.DataFrame([['2020-01-01','2020-06-30','A'], columns = ['start_date', 'end_date&#
浏览 1提问于2021-11-14得票数 0
回答已采纳
我有一个包含名为features的VectorUDT列的dataframe df。如何获取列的元素，比如第一个元素？我试着做了以下几件事 from pyspark.sql.functions import udfdf.select如果我改为使用first_elem_udf = first_elem_udf(lambda row: row.
浏览 122提问于2016-09-18得票数 23
回答已采纳
我试图将位于S3中的拼花文件复制到Redshift，但由于一列中有逗号分隔的数据，它失败了。有谁知道如何在地板文件中处理这样的场景吗？"column_16" : "test1, test2"IAM_ROLE 'iam_role'错误
错误:光
浏览 10提问于2022-11-29得票数 0
我将一个df从pyspark导出到BigQuery。df包含包含数组元素的列，如何将数组转换为连接字符串？每当我尝试查询导出的BigQuery表的数组列时，都会得到以下错误。Error: Cannot access field element on a value with type ARRAY<STRUCT<element STRI
浏览 48提问于2020-06-03得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
