腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
以每列为关键字
将
PySpark
数据帧转
换为
JSON
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
我正在研究
PySpark
。我有一个数据框,我需要将其
转
储为JSON文件,但JSON文件应具有以下格式,例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此,每
列
应该有一个键,相应
的
值应该包含该
列
中
的
所有值
的
列表
我尝试将其转
换为
Pandas数据帧,然后在将其作为JSON
转
储
浏览 14
提问于2019-12-18
得票数 1
回答已采纳
1
回答
Pyspark
将
列表
转
换为
特定
列
中
的
字典
pyspark
、
aws-glue
、
aws-glue-spark
我有一个在json中看起来像这样
的
spark数据帧; { "region": "Texas", { "ABB", "ABE" } "site_name": "ABC"
浏览 19
提问于2021-09-21
得票数 0
回答已采纳
1
回答
Pyspark
:从
列表
的
RDD创建spark数据帧,其中
列表
的
一些元素是对象
python
、
pandas
、
apache-spark
、
pyspark
、
rdd
我正在尝试
将
pandas.DataFrame代码转
换为
等效
的
pyspark
DataFrame。我有一个以下格式
的
RDD。[2, 'b', {'c': 1, 'd':3}],内部
列表
中
的
第
浏览 1
提问于2018-04-07
得票数 1
1
回答
将
列表
列转
换为
嵌套结构
列
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
user-defined-functions
我正在尝试
将
一组丑陋
的
文本字符串转
换为
具有代表性
的
PySpark
数据格式。最后一步是
将
包含字符串
列表
的
列
转
换为
包含嵌套行结构
的
列
。对于
列表
中
的
每个字符串,我使用python
字典
理解将其规范化为相同
的
字段。当我试图通过列上
的
udf来转换它时,它会失败。 我
的
<
浏览 2
提问于2018-10-20
得票数 1
回答已采纳
2
回答
PySpark
dataframe到python不带嵌套
字典
列表
python
、
pandas
、
dataframe
、
pyspark
|-- confidence: string (nullable = true)我正在尝试将其转
换为
Python,但是作为"words“
的
字典
列表
不会保留
字典
列表
的
格式。它们变成了元组
的
列表
。我怎么才能避免呢?("countryCode", "words").toPandas() pyth
浏览 4
提问于2022-03-10
得票数 0
2
回答
将
JSON解析为对象
字典
python
、
json
、
dictionary
我
的
JSON为: { "employee_2": {"name": "Emma"} } 它被创建为: class Employee__dict__) 我
将
这个JSON写到一个文件
中
,然后从文件中加载它。但是,加载
的
对象被反序列化为
字典
的
字典
,而不是Employee
浏览 23
提问于2021-08-11
得票数 0
1
回答
如何转换
pyspark
dataframe
列
的
值?
python
、
sql
、
apache-spark
、
pyspark
、
data-science
我在
pyspark
数据框中有一
列表
示电子设备
的
年龄,这些值是以毫秒为单位给出
的
。有没有一种简单
的
方法将该
列
的
值转
换为
年份?我不是很精通Spark。编辑:我知道你可以很容易地用基本
的
数学
将
毫秒转
换为
年,我正在尝试获取
pyspark
数据帧
的
一
列
,并迭代它,并将所有
列
值转
换为
不同
的
值。有没有一个<e
浏览 17
提问于2021-05-20
得票数 1
1
回答
如何基于
PySpark
列
将
PySpark
数据
列
转
换为
字典
列表
arrays
、
dataframe
、
apache-spark
、
dictionary
、
pyspark
我正在
将
dataframe
列
转
换为
字典
列表
。Input dataframe有3
列
:1 100 IN2 300 DD3 500 AA类
浏览 14
提问于2022-10-04
得票数 0
回答已采纳
1
回答
将
嵌套
字典
键值转
换为
pyspark
数据
python
、
json
、
dictionary
、
pyspark
我有一个
Pyspark
数据文件,看起来像这样:我希望提取"dic“
列
中
的
嵌套
字典
,并将它们转
换为
PySpark
数据格式。如下所示:请告诉我如何做到这一点。 谢谢!
浏览 2
提问于2020-07-20
得票数 2
2
回答
按键过滤电火花中
字典
列表
中
的
数据
dictionary
、
pyspark
在
pyspark
中
,如何根据
特定
的
字典
键值筛选具有
字典
列表
列
的
dataframe?|robot | 我想选择如下所示
的
行,它在foo_dic_list
列
的
键
中
包含"4“。
浏览 3
提问于2022-07-21
得票数 0
1
回答
通过
字典
将
pyspark
行
的
列表
转
换为
pandas数据框
pandas
、
lambda
、
pyspark
、
group-by
、
apache-spark-sql
我正在尝试使用
字典
理解
将
PySpark
排序
的
行
列表
转
换为
Pandas数据框,但只有在显式地声明所需
字典
的
键和值时才有效。row: row["col1"], row_list), .groupByKey() \
浏览 20
提问于2020-07-07
得票数 0
3
回答
如果熊猫
列表
中
的
项是
字典
键,则用值替换,如果不在
字典
中
,则删除
python
、
pandas
如果熊猫
列
包含
列表
,则可以使用
字典
将
所有值转
换为
但是,在某些情况下,并非
列表
中
的
所有项都是
字典
的
键。例如具体Pandas行&
浏览 2
提问于2019-08-25
得票数 1
回答已采纳
1
回答
将
python
字典
转
换为
pyspark
dataframe
python
、
json
、
dataframe
、
dictionary
、
pyspark
我有一个json文件,其中包含以下格式
的
字典
:是否可以将此
字典
转
换为
PySpark
数据,如下所示?||
浏览 15
提问于2022-04-06
得票数 1
回答已采纳
2
回答
将
字典
列表
转
换为
pyspark
dataframe
python
、
list
、
dataframe
、
apache-spark
、
pyspark
我有一个
字典
列表
,如下所示。每本
字典
都是一个
列表
项目。my_list= [{"_id":1,"name":"xxx"}, {"_id":3,"_name":"zzz"}] 我正在尝试
将
列表
转
换为
,每一个
字典
都是一
浏览 2
提问于2021-02-18
得票数 0
1
回答
如何在
PySpark
中将
字典
转
换为
数据帧?
python
、
apache-spark
、
pyspark
我正在尝试
将
字典
:data_dict = {'t1': '1', 't2': '2', 't3': '3'}转
换为
数据帧: key | value|t1: File "/usr/local/Cellar/ap
浏览 8
提问于2020-04-21
得票数 5
回答已采纳
1
回答
PySpark
--
将
具有扫描功能
的
sas宏转
换为
火花放电
python
、
pandas
、
database
、
pyspark
、
sas
我是
pyspark
和python
的
初学者,并试图将我
的
SAS宏之一
转
换为
pyspark
,但无法找到与SAS
中
的
扫描功能等价
的
有用资源,而且在EMR studio
pyspark
集群
中
执行when循环也有困难我正在尝试
将
下面的SAS宏转
换为
pyspark
,谢谢大家。
浏览 6
提问于2022-11-22
得票数 0
1
回答
AWS
pySpark
:
将
字符串列拆分为新
的
整数数组
列
amazon-web-services
、
pyspark
、
etl
、
aws-glue
我试图使用Glue和
pySpark
在AWS上执行ETL工作,但不幸
的
是,我对此非常陌生。 在大多数情况下,我没有任何问题,使用胶水动态数据,以执行应用程序和一些其他
的
转换,我必须执行。但是,我面临一个
特定
列
的
问题,必须将其从字符串转
换为
整数数组。在这个
列
value
中
,我们
将
数据类型设置为string,它实际上是一个转
换为
string并由空格分隔
的
整数数组,例如,value
列
浏览 5
提问于2020-04-20
得票数 2
回答已采纳
1
回答
Pyspark
:
将
所有数据帧
的
字符串转
换为
foat
python
、
apache-spark
、
pyspark
我有一个包含多个
列
(1000)
的
数据框,它们具有字符串类型。我希望将它们转
换为
不是一
列
一
列
地浮动,而是一次浮动所有数据帧。此外,我知道这是存在
的
: from
pyspark
.sql.types import IntegerType data_df = data_df.withColumn("column_name",data_df["columns_name"].cast(IntegerType())) 但我正在研究这样<em
浏览 17
提问于2021-04-15
得票数 0
回答已采纳
1
回答
将
各种源data_types模式转
换为
突触数据类型模式映射框架
python
、
pandas
、
pyspark
、
azure-synapse
为了
将
各种源data_types转换成Azure突触数据类型,生成ddl,从而可以通过
PySpark
框架注入数据。为此,我必须使用datatypes
字典
,它包含映射到synapse数据类型
的
不同源数据类型,如下所示:' distinct _ data _ types _source2synapse‘。但是,我从元数据
中
得到
的
实际
列
列表
就像下面显示为“column_ list”
的
元组
列表
。需要找到一种方法,<
浏览 4
提问于2022-02-10
得票数 0
2
回答
无法从
列表
中
创建dataframe :
pyspark
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我有一个由函数生成
的
列表
。当我在
列表
中
执行print时:我获得:df = sqlContext.createDataFrame(preds_labels, ["prediction", "label"]) 不支持
的
类型:键入“num
浏览 1
提问于2016-08-07
得票数 7
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
Python基础:04-流程控制
python奇遇记:数据结构窥探3
Python中的for循环:元组、列表、字典的遍历和相互转化
Python基础:05-总结:双重循环,数据类型
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券