腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
使用
pyspark
解析
Spark
3
数据
帧
中
的
多行
嵌套
json
、
、
、
、
我在阅读
Pyspark
中
的
多行
json
时遇到了问题。示例: { "_type": "_doc", |-- _version: long (nullab
浏览 30
提问于2021-04-06
得票数 0
回答已采纳
2
回答
火花:如何
解析
嵌套
列表
的
JSON
字符串以激发
数据
框架?
、
、
、
如何
解析
嵌套
列表
中
的
JSON
字符串以激发
pyspark
中
的
数据
帧
?输入
数据
框架:|url |
json
import
pyspark
.sql.functions as F
spark
= (
py
浏览 1
提问于2021-02-08
得票数 2
回答已采纳
1
回答
从
Pyspark
Dataframe
解析
JSON
字符串
、
、
、
、
我有一个
嵌套
的
JSON
字典,我需要将其转换为
spark
dataframe。此
JSON
字典显示在
数据
框列
中
。我一直在尝试
使用
"from_
json
“和"get_
json
_object”来
解析
dataframe列
中
存在
的
字典,但一直无法读取
数据
。以下是我一直在尝试读取
的
源
数据
的
浏览 36
提问于2021-04-01
得票数 1
回答已采纳
2
回答
如何加载一个20 in
的
json
文件来读入pandas?
、
、
、
我有一个19.4 GB大小
的
JSON
文件。我尝试了很多方法来读取文件。例如:pandas.read_
json
(filename)简单地使笔记本崩溃。我正在寻找以惰性方式加载文件
的
方法。例如,一次1 db,然后将其转储到SQLite或neo4j
数据
库
中
以分析
数据
。任何关于这方面的想法都会非常感谢。
浏览 17
提问于2021-01-05
得票数 0
3
回答
如何创建动态
数据
帧
、
、
、
、
我试图创建一个
数据
框,我之所以以下面的方式指定创建
数据
框,是为了使其成为动态
的
,但表达式是作为字符串传递
的
,并且exec命令无法创建
数据
框并将其赋值给变量。下面是我
的
代码: value ='true' header='header'a= "
spark
.read.option('"
浏览 18
提问于2020-02-08
得票数 0
1
回答
如何从
PySpark
列表
中
删除/替换字符
、
、
、
我是Python/
PySpark
的
新手,目前在Databricks中
使用
它。object" : ["191.168.192.103", "191.168.192.107"]}',),当我试着它不能正确
解析
JSO
浏览 6
提问于2019-11-15
得票数 0
回答已采纳
2
回答
如何在
Spark
2
中
解压LZ4
JSON
、
、
、
我已经从https://censys.io/下载了一个xxxx.
json
.lz4文件,但是,当我尝试
使用
以下行读取该文件时,我没有得到
数据
输出/计数为0。metadata_lz4 =
spark
.read.
json
("s
3
n://file.
json
.lz4")val metadata_lz4
浏览 2
提问于2017-04-05
得票数 3
1
回答
Spark
dataframe访问Kafka源后失去流媒体能力
、
、
、
、
我
使用
Spark
2.4.3和Kafka 2.3.0。我想用从Kafka到
Spark
的
数据
做
Spark
结构化流媒体。一般来说,它可以在测试模式下工作,但由于我必须对
数据
进行一些处理(并且不知道另一种方法),
Spark
数据
帧
不再具有流式传输功能。 #!/usr/bin/env python
3
from
pyspark
.sql import SparkS
浏览 22
提问于2019-09-10
得票数 0
回答已采纳
1
回答
取消透视列
pyspark
dataframe,其中value是字典列表
、
、
、
、
我已经从字典列表创建了一个pandas
数据
帧
,并
使用
json
_normalize取消了一列
的
透视。现在我必须将代码转换为
使用
pyspark
而不是pandas。description1, 221233,true ,test2 ,
3
在
Pyspark
中
,我想不出一个类似的函数。我已经
使用
下面的代码创建了一个
数据
<em
浏览 0
提问于2021-03-10
得票数 0
1
回答
在Apache
Spark
Scala中将
嵌套
的
json
with array展平为单行
数据
帧
、
我正在尝试将下面的
json
扁平化成一个单行
的
数据
帧
。我已经看过很多文章,展示了如何
使用
数组将复杂
的
/
嵌套
的
json
对象展平为
多行
。但是,我不想将
json
展平为
多行
。我只想要一个如输出所示
的
单行
数据
帧
。数组索引将转换为列名。我如何在Apache
Spark
Scala
中
实现这一点?<e
浏览 39
提问于2021-08-26
得票数 1
1
回答
难以将
JSON
转换为
Spark
Dataframe
、
、
、
我一直在尝试将
JSON
加载到
pyspark
dataframe
中
,但我在这方面遇到了一些困难。这是我到目前为止已经尝试过
的
(
使用
和不
使用
多行
): import
json
newdf =
spark
.read.
json
(sc.parallelize([newJson])) newdf.display()
JSON
文件: t
浏览 14
提问于2021-04-01
得票数 2
回答已采纳
1
回答
PyArrow表到
PySpark
数据
帧
的
转换
、
、
我正在尝试将我
的
Pandas
数据
帧
转换为
PySpark
数据
帧
。createDataFrame函数不起作用,所以我找到了PyArrow。我可以转换PyArrow表-->
Spark
表,但是我找不到任何方法来转换Pandas表-->
Spark
谢谢
浏览 1
提问于2018-11-16
得票数 3
1
回答
使用
Pyspark
处理
JSON
结构
、
、
、
我是
spark
的
新手,正在尝试将以下格式
的
JSON
文件读取到
spark
数据
帧
中
。这是我
的
JSON
格式 “元素”:[ Q4Name:ABC,Age:45,{Language:EnglishEnglish | 45 | SWE H
浏览 13
提问于2019-09-11
得票数 1
1
回答
解析
pyarrow.parquet.ParquetDataset对象
的
模式
、
我正在
使用
pyarrow从s
3
读取拼图
数据
,我希望能够
解析
模式并将其转换为适合在
Spark
外部运行mLeap序列化模型
的
格式。 这需要
解析
模式。如果我有一个
Pyspark
数据
帧
,我可以这样做: test_df =
spark
.read.parquet(test_data_path) schema = [ { "name" : field.simpleString读取
数据<
浏览 47
提问于2018-12-20
得票数 0
1
回答
为S
3
桶编写火花
数据
帧
字典
、
、
、
假设我们有一个
PySpark
数据
字典。有办法把这本字典写到S
3
桶里吗?这样做
的
目的是读取这些
PySpark
数据
帧
,然后将它们转换为熊猫
数据
帧
。.printSchema() import pickle s
3
_resource = boto
浏览 7
提问于2021-09-24
得票数 1
回答已采纳
1
回答
在
PySpark
中
读取XML文件
、
、
我尝试将XML读入
PySpark
中
的
数据
框架
中
。从
的
文档
中
,我了解了如何加载xml文件,但返回
的
数据
帧
是空
的
。下面是我如何读取我试图
解析
的
文件和文件
的
例子。from
pyspark
import SparkContext, SparkConf from
pyspark
.sql import SQLContext
浏览 2
提问于2018-12-04
得票数 0
回答已采纳
1
回答
json
转换:无法
解析
JSON
格式
的
模式:未能将
JSON
字符串(大
JSON
字符串)转换为
数据
类型
、
、
、
、
使用
复杂
的
嵌套
结构列时,我很难在
pyspark
内部进行
json
转换。from_
json
的
架构似乎没有行为。示例: df =
spark
.createDataFrame([[1,'a'],[2,'b'],[
3
,'c']], ['rownum','rowchar&
浏览 2
提问于2022-02-18
得票数 0
1
回答
将pandas
数据
帧
转换为
PySpark
数据
帧
、
、
、
、
我正在
使用
:从
spark
--> Pandas
的
转换很简单,但我正在为如何将Pandas
数据
帧
转换回
Spark
而苦苦挣扎。from
pyspark
.sql import SparkSessi
浏览 1
提问于2018-10-23
得票数 15
回答已采纳
4
回答
pyspark
Cassandra连接器
、
、
、
我必须安装
pyspark
-cassandra-connector,它在
中
可用,但我遇到了巨大
的
问题和错误,并且没有关于python
的
spark
的
支持文档,这称为
pyspark
!我想知道
pyspark
-cassandra-connector包是失效了还是别的什么?另外,我需要清楚
的
git克隆
pyspark
- cassandra -connector包
的
一步一步
的
教程,安装和导入到<e
浏览 2
提问于2017-04-19
得票数 0
1
回答
在df.toPandas().to_csv('mycsv.csv')之后,
数据
在重新读取时会被混淆
、
、
我有一张名叫result_25
的
桌子。我
使用
此代码成功地将
数据
导出到磁盘上
的
csv。result_25.toPandas().to_csv('mycsv.csv')rr =
spark
.read.csv('mycsv.csv',inferSchema=True, header=True) 我查了
数据
,看上去很好。但是,当我用.describe() .describe().show()检查我<e
浏览 3
提问于2018-10-01
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
一文读懂PySpark数据框
一文读懂 PySpark 数据框
遇见YI算法之初识Pyspark(二)
pyspark 安装
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券