腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
PySpark
-插
入行
或
使用
json
响应
创建
新
的
数据
帧
python
、
json
、
pyspark
这是我正在
使用
的
一个简化
的
数据
框架。| en || a| 世界您好
浏览 10
提问于2021-10-06
得票数 0
1
回答
在df.toPandas().to_csv('mycsv.csv')之后,
数据
在重新读取时会被混淆
python
、
pyspark
、
apache-spark-sql
我有一张名叫result_25
的
桌子。我
使用
此代码成功地将
数据
导出到磁盘上
的
csv。mycsv.csv')rr = spark.read.csv('mycsv.csv', inferSchema=True, header=True) 我查了
数据
但是,当我用.describe() .describe().show()检查我
的
.show和rr时,它们显示
的
不同(我以为它们是相同
的<
浏览 3
提问于2018-10-01
得票数 2
回答已采纳
1
回答
基于类方法
创建
PySpark
数据
框列
python
、
function
、
class
、
apache-spark
、
pyspark
我有一个python类,它
的
函数如下: def __init__(self,
json
): email = self.
json
.get('fields', {}).get('email', None) return email我正尝试在一个
pyspark
数据
浏览 6
提问于2020-11-12
得票数 0
回答已采纳
1
回答
如何从列表列
创建
组合
的
Pyspark
数据
框架
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-dataframes
我目前有一个
pyspark
数据
帧
,如下所示: +--------------------++--------------------+| [1, 5, 7]|| ...| 我
的
目标是转换这个
数据
帧
(
或
创建
一个
新
的
数据
<em
浏览 12
提问于2021-02-09
得票数 1
回答已采纳
1
回答
基于类方法
创建
PySpark
数据
框列-带参数
python
、
dataframe
、
class
、
apache-spark
、
pyspark
我有一个python类,它
的
函数如下: def __init__(self,
json
): +----------------+-------- +----------------+------- 我正在尝试
使用
pyspark
数据
帧
中
的
email_name_match函
浏览 11
提问于2020-11-12
得票数 0
回答已采纳
0
回答
用于在
PySpark
中定义
JSON
Schema结构
的
配置文件
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我已经
创建
了一个
PySpark
应用程序,它通过定义
的
模式读取
数据
帧
中
的
JSON
文件。StructField("timestamp", LongType(), True), df= sqlContext.read.
json
(file, schema) 我需要一种方法来找到如何在一种配置
或
ini文件等中定义此模式,并在主
PySpark
应用程
浏览 3
提问于2016-07-09
得票数 9
3
回答
如何
创建
动态
数据
帧
python
、
dataframe
、
apache-spark
、
pyspark
、
azure-databricks
我试图
创建
一个
数据
框,我之所以以下面的方式指定
创建
数据
框,是为了使其成为动态
的
,但表达式是作为字符串传递
的
,并且exec命令无法
创建
数据
框并将其赋值给变量。下面是我
的
代码: value ='true' header='header'
浏览 18
提问于2020-02-08
得票数 0
4
回答
Pyspark
:如何将spark dataframe转换为
json
并保存为
json
文件?
python-3.x
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我正在尝试将我
的
pyspark
sql dataframe转换为
json
,然后保存为文件。df_final = df_final.union(join_df) 我试过这样
的
东西。但是它
创建
了一个无效
的
json
。df_final.coalesce(1).write.format('
json
').save(data_output_file+"createjson.
浏览 0
提问于2018-11-22
得票数 7
1
回答
如何
使用
Pyspark
/SQL/DataFrames SPARK RDD来插入/删除DB2源表
数据
?
pyspark
、
apache-spark-sql
、
spark-streaming
、
pyspark-sql
我尝试运行upsert/delete命令来插入/删除DB2
数据
库源表中
的
一些值,这是DB2上
的
一个现有表。是否可以
使用
Pyspark
/Spark SQL/Dataframes。
浏览 2
提问于2019-05-10
得票数 0
1
回答
为什么RDD to
JSON
会删除
数据
的
实际排序?
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我正在尝试从我
的
pyspark
数据
帧
创建
一个
JSON
。我在我
的
数据
帧
中看到
数据
是正确排序
的
,但是当
使用
toJSON时,排序不会反映在
JSON
对象中。你能帮帮我吗?我
的
Dataframe是这样
的
: ? 这就是我
使用
toJSON时会发生
的
事情 ?
浏览 8
提问于2019-02-13
得票数 0
回答已采纳
1
回答
取消透视列
pyspark
dataframe,其中value是字典列表
json
、
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
我已经从字典列表
创建
了一个pandas
数据
帧
,并
使用
json
_normalize取消了一列
的
透视。现在我必须将代码转换为
使用
pyspark
而不是pandas。df = pd.
json
_normalize(list_
json
,'Messages',['ID']) 21122, true ,Testdescrip
浏览 0
提问于2021-03-10
得票数 0
1
回答
将
JSON
对象数组转换为
pyspark
中
的
字符串
json
、
apache-spark
、
pyspark
、
apache-spark-sql
我有一个需求,需要从一个
PySpark
数据
帧
返回
的
列
创建
一个自定义
的
JSON
。因此,我编写了一个UDF,如下所示,它将为每一行从UDF返回一个字符串格式
的
JSON
。参数entities在
JSON
格式
的
数组中。)+"}}" return
json
_resp 但是在
响应
中,我没有得到正确
的
JSON
,也就是说,
浏览 20
提问于2020-12-23
得票数 1
回答已采纳
1
回答
如何在
pyspark
中
创建
动态
数据
帧
名称
python
、
dataframe
、
apache-spark
、
pyspark
如何在
pyspark
中
创建
动态
数据
帧
名称此处我无法
使用
以下代码
创建
新
的
数据
帧
它将只给我最后一个
数据
帧
名称,我需要所有的
数据
帧
名称 for prime2 in pdf2: ol2 = Bucket_path
浏览 20
提问于2020-06-22
得票数 0
回答已采纳
1
回答
创建
pyspark
的
spark context py4j java网关对象
apache-spark
、
pyspark
、
apache-spark-sql
、
py4j
我正在尝试将java
数据
帧
转换为
pyspark
数据
帧
。为此,我在java进程中
创建
了一个
数据
帧
(
或
行
的
数据
集),并在Java端启动了一个py4j.GatewayServer服务器进程。然后,在Python端,我
创建
了一个py4j.java_gateway.JavaGateway()客户机对象,并将其传递给
pyspark
的
SparkContext构
浏览 6
提问于2021-03-25
得票数 0
1
回答
PySpark
数据
帧
写入orc不允许
使用
连字符
的
列名
dataframe
、
pyspark
、
apache-spark-sql
、
illegalargumentexception
、
orc
我是
PySpark
的
新手。我有一个列名中包含连字符
的
csv文件。我可以成功地将文件读取到
数据
帧
中。然而,当将df写入orc文件时,我得到一个错误,如下所示-当我通过删除连字符来重命名列时,我可以将
数据
帧
写入但是我需要列名有连字符,因为我想把这个orc附加到列名中有连字符
的
现有orc上。 有没有人能帮我一下?任何帮助都将非常
浏览 32
提问于2021-02-13
得票数 0
1
回答
将
json
.dumps转换为Python
数据
帧
python
、
json
、
pyspark
、
ibm-cloud
我正在
使用
IBM Watson
的
Natural Language Understanding API。我
使用
API文档中
的
以下代码来返回存储在Dataframe中
的
耐克推文
的
情感分析: from watson_developer_cloud import NaturalLanguageUnderstandingV1KeywordsOptions( sentiment=True
浏览 0
提问于2018-12-09
得票数 1
1
回答
Pyspark
数据
帧
过滤语法错误
pyspark
、
pyspark-sql
我正在
使用
Pyspark
版本1.6处理
Pyspark
数据
帧
。在将此
数据
框导出到.CSV文件之前,我需要根据特定条件对特定列
使用
LIKE和OR运算符过滤
数据
。为了向您介绍我到目前为止所做
的
工作,我从多个.
JSON
文件
创建
了初始
数据
帧
。此
数据
框已子集,因此仅包含所需
的
列。然后
创建
了一个sqlContext临时表。到
浏览 0
提问于2017-07-27
得票数 0
回答已采纳
1
回答
在循环中高效地聚合(fitler/select)大型
数据
帧
并
创建
新
的
数据
帧
list
、
dataframe
、
loops
、
apache-spark-sql
、
databricks
我有一个通过导入csv文件(sparkscv)
创建
的
大型
数据
帧
。这个dataframe有很多行
的
日常
数据
。
数据
由日期、区域、service_offered和计数标识。如何先将select/filter保存到列表中,然后在生成最终
数据
帧
之前追加这些选择/过滤器?下面是我
的
循环/聚合
数据
的
代码 #spark session spark = SparkSes
浏览 15
提问于2020-10-16
得票数 0
1
回答
如何将
json
对象列表转换为单个
pyspark
dataframe?
python
、
json
、
machine-learning
、
pyspark
我是
pyspark
的
新手,我有一个来自api
的
json
列表,每个
json
对象都有相同
的
模式(键值对)。如果它是单独
的
json
文件。我会
使用
以下命令
创建
数据
帧
df =spark.read.
json
('myfile.
json
'),然后将所有
数据
帧
合并为一个。我正面临着直接从列表本身转换
浏览 18
提问于2019-05-28
得票数 1
回答已采纳
1
回答
使用
pyspark
从
JSON
数据
生成Hive表
json
、
pyspark
、
hive
、
apache-spark-sql
、
hiveql
我想用
json
数据
创建
一个扁平
的
hive表,它来自另一个hive表(放在一个列-event_ data中)。下面是
json
数据
结构。我已经
使用
后视图
创建
了hive表,但现在我想
使用
pyspark
和一些UDF来
创建
hive表。37664859"}}' 我只需要提取4列,这是callId,correlationId,servicingDetail -offerAttributes-i
浏览 0
提问于2020-05-13
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
如何从Pandas迁移到Spark?这8个问答解决你所有疑问
一文读懂PySpark数据框
遇见YI算法之初识Pyspark(二)
一文读懂 PySpark 数据框
CVPR 2021发表视频慢动作的新sota,还发了160FPS的数据集
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券