腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(3447)
视频
沙龙
2
回答
如何在
Pyspark
中使用Scala类
python
、
scala
、
apache-spark
、
pyspark
、
apache-spark-sql
我已经搜索了一段时间了,如果有任何方法在
Pyspark
中使用一个
Pyspark
类,我还没有找到任何关于这个主题的文档或指南。假设我在Scala中创建了一个简单的类,它使用了一些apache-spark库,如下所示: def exe():
DataFrame
= { df.select(col(c
浏览 3
提问于2016-03-15
得票数 29
回答已采纳
5
回答
将标准
python
键值
字典
列表转
换为
pyspark
数据帧
python
、
dictionary
、
apache-spark
、
pyspark
假设我有一个
python
字典
键值对列表,其中键对应于表的列名,那么对于下面的列表,
如何将
其转
换为
具有两个cols arg1 arg2的
pyspark
dataframe
?
浏览 50
提问于2016-06-02
得票数 19
回答已采纳
2
回答
PySpark
dataframe
到
python
不带嵌套
字典
列表
python
、
pandas
、
dataframe
、
pyspark
|-- confidence: string (nullable = true)我正在尝试将其转
换为
Python
,但是作为"words“的
字典
列表不会保留
字典
列表的格式。在火星雨中:转
换为
python
dataframe
: scrape
浏览 4
提问于2022-03-10
得票数 0
2
回答
如何在ArrayType中将字符串转
换为
字典
(JSON)
python
、
pyspark
、
pyspark-sql
尝试将StringType转
换为
JSON的ArrayType,以获取从CSV生成的数据。
pyspark
在Spark2上的应用date,attribute2,count,attribute3如上面
浏览 0
提问于2018-08-06
得票数 5
回答已采纳
1
回答
为S3桶编写火花数据帧
字典
python-3.x
、
apache-spark
、
amazon-s3
、
pyspark
假设我们有一个
PySpark
数据
字典
。有办法把这本
字典
写到S3桶里吗?这样做的目的是读取这些
PySpark
数据帧,然后将它们转
换为
熊猫数据帧。下面是一些代码和我得到的错误:data = [("Java", "20000"), ("
Python
", "100000"),thread.RLock o
浏览 7
提问于2021-09-24
得票数 1
回答已采纳
1
回答
如何在
PySpark
中将
字典
转
换为
数据帧?
python
、
apache-spark
、
pyspark
我正在尝试将
字典
:data_dict = {'t1': '1', 't2': '2', 't3': '3'}转
换为
数据帧: key | value|t1/apache-spark/2.4.5/libexec/
python
/
pyspark
/sql/session.py", line 7
浏览 8
提问于2020-04-21
得票数 5
回答已采纳
3
回答
将SCALA === (三等号)转
换为
用于火花列的
Python
python
、
scala
、
apache-spark
、
pyspark
我在Scala中有一段用于
Python
转换的代码 searchTermsInputTable:
DataFrame
使用Dataset,它不受
Pyspark
===支持,用于列,该列也不支持 我如何克服这一问题并将其转
换为
Python
?
浏览 3
提问于2022-03-18
得票数 0
1
回答
如何将
Pyspark
dataframe
转
换为
Python
字典
python
、
python-2.7
、
dataframe
、
pyspark
我对
pyspark
是个新手,有如下要求 包含两列的数据帧(id和data_list),其中data_list在group by之后排序,如下所示 +---+-----+-----+|2_b|[MK,HN, Yu,HK, JK...| +---+--------------------+ 在DF上应用map转换以获得我想要的(列表的
python
字典
)输出, data = order_df.rdd.map(lambda (x, y): (x.split("_&quo
浏览 51
提问于2019-02-08
得票数 0
1
回答
将
Dataframe
激发到StringType
json
、
apache-spark
、
pyspark
、
apache-kafka
在
PySpark
中,
如何将
Dataframe
转
换为
普通字符串?我将
PySpark
与Kafka一起使用,而不是硬编码代理名称,而是在
PySpark
中参数化了Kafka broker名称。这些变量为带有字符串的
Dataframe
类型。错误:{ "b
浏览 0
提问于2021-03-05
得票数 0
1
回答
>>`转
换为
python
字典
java
、
python
、
scala
、
apache-spark
、
pyspark
在
pyspark
中,调用getPersistentRDDs() Java sparkContext方法将返回scala.collection.Map<Object,RDD<?from
pyspark
.sql import SparkSession spark = SparkSession.builder.master_jsc.sc().getPersistentRDDs() 返回JavaObject id=o477
如何将
scala.colle
浏览 37
提问于2019-05-04
得票数 1
回答已采纳
1
回答
为什么我得到了TypeError:不能在使用_thread.RLock时选择'_thread.RLock‘对象
python
、
python-3.x
、
apache-spark
、
pyspark
、
apache-spark-sql
/site-packages/
pyspark
/
python
/lib/
pyspark
.zip/
pyspark
/context.py",行611,在"/Library/Frameworks/
Python
.framework/Versions/3.9/lib/
python
3.9/site-packages/
p
浏览 2
提问于2022-05-11
得票数 0
回答已采纳
5
回答
如何解析来自
Python
SDK的嵌套FB API响应
python
、
json
、
facebook
、
facebook-graph-api
我正在使用Facebook
Python
SDK查询Insights端点,并且很难得到使用
Python
以及随后的pandas的响应。impressions": "60000",}, <Insights> {在将不包括actionsdata的数据放入pandas
DataFrame
在在线和Stackoverflow上进行检查后,使用
python
加载json并对其进行相应的处理,以及使用
浏览 3
提问于2015-12-04
得票数 8
1
回答
用数据库中的
pyspark
将纳秒值转
换为
日期时间
python
、
azure-databricks
、
python-datetime
、
pyspark-pandas
在
Python
中,我使用以下代码将字段转
换为
适当的日期时间值:此代码将下列值1642778070000000000
转
换为
2022-01-21 15:14:30.现在,我想在databricks中使用
pyspark
浏览 5
提问于2022-07-05
得票数 0
回答已采纳
2
回答
pyspark
dataframe
to dictionary:列作为键和列值列表
python
、
pyspark
您好,我需要将
pyspark
dataframe
(或rdd)转
换为
字典
,其中
dataframe
的列将是关键字,column_value_list将作为
字典
值。name amtb 20b 40我想要一本这样的
字典
: new_dict = {'name':['a','b', 'a', 'b', '
浏览 4
提问于2017-04-28
得票数 1
1
回答
无法使用大型
字典
的
Pyspark
python
、
dictionary
、
pyspark
、
user-defined-functions
、
amazon-emr
我有一个
字典
,由键= word,value = Array组成,由300个浮点数组成。我无法在我的“火花放电”中使用这本词典。当这本
字典
的大小是200万键时,它就不起作用了。这是我要转
换为
UDF的函数的代码。get_sentence_vector_udf = F.udf(lambda val: get_sentence_vector(val, fast_text_dictionary), ArrayType(FloatType()))dmp_df_
浏览 0
提问于2019-08-19
得票数 1
回答已采纳
1
回答
用笔记本将数据从Azure Synapse数据库加载到
DataFrame
中
apache-spark
、
azure-synapse
我试图从Azure Synapse DW中加载数据到一个数据文件中,如图像所示。AttributeError: 'DataFrameReader' object has no attribute 'sqlanalytics' 对我做错了什么有什么想法吗?
浏览 2
提问于2021-08-17
得票数 1
回答已采纳
1
回答
如何使用
字典
或其他方法将df1
转
换为
df2
python-3.x
、
dataframe
、
dictionary
我正在使用
python
3,并将
DataFrame
显示为df1,
如何将
df1
转
换为
df2?
浏览 1
提问于2019-08-25
得票数 0
回答已采纳
1
回答
PySpark
groupby元素及其出现的关键字
python
、
sql
、
apache-spark
、
dictionary
、
pyspark
我在
DATAFRAME
中有以下数据:65475383,acacia65475383,excelsa我想有一个
字典
,它将包含列
浏览 2
提问于2020-10-09
得票数 0
2
回答
以每列为关键字将
PySpark
数据帧转
换为
JSON
apache-spark
、
pyspark
、
apache-spark-sql
、
databricks
我正在研究
PySpark
。我有一个数据框,我需要将其
转
储为JSON文件,但JSON文件应具有以下格式,例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此,每列应该有一个键,相应的值应该包含该列中的所有值的列表 我尝试将其转
换为
Pandas数据帧,然后在将其作为JSON
转
储之前转
换为
字典
,并成功地完成了转换,但由于数据量非常大,我想直接在
PySpark<
浏览 14
提问于2019-12-18
得票数 1
回答已采纳
1
回答
星星之火1.6:
如何将
从Scala jar生成的RDD转
换为
吡火花RDD?
java
、
python
、
scala
、
apache-spark
我正在尝试创建一些POC代码,演示如何从
PySpark
调用Scala函数,结果是一个
PySpark
.RDD。-1.6.3-bin-hadoop2.6/
python
/
pyspark
/rdd.py", line 356, in getNumPartitions File "/usr/local/spark-1.6
浏览 18
提问于2017-05-05
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Python笔记-数据加载、存储与文件格式(2)
Dataiku DSS Code Recipe 介绍
肝了3天,整理了90个Pandas案例
Python使用DataFrame打印指定列的方法
python调整两列数据顺序的方法
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券