腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
pyspark
:
dataframe
头部
转换
python
、
dataframe
、
apache-spark
、
replace
、
pyspark
我正在将csv加载到
pyspark
dataframe
中。我正在尝试删除列标题中的空格和更多特殊字符,如"(",")“和"/”。 我可以删除列标题中的空格,如下所示。
浏览 63
提问于2020-12-15
得票数 0
回答已采纳
1
回答
如何使用spark
dataframe
(python/
pyspark
)跳过csv文件中不需要的标头
pyspark
、
apache-spark-sql
如何跳过csv中的第一行,并将第二行视为
pyspark
dataframe
中的
头部
: prod,daily,impress01,manish,USA03,willson,Africa 如何跳过第一行(prod daily impress),并使用spark
dataframe
将(id,name,country)视为标题。
浏览 12
提问于2019-04-08
得票数 0
1
回答
pyspark
.pandas API:构造共生矩阵,.dot()不支持数据作为输入。
python
、
pandas
、
apache-spark
、
pyspark
我试图使用
pyspark
.pandas API在数据库上构造数据的共生矩阵。该代码在熊猫中运行良好,但在使用
pyspark
.pandas时出现了错误。coocc = psdf.T.dot(psdf)我得到了这个错误我查过医生了。
pyspark
.pandas.
DataFrame
.dot() 以串联作为输入。我尝试使用psdf.squeeze()将
dataframe
<em
浏览 8
提问于2022-10-14
得票数 0
回答已采纳
1
回答
如何在
pyspark
中解压list类型的列
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我在
pyspark
中有一个
dataframe
,df有一个数组字符串类型的列,所以我需要生成一个包含列表
头部
的新列,还需要包含尾列表连接的其他列。这是我的原始数据帧:
pyspark
> df.show()| id| lst_col|| 1|[a, b, c,d]| root |-- id: integer (nu
浏览 29
提问于2020-01-24
得票数 0
回答已采纳
2
回答
RDD[string]:将
DataFrame
转换
为
pyspark
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
我想将
pyspark
.sql.
dataframe
.
DataFrame
转换
为
pyspark
.rdd.RDD[String]data = df.rddtype (data)新的RDD data包含Rowtype(first)R
浏览 2
提问于2016-02-17
得票数 8
回答已采纳
1
回答
星星之火1.6:如何将从Scala jar生成的RDD
转换
为吡火花RDD?
java
、
python
、
scala
、
apache-spark
我正在尝试创建一些POC代码,演示如何从
PySpark
调用Scala函数,结果是一个
PySpark
.RDD。sc.parallelize(List.range(1, 10))这就是我在
PySpark
端访问它所做的事情:>>> jrdd = foo.getTestRDD(sc._jsc.sc())>>
浏览 18
提问于2017-05-05
得票数 0
回答已采纳
4
回答
将熊猫转化为火种时的TypeError
python
、
pandas
、
apache-spark
、
pyspark
我有一个这种格式的
DataFrame
dbn boro bus据我所读,这可能是一个问题,
头部
被视为数据。根据我的理
浏览 6
提问于2016-10-04
得票数 3
回答已采纳
1
回答
Pyspark
:从列表的RDD创建spark数据帧,其中列表的一些元素是对象
python
、
pandas
、
apache-spark
、
pyspark
、
rdd
我正在尝试将pandas.
DataFrame
代码
转换
为等效的
pyspark
DataFrame
。我有一个以下格式的RDD。pdDF = pandas.
DataFrame
(myRdd, columns=columnNames) 我可以做一些类似的事情,将上述格式的
pyspark
RDD
转换
为
pyspark
DataFrame
浏览 1
提问于2018-04-07
得票数 1
1
回答
如何在
PySpark
中从文本文件创建
DataFrame
?
python
、
dataframe
、
text
、
pyspark
我是
Pyspark
的新手,我想在
pyspark
中将txt文件
转换
为
Dataframe
。我正在尝试让
pyspark
中的数据整齐。有什么帮助吗?谢谢我试着这样做,但它还没有起作用。RDD to a list f
浏览 11
提问于2019-07-11
得票数 0
回答已采纳
1
回答
Pyspark
/Python方法
python
、
apache-spark
、
oop
、
pyspark
我正在尝试为我的
Pyspark
转换
扩展Optimus用例。然而,我偶然发现下面的.add_columns()方法没有继承我的
Pyspark
dataframe
方法,而.add_columns_2()方法继承了集成开发环境级别的方法。为什么我不能在赋值后列出与
Pyspark
dataframe
相关的方法? def __init__(self, df): self._df ## ==> This shows the meth
浏览 16
提问于2019-11-27
得票数 0
1
回答
如何阻止
pyspark
dataframe
变为list?
pyspark
、
apache-spark-sql
我从一个
pyspark
dataframe
开始,在对它使用.take()之后
转换
成一个列表。我怎么才能保持它是
pyspark
数据帧呢?df1 = Ce_clean df1 = df1.take(1000)<class '
pyspark
.sql.
dataframe
.
DataFrame
浏览 1
提问于2020-09-17
得票数 1
1
回答
Databricks:如何将行的值
转换
为数组类型
python
、
databricks
假设我有下面的数据帧col1 a b c有什么想法吗?
浏览 16
提问于2019-11-07
得票数 0
1
回答
在
PySpark
(本地)上编程与在Jupyter Notebook上使用Python编程
python
、
apache-spark
、
pyspark
最近我一直在使用
pySpark
,所以我已经习惯了它的语法、不同的API和HiveContext函数。我的问题是,与常规的Python/Pandas相比,将
pySpark
作为我的主要语言进行编码是否存在劣势,即使只是进行一些探索性分析?我这么问主要是因为在不同语言之间切换的认知工作,以及如果我需要分发工作,将代码从Python迁移到
pySpark
的麻烦。
浏览 0
提问于2016-07-27
得票数 1
1
回答
to
PySpark
中的字符串方法
python
、
pyspark
我有一个用
pyspark
写的代码。我需要将其
转换
为字符串,然后将其
转换
为日期类型,等等。> type(df) > <class '
pyspark
.sql.
dataframe
.
Data
浏览 7
提问于2019-07-07
得票数 0
回答已采纳
1
回答
如何在Scala中将
DataFrame
转换
为DynamicFrame对象
scala
、
apache-spark-sql
、
aws-glue
我正在尝试将一些
pySpark
代码
转换
为Scala,以提高性能。在AWS (它使用Apache )中,会自动为您生成一个脚本,它通常使用DynamicFrame对象加载、
转换
和写入数据。但是,DynamicFrame类并不具有与
DataFrame
类相同的所有功能,有时您必须将其
转换
回
DataFrame
对象,反之亦然,以执行某些操作。下面是我如何在
DataFrame
中将DynamicFrame对象
转换
为
pySpark
对象:
浏览 1
提问于2018-05-17
得票数 3
回答已采纳
1
回答
pyspark
错误:'
DataFrame
‘对象没有属性'map’
apache-spark
、
spark-dataframe
、
apache-spark-2.0
我正在使用
Pyspark
2.0通过读取csv来创建一个
DataFrame
对象,使用:我使用以下命令找到数据的类型type(data)
pyspark
.sql.
dataframe
.
DataFrame
from
浏览 4
提问于2016-09-08
得票数 6
1
回答
如何在
PySpark
DataFrame
中替换无穷大
python
、
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
sqlContext.createDataFrame([(None, None), (1, np.inf), (None, 2)])或者我必须走一条痛苦的道路:将
PySpark
DataFrame
转换
为
DataFrame
,替换无穷大值,然后将其
转换
回
PySpark
DataFrame
。
浏览 7
提问于2015-12-23
得票数 6
回答已采纳
1
回答
如何对
pyspark
dataframe
列应用函数
python-3.x
、
dataframe
、
pyspark
我正在尝试将我的pandas代码
转换
为
pyspark
dataframe
,并尝试在
dataframe
的一列上应用函数。我在pandas
dataframe
中做了一些如下的事情。return USD_amount salesData['Sales (INR)'] = salesData.apply(convert_USD_INR, axis=1) 有没有人能给我举个例子,把它
转换
成
pyspark
dataframe
?基本上,我想在<
浏览 15
提问于2020-01-03
得票数 1
回答已采纳
1
回答
pyspark
.pandas.frame.
DataFrame
与
pyspark
.sql.
dataframe
.
DataFrame
的差异及其
转换
python
、
dataframe
、
pyspark
我找不到关于这一点的任何详细文档,那么
pyspark
.pandas.frame.
DataFrame
和
pyspark
.sql.
dataframe
.
DataFrame
之间有什么区别,在哪里可以找到它们的方法的文档呢另外,如何将其中一个
转换
成另一个,反之亦然?
转换
它们总是无缝的还是某些数据类型不被识别?
浏览 6
提问于2022-09-12
得票数 1
回答已采纳
2
回答
pyspark
.pandas和熊猫有什么区别?
pandas
、
pyspark
开始在Databricks上使用
PySpark
,我看到我可以在pandas的同时导入
pyspark
.pandas。有什么不同吗?我想这不像koalas,对吧?
浏览 13
提问于2022-09-20
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
遇见YI算法之初识Pyspark(二)
将dataframe数据中的月份的英文名转换为数字月份,比如 ‘July’ 转换为'07?
Dataiku DSS Code Recipe 介绍
PySaprk之DataFrame
Python开源数据分析工具TOP 3!
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券