腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
通
过从
旧
的
dataframe
pyspark
中
选择
列
,
将
列
追
加到
新创建
的
dataframe
python
、
pyspark
、
apache-spark-sql
、
pyspark-dataframes
我正在阅读一个JSON,并且我有一个字典(Dictn),它
的
键告诉我应该从JSON df中
选择
哪些
列
。我正在尝试创建一个新
的
df,然后添加那些
列
,这些
列
的
键在JSON
中
存在,但我得到了以下内容 错误 :这方面的任何帮助都非常感谢,因为我真的是个新手。 ‘运算符!ip#238
中
缺少已解析
的
属性项目 作为ip#267
的
ip#238 .;;\n!项目 作为ip#267
的
ip#238 \n
浏览 54
提问于2019-12-29
得票数 0
回答已采纳
1
回答
pyspark
错误:'
DataFrame
‘对象没有属性'map’
apache-spark
、
spark-dataframe
、
apache-spark-2.0
我正在使用
Pyspark
2.0
通
过读取csv来创建一个
DataFrame
对象,使用:我使用以下命令找到数据
的
类型type(data)
pyspark
.sql.
dataframe
.
DataFrame
我正在尝试
将
数据
中
的
一些
列
转换为LabeledPoint,以便应用分类。from
浏览 4
提问于2016-09-08
得票数 6
1
回答
在
PySpark
DataFrames
中
,为什么__setitem__没有完全实现?
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
在
PySpark
中
,我们不能使用传统
的
熊猫或R风格
的
符号来根据
DataFrame
中
的
旧
列
来制作新
的
列
。例如,假设我试图连接两
列
:df['newcol'] = F.concat(df['col_1'], df['col_2']) 结果:T
浏览 1
提问于2016-07-28
得票数 1
回答已采纳
1
回答
'
DataFrame
‘对象不支持项分配
python
、
pandas
、
dataframe
、
pyspark
、
databricks
我
将
df作为一个
pyspark
.sql.
dataframe
.
DataFrame
导入到Databricks
中
。在这个df
中
,我有3
列
(我已经证实它们是字符串),我希望将它们连接起来。我试过先使用一个简单
的
"+“函数。因此,我试图在每一
列
后面添加.astype(str),但没有结果。最后,我尝试简单地添加另一
列
,其中满是数字5:也收到了同样
的</
浏览 1
提问于2022-12-02
得票数 0
1
回答
如何对
pyspark
dataframe
列
应用函数
python-3.x
、
dataframe
、
pyspark
我正在尝试将我
的
pandas代码转换为
pyspark
dataframe
,并尝试在
dataframe
的
一
列
上应用函数。我在pandas
dataframe
中
做了一些如下
的
事情。在操作了几个
列
值之后,
将
新
列
添
加到
pandas数据帧
中
,如下所示。return USD_amount salesData['Sales (INR)']
浏览 15
提问于2020-01-03
得票数 1
回答已采纳
1
回答
col函数如何知道我们引用
的
是哪个
DataFrame
?
python
、
scala
、
apache-spark
、
pyspark
、
apache-spark-sql
我一直对Spark
中
的
col函数感到困惑,无论是Python还是Scala。这似乎是:Python
中
的
df["zipcode"]和spark.sql.functions.col("zipcode")。让我感到困惑
的
是使用
的
最后一个用法。spark.sql.functions.col如何知道我们指的是哪一个Python
DataF
浏览 2
提问于2021-02-03
得票数 1
1
回答
如何
将
PySpark
RDD转换为具有未知
列
的
Dataframe
?
python
、
dataframe
、
pyspark
、
rdd
我是通
过从
RDD
中
的
文本文件加载数据来创建
PySpark
的
。现在,我想将这个RDD转换成一个
dataframe
,但是我不知道RDD中有多少列和
列
。现在,由于我不知道
列
是什么,所以如何
将
rdd转换为
dataframe
?到目前为止,我
的
代码如下:sqlContext = SQLContext(sc) example_rd
浏览 9
提问于2017-04-07
得票数 2
5
回答
更新spark
中
的
dataframe
列
python
、
dataframe
、
apache-spark
、
pyspark
、
apache-spark-sql
查看新
的
spark API,还不清楚是否有可能修改
DataFrame
列
。from
pyspark
.sql import functions as F update_func = (F.when(F.col('update_col.otherwise(F.col('update_col'
浏览 12
提问于2015-03-17
得票数 95
回答已采纳
1
回答
向类添加功能
的
最佳方法-
PySpark
python
、
pandas
、
dataframe
、
oop
、
pyspark
有一段时间,我在寻找如何
将
多个
列
一次重命名为一个
PySpark
DF,并遇到了如下情况:def rename_sdf(df, mapper={}, **kwargs_mapper,其中通过赋值语句
将
方法添
加到
pyspark
.
DataFrame
类
中
。问题是,我正在创建一个Github来存储我
的
所有函数和ETL,我认为如果我能够应用上面显示
的
逻辑,就可以非常容易地创建一个
浏览 6
提问于2020-07-09
得票数 1
5
回答
火花放电中柱
的
比较
python
、
apache-spark
、
pyspark
我正在开发一个包含n
列
的
PySpark
DataFrame
。我有一组m
列
(m < n),我
的
任务是
选择
其中包含最大值
的
列
。例如:col_1 = [1,2,3], col_2 = [2,1,4], col_3 = [3,2,5]col_4 = max(col1,col_2, col_3) = [3,2,5] 正如问题中所解释
浏览 7
提问于2016-06-07
得票数 29
回答已采纳
1
回答
将
向量
列
添
加到
吡咯
DataFrame
中
apache-spark
、
dataframe
、
pyspark
、
apache-spark-ml
如何
将
Vectors.dense
列
添
加到
pyspark
中
?import pandas as pdfrom
pyspark
.sql import SQLContext py_df = pd.
DataFrame
.from_dict({"time": [59., 115.
浏览 1
提问于2018-04-14
得票数 1
回答已采纳
2
回答
在
Pyspark
中将任意数量
的
列
合并为Array类型
的
新
列
python
、
pyspark
我有一个
pyspark
dataframe
,它包含N个包含整数
的
列
。某些字段也可能为空。f_2 || 1| null| null|| 3|124 |127 | +---+-----+-----+ 我想要
的
是
将
所有以f为前缀
的
列
组合成一个新
列
中
的
pyspark
数组。
中
的</e
浏览 67
提问于2020-06-18
得票数 1
回答已采纳
2
回答
从
PySpark
DataFrame
列
中
删除元素
pyspark
我知道
PySpark
DataFrames是不可变
的
,所以我想创建一个新
列
,该
列
是根据应用到
PySpark
DataFrame
的
现有
列
的
转换生成
的
。我
的
数据太大了,无法使用collect()。该
列
是唯一int列表(在给定列表
中
不重复int),例如:[1,2][2,3] 上面是一个玩具例子,因为我
的
实际
DataF
浏览 9
提问于2017-01-12
得票数 1
回答已采纳
3
回答
我可以
将
pandas数据帧转换为spark rdd吗?
pyspark
Pbm: a)读取一个本地文件到Panda
dataframe
中
,比如PD_DF。b)操纵/海量PD_DF并添加列到
dataframe
中
。c)需要使用spark
将
PD_DF写到HDFS。
浏览 0
提问于2015-04-15
得票数 4
1
回答
Databricks:如何
将
行
的
值转换为数组类型
python
、
databricks
假设我有下面的数据帧col1 a b c有什么想法吗?
浏览 16
提问于2019-11-07
得票数 0
2
回答
如何
将
前导零添
加到
pyspark
dataframe
列
pyspark
我正在尝试
将
前导零添
加到
pyspark
dataframe
中
的
一
列
输入:- ID 123 预期输出: 000000000123
浏览 17
提问于2019-09-16
得票数 5
回答已采纳
3
回答
向Spark
DataFrame
添加空
列
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
正如web上
的
中所提到
的
,向现有
DataFrame
添加新
列
并不简单。不幸
的
是,拥有这种功能是很重要
的
(尽管它在分布式环境
中
效率很低),尤其是在尝试使用unionAll连接两个
DataFrame
时。
将
null
列
添
加到
DataFrame
以简化unionAll
的
最优雅
的
解决方法是什么from
浏览 0
提问于2015-10-09
得票数 63
回答已采纳
2
回答
可以从Scala调用python函数吗?
python
、
scala
、
apache-spark
、
pyspark
、
spark-dataframe
我正在创建一个火花作业,它要求使用用python编写
的
函数
将
列
添
加到
dataframe
中
。其余
的
处理是使用Scala完成
的
。我已经找到了如何从
pyspark
调用Java/Scala函数
的
示例: 我发现用另一种方式发送数据
的
唯一例子是使用pipe。我是否可以
将
整个
dataframe
发送到python函数,让函数操作数据并添加其他
浏览 3
提问于2017-09-15
得票数 5
10
回答
如何
将
新
列
添
加到
星火
DataFrame
(使用
PySpark
)?
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
我有一个火花
DataFrame
(使用
PySpark
1.5.1),并希望添加一个新
的
列
。我尝试过以下几种方法,但都没有成功:还得到了一个错误,使用如下: my_df_spark.withColumn("hours",
浏览 13
提问于2015-11-12
得票数 179
回答已采纳
1
回答
如何
将
Sklearn SVM实现应用于使用SPARK ML计算
的
特征( Spark ML
中
缺少多类SVM )
pandas
、
apache-spark
、
dataframe
、
scikit-learn
、
pyspark
我有220 GB
的
数据。我已经将其作为两
列
读取到spark
dataframe
中
: JournalID和Text。现在,我
的
数据帧
中
缺少27行。使用NGram类,我在
dataframe
中
添加了另外两个
列
Unigram和Bigram,其中包含文本
列
中
的
单字和双字。然后,我使用一元和二元语法列上
的
pyspark
的
TF和IDF类计算T
浏览 1
提问于2018-12-17
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySaprk之DataFrame
Python开源数据分析工具TOP 3!
手把手教你做一个“渣”数据师,用Python代替老情人Excel
pandas系列学习(三):DataFrame
肝了3天,整理了90个Pandas案例
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券