腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
pyspark
:
在
连接
期间
通过
dataframe
引用
列
apache-spark
、
pyspark
、
apache-spark-sql
我正在尝试
连接
两个这样的
pyspark
数据帧 joined = df.join(df1,on=["date"],how='left').select([col('df.'daily_net_payment_avg')]) 但它会导致 An error was encountered: "cannot resolve '`df.cust_no`' given input columns: 在我看来,我不能
通过
它们的数据帧/表名<em
浏览 15
提问于2021-04-17
得票数 0
回答已采纳
1
回答
在
PySpark
DataFrames中,为什么__setitem__没有完全实现?
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
在
PySpark
中,我们不能使用传统的熊猫或R风格的符号来根据
DataFrame
中的旧
列
来制作新的
列
。例如,假设我试图
连接
两
列
:df['newcol'] = F.concat(df['col_1'], df['col_2']) 结果:TypeError: '
DataFrame
' obje
浏览 1
提问于2016-07-28
得票数 1
回答已采纳
1
回答
使用类似的
PySpark
连接
数据格式
dataframe
、
apache-spark
、
pyspark
我尝试使用LIKE表达式
连接
dataframes,其中条件(LIKE的内容)存储
在
列
中。
在
PySpark
2.3中有可能吗?Source
dataframe
:|firstname|middlename|| James|让我们创建一个示例
dataframe
: from
pyspark
.sql.types import StructType,StructF
浏览 2
提问于2022-11-24
得票数 0
1
回答
如何
连接
Pyspark
中的特定
列
python
、
pandas
、
pyspark
在
pandas中,
Pyspark
中特定
列
连接
由以下代码执行: datamonthly=datamonthly.merge(df[['application_type','msisdn','periodloan']],how='left',on='msisdn') 我使用
Pyspark
尝试了类似的逻辑 datamonthly = datamonthly.join(datalabel ,
浏览 13
提问于2021-08-30
得票数 1
回答已采纳
1
回答
如何将电火花
列
(
pyspark
.sql.column.Column)转换为火花放电数据?
apache-spark
、
pyspark
、
apache-spark-sql
我有一个用例来映射基于条件的
pyspark
列
的元素。
通过
这个文档,我找不到一个函数来执行映射函数。因此,尝试使用
pyspark
映射函数,但无法将
pyspark
列
转换为
dataFrame
# like column.map(lambda x: __valid_date(x)) _spark函数参数从库中传
浏览 4
提问于2021-11-19
得票数 0
回答已采纳
1
回答
创建一个新
列
,详细说明一个
PySpark
数据row中的行是否与另一
列
中的一个行匹配。
python
、
dataframe
、
apache-spark
、
pyspark
我想要创建一个函数,该函数从
PySpark
中的左联接创建一个新
列
,详细说明一个
列
中的值是否匹配或不匹配另一个
dataframe
逐行的
列
。例如,我们有一个
PySpark
dataframe
(d1)具有
列
ID和名称,另一个
PySpark
dataframe
(d2)具有相同的
列
- ID和Name。我试图创建一个
连接
这两个表的函数,并创建一个新
列
,如果两个数据文件中存
浏览 3
提问于2021-12-11
得票数 0
1
回答
熊猫数据索引& loc
python
、
pandas
有一个名为DFF的Pandas
Dataframe
,如下所示:SalesOrder SOItem SLNo names=['SalesOrder', 'SOItem', 'SLNo']) 还有另一个名为SDD的Pandas
Dataframe
我
在
Pyspark
中获得
浏览 12
提问于2022-11-30
得票数 -3
1
回答
'
DataFrame
‘对象不支持项分配
python
、
pandas
、
dataframe
、
pyspark
、
databricks
我将df作为一个
pyspark
.sql.
dataframe
.
DataFrame
导入到Databricks中。在这个df中,我有3
列
(我已经证实它们是字符串),我希望将它们
连接
起来。df["fullname"] = df["firstname"] + df["middlename"] + df["lastname"] 但是我一直收到错误"'
DataFrame
‘对象不支持项分配“。因此,我试图
浏览 1
提问于2022-12-02
得票数 0
1
回答
如何在
pyspark
中解压list类型的
列
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我
在
pyspark
中有一个
dataframe
,df有一个数组字符串类型的
列
,所以我需要生成一个包含列表头部的新
列
,还需要包含尾列表
连接
的其他
列
。这是我的原始数据帧:
pyspark
> df.show()| id| lst_col|| 1|[a, b, c,d]|
pyspark
> df.pri
浏览 29
提问于2020-01-24
得票数 0
回答已采纳
1
回答
col函数如何知道我们
引用
的是哪个
DataFrame
?
python
、
scala
、
apache-spark
、
pyspark
、
apache-spark-sql
spark.sql.functions.col如何知道我们指的是哪一个Python
DataFrame
?我们只是传递
列
的名称。
浏览 2
提问于2021-02-03
得票数 1
1
回答
向类添加功能的最佳方法-
PySpark
python
、
pandas
、
dataframe
、
oop
、
pyspark
有一段时间,我
在
寻找如何将多个
列
一次重命名为一个
PySpark
DF,并遇到了如下情况:def rename_sdf(df, mapper={}, **kwargs_mapper): # return something 我对最后一段感兴趣,其中
通过
赋值语句将方法添加到<
浏览 6
提问于2020-07-09
得票数 1
3
回答
向Spark
DataFrame
添加空
列
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
正如web上的 中所提到的,向现有
DataFrame
添加新
列
并不简单。不幸的是,拥有这种功能是很重要的(尽管它在分布式环境中效率很低),尤其是
在
尝试使用unionAll
连接
两个
DataFrame
时。将null
列
添加到
DataFrame
以简化unionAll的最优雅的解决方法是什么from
pyspark
.sql.types import StringType from
pyspark
.sql.functions
浏览 0
提问于2015-10-09
得票数 63
回答已采纳
2
回答
为什么
在
带有1行的
DataFrame
上收集()使用2000执行器?
python
、
apache-spark
、
pyspark
、
hadoop-yarn
、
distributed
这是我能想到的最简单的
DataFrame
。我使用的是
PySpark
1.6.1。(1, 2) ]df = sqlContext.createDataFrame(rows, cols)df.collect()[Stage 2:============================
浏览 5
提问于2016-06-21
得票数 5
回答已采纳
1
回答
我必须遵守
pyspark
sql中的命令顺序吗?
python
、
pyspark-sql
我正在学习
pyspark
sql,我不确定函数的顺序是否必须是下一个?
在
何处指定此顺序? 我检查了,但它没有提到任何关于尊重命令顺序的内容。
浏览 2
提问于2019-09-18
得票数 0
1
回答
Pyspark
:如何在
dataframe
列为NULL的两列上保留联接
dataframe
和
dataframe
pyspark
、
apache-spark-sql
我正在为每日增量加载过程编写一个脚本,使用
Pyspark
和一个Hive表,该表最初已经装载了数据。我一直试图
通过
左侧创建一个UC
dataframe
,将INC
dataframe
和BASE
dataframe
连接
到两个PK
列
src_sys_id & acct_nbr上,其中INC
dataframe
fleet_acct_nbr"),"left_outer").filter(inc_df("*")
浏览 4
提问于2022-03-03
得票数 0
1
回答
pyspark
错误:'
DataFrame
‘对象没有属性'map’
apache-spark
、
spark-dataframe
、
apache-spark-2.0
我正在使用
Pyspark
2.0
通过
读取csv来创建一个
DataFrame
对象,使用:我使用以下命令找到数据的类型type(data)
pyspark
.sql.
dataframe
.
DataFrame
我正在尝试将数据中的一些
列
转换为LabeledPoint,以便应用分类。from
pyspark
.sql.types import *
浏览 4
提问于2016-09-08
得票数 6
2
回答
先读取拼板文件,将新
列
添加到数据帧中
python
、
apache-spark
、
pyspark
、
apache-spark-sql
假设有一个包含多个
列
的
dataframe
,它看起来像这样(我省略了不必要的
列
):|path中的一些拼花文件,它只有一行,结构如下:|value ||some value |我如何读取这些文件并将一
列
(2020-05-14/bla2bla.parq|bla blah | +----------------------------
浏览 3
提问于2020-05-18
得票数 1
回答已采纳
1
回答
PySpark
动态
连接
条件
join
、
dynamic
、
pyspark
、
conditional-statements
我有PK
列
的列表。我
在
存储主键,因为每个表的主键数可能会发生变化。我想根据pk_list中的
列
连接
两个数据帧。当我运行代码时,我会得到以下错误:
在
join/yarn/usercache/root
浏览 0
提问于2018-12-07
得票数 2
1
回答
从另一个
DataFrame
向
Pyspark
DataFrame
添加
列
python
、
apache-spark
、
pyspark
两个
Pyspark
Dataframe
都从csv文件中读取。 如何在df_e中创建一个名为" amount“的新
列
,它从df_e中
引用
每条记录的名称和年值,并从df_p中获取相应的金额?使用
Pyspark
。编辑: 下面是我读取文件的方式: from
pyspark
import SparkContext, SparkConf from
pyspark
.sql import SparkSession对于熊猫,我会
通过
迭代
D
浏览 14
提问于2020-12-05
得票数 0
回答已采纳
1
回答
连接
3种数据的困难--电火花
python
、
pyspark
org.apache.spark.sql.AnalysisException:
引用
'lab_key‘是模棱两可的,可以是: lab_key#1648,lab_key#1954。我试图获得一个
列
的数据,如:Col 2:框架Col 4: res 你能帮我加入这三个数据帧吗?
浏览 1
提问于2018-02-12
得票数 3
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySaprk之DataFrame
Python开源数据分析工具TOP 3!
遇见YI算法之初识Pyspark(二)
我用Rust徒手重写了一个Spark,并把它开源了
大数据下Python的三款大数据分析工具
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券