腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Spark
:
在
不
创建
额外
数据
帧
的
情况下
合并
相同
数据
帧
的
列
scala
、
apache-spark
我有以下
数据
框 +--------------------+-------------------+-------------++--------------------+-------------------+-------------+ 我想要创造出这样
的
东西f |1589505016153 | +--------------------+-------------------+ 因此,我想将u
浏览 22
提问于2020-09-17
得票数 0
回答已采纳
1
回答
如何
合并
或连接
spark
中
列
号不相等
的
数据
帧
python
、
apache-spark
、
pyspark
、
apache-spark-sql
、
spark-dataframe
我正在做一个使用
spark
的
项目。
在
某些阶段,我需要在单个
数据
帧
中
合并
或连接3个
数据
帧
。这些
数据
帧
来自
spark
sql表,我使用了联合函数,它已经
合并
了两个表中具有
相同
编号
的
列
,但我也需要
合并
不相等
的
列
值。我现在很困惑,有没有办法
在
pyspark中
浏览 13
提问于2016-09-22
得票数 0
3
回答
如何从Databricks Delta表中删除
列
?
sql
、
apache-spark
、
apache-spark-sql
、
databricks
、
delta-lake
我最近开始发现Databricks,并面临需要删除增量表
的
某一
列
的
情况。当我使用PostgreSQL时,它就像DROP COLUMN metric_1; 我正在查看删除时
的
数据
库,但它只覆盖了DELETE the我也找到了关于DROP database,DROP function和DROP table
的
文档,但完全没有关于如何从增量表中删除
列
的
文档。这里我漏掉了什么?是否有从增量表中删除
浏览 4
提问于2019-01-31
得票数 12
回答已采纳
1
回答
将多个PySpark DataFrames与MergeSchema
合并
python
、
pyspark
、
pyspark-dataframes
我想将多个PySpark
数据
帧
合并
到一个PySpark
数据
帧
中。它们都来自
相同
的
模式,但是它们可能会有所不同,因为有时会缺少一些
列
(例如,模式通常包含200个具有已定义
数据
类型
的
列
,其中dataFrame A有120
列
,dataFrame B有60
列
)。是否有可能在
不
写入和读取所有
数据
帧
的
<e
浏览 2
提问于2020-06-22
得票数 0
3
回答
从csv文件向现有apache
spark
数据
帧
添加
数据
python
、
apache-spark
、
pyspark
、
spark-dataframe
我有一个
spark
dataframe,它有两
列
: name,age,如下:
数据
帧
是使用以下命令
创建
的
sqlContext.createDataFrame() 接下来我需要做
的
是从外部
的
'csv‘文件中添加第三
列
'UserId’。外部文件有几列,但我只需要包括第一<em
浏览 9
提问于2016-09-16
得票数 0
回答已采纳
1
回答
如何将名为Key
的
列
添加到多个
数据
帧
的
字典中
python
、
pandas
、
dataframe
、
dictionary
给定一个包含多个
数据
帧
的
字典。如何向每个
数据
帧
中添加一
列
,其中该df中
的
所有行都填充了键名称‘? ? 我试过这段代码: for key, df in sheet_to_df_map.items(): df['sheet_name'] = key 这段代码确实在字典内
的
每个
数据
帧
中添加了键
列
,但也
创建
了一个
额外
的
<
浏览 9
提问于2021-09-09
得票数 0
2
回答
如何
合并
列名混乱
的
两个
数据
帧
r
、
dataframe
、
merge
我有2个
数据
帧
df1和df2,它们
的
列名
相同
,但
列
号不同。如何在
不
创建
额外
的
列
/行
的
情况下
合并
为df3。
浏览 18
提问于2021-08-27
得票数 0
1
回答
如何使用Pyspark/SQL/DataFrames
SPARK
RDD来插入/删除DB2源表
数据
?
pyspark
、
apache-spark-sql
、
spark-streaming
、
pyspark-sql
我尝试运行upsert/delete命令来插入/删除DB2
数据
库源表中
的
一些值,这是DB2上
的
一个现有表。是否可以使用Pyspark/
Spark
SQL/Dataframes。
浏览 2
提问于2019-05-10
得票数 0
1
回答
类似于excel vlookup
r
、
lookup
嗨我分别有一个15年
的
天气分类日分辨率
的
数据
集,我如何组合这两个
数据
集,它们不是
相同
的
长度或分辨率> head(synoptic)
浏览 3
提问于2011-04-04
得票数 3
回答已采纳
1
回答
读取路径并加载路径中
的
数据
,并捕获
数据
帧
中
的
路径详细信息
scala
、
apache-spark
、
databricks
我正在读取多个路径,并使用以下命令加载这些路径中
的
拼图文件: val paths = List("/mnt/datamount/tmp/fldr=2345","/mnt/datamount/tmp/fldr=1234","/mnt/datamount/tmp/fldr=5678") 下面是读取命令: val readdf =
spark
.read.format("parq
浏览 19
提问于2021-03-19
得票数 0
1
回答
如何在
spark
中连接两个
数据
帧
并添加字段
scala
、
apache-spark
、
dataframe
、
merge
例如,我有两个
数据
帧
, DF1|id | value1|value2|value3|| 2 |200 |300 |400 |+----+-------+------+------+ 我想按id
合并
这两个
数据
帧
,同时将两个
数据
帧
中具有
相同
名称
浏览 19
提问于2019-03-30
得票数 1
1
回答
正在将pyspark
数据
帧
写入文本文件
apache-spark
、
pyspark
我有一个从sql server中
的
一个表
创建
的
pyspark
数据
框架,我对它做了一些转换,现在我要将它转换为动态
数据
框架,以便能够将其保存为s3存储桶中
的
文本文件。当我将
数据
帧
写入文本文件时,我将向该文件添加另一个头文件。这是我
的
动态
数据
框,将保存为文件: 2021_02_12| MT.1
浏览 0
提问于2021-04-23
得票数 0
1
回答
合并
具有不同模式
的
两个地块文件
python
、
dataframe
、
parquet
、
databricks
我有两个拼图文件,拼花A有137
列
,拼花B有110
列
。拼图文件包含表
的
整个历史记录。因此,拼图A拥有表
的
整个历史记录
的
所有字段。拼图B是我今天拉入
的
所有值,删除了17
列
。我想把拼花A和拼花B结合起来,但它们没有
相同
数量
的
柱子。所以每次都会失败。 我尝试过mergeSchema,但失败了。是否可以将缺少
的
列
添加到拼接B并添加空值。那就加入工会吧?
浏览 19
提问于2018-09-06
得票数 0
1
回答
在
spark
中处理json文件
json
、
apache-spark
、
apache-spark-sql
在
spark
-scala中,我需要使用嵌套结构
的
json文件来
创建
数据
帧
我有一个具有复杂嵌套结构
的
json输入。每天都有可能一些键在任何记录上都不可用(键是可选
的
),键
的
.some可能不会出现在day1上,可能会出现在day2中,但我希望得到一个通用
的
输出,其中所有
列
都期望inspite键缺失。我不能使用withcolumn函数并应用默认值,因为如果键出现在某一天,相应
的</e
浏览 1
提问于2019-10-01
得票数 0
1
回答
如何在csv
数据
仓库中添加拖车/页脚
pyspark
、
azure-blob-storage
、
azure-databricks
我有这样
的
解决方案因此,我以"","","".....
的
形式添加了其余
的
47
列
,这样我就可以
合并
2
数据
格式了:如果我想存钱 df3.coalesce(1).write.fo
浏览 3
提问于2021-08-06
得票数 1
1
回答
Databricks:将
数据
帧
合并
到Azure synapse表中
databricks
、
azure-synapse
我们有没有办法将
数据
帧
合并
到Azure Synapse
的
表中??我为datarame.write.mode()找到了什么 仅允许追加和覆盖...周围有什么工作吗?
浏览 1
提问于2020-12-01
得票数 1
1
回答
Spark
- Naive贝叶斯分类器值错误
apache-spark
、
apache-spark-mllib
在
训练朴素贝叶斯分类器时,我遇到了以下问题。我得到了这个错误: File "/home/juande/Desktop/
spark
-1.3.0-bin-hadoop2.4/python/pyspark/mllib /classification.py
浏览 0
提问于2015-04-22
得票数 1
1
回答
为什么"groupBy agg count alias“
不
创建
新
列
?
apache-spark
、
hadoop
、
apache-spark-sql
alias("count")) .limit(3)它在以下行失败:.orderBy(df("count").desc),说明没有这样
的
列
浏览 2
提问于2018-11-08
得票数 0
1
回答
组合不同
列
数
的
Spark
数据
帧
pyspark
、
bigdata
、
rdd
在
this问题中,我问过如何组合具有不同
列
数
的
PySpark
数据
帧
。给出
的
答案要求每个
数据
帧
必须具有
相同
的
列
数才能将它们全部
合并
: from pyspark.sql import SparkSession .appName
浏览 13
提问于2021-06-28
得票数 1
回答已采纳
1
回答
两个
数据
帧
火花连接操作
pyspark
、
pyspark-dataframes
当df1和df2具有
相同
的
行并且join操作df1.join(df2)
的
复杂度是多少?是否有可能对两个
数据
帧
进行排序并使其具有更好
的
性能?
浏览 0
提问于2019-09-20
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
pandas系列学习(五):数据连接
将多个Excel工作表合并到一个Pandas数据帧中
一文教会你使用Matplotlib绘图
这样做能让你的 pandas 循环加快 71803 倍
HTTP1.0、HTTP1.1、HTTP2.0的关系和区别-JAVA成长之路
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券