腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
3
回答
如何
检查
数据
帧
中
列
的
模式
python
、
pandas
我有一个有一些id
的
dataframe,我想
检查
这些
列
值
的
模式
。下面是
列
的
外观- id:{ASDH12HK,GHST67KH,AGSH90IL,THKI86LK} 我想写一个可以区分上面
模式
中
的
字符和数字
的
代码,并显示类似'SSSS99SS‘
的
输出,如上面
列
的
模式
,其中'S’表示字符,'9‘表示nu
浏览 32
提问于2020-07-22
得票数 0
回答已采纳
3
回答
如何
处理spark sql
中
缺少
的
列
scala
、
apache-spark
、
apache-spark-sql
我们正在处理无
模式
的
JSON
数据
,有时spark作业会失败,因为我们在spark SQL
中
引用
的
一些
列
在一天
中
的
某些时间内不可用。在这些小时内,spark作业失败,因为所引用
的
列
在
数据
帧
中
不可用。
如何
处理这种情况?我尝试过UDF,但是我们缺少太多
的
列
,所以不能真正地
检查
每一
列
浏览 5
提问于2018-08-10
得票数 2
1
回答
在spark dataframe中使用forloop添加新
列
apache-spark
、
apache-spark-sql
我有一个spark
数据
帧
,它是创建
的
,dynamically.There也是一个
列
的
列表,需要从
数据
帧
中选择。 我需要遍历所需
的
列
的
列表,并
检查
dataframe
中
是否存在这些
列
。我已经尝试使用forloop和if条件,如下所示: 我
的
数据
帧
包含以下列: a.col1、a.col2、a.col3、a.col4、
浏览 26
提问于2019-05-19
得票数 0
回答已采纳
1
回答
使用pyspark在dataframe
的
模式
中进行搜索
scala
、
dataframe
、
pyspark
、
schema
我有一组
数据
帧
,dfs,具有不同
的
模式
,例如: root |-- b_cd: string例如,我想
检查
其中一
列
(这里在d_info
列
下)
中
是否给出了"oid“。
如何
在
模式
中
搜索一组
数据
帧
并区分它们。Pyspark或Scala建议都很有帮助。谢谢
浏览 11
提问于2019-10-11
得票数 1
回答已采纳
1
回答
pyspark:可以向空
的
dataframe或rdd添加行吗?
pyspark
、
spark-dataframe
我已经将
数据
帧
转换为RDD,并且正在逐行检索。在每一行上,我解析每个
列
值,如果某个特定
的
列
无效,则使用列名和值添加到字典
中
。我已经使用表
模式
创建了一个空
的
数据
帧
。是否可以将行添加到空
的
数据
<e
浏览 0
提问于2016-06-30
得票数 1
1
回答
使用更改
模式
将
数据
插入到增量表
中
scala
、
pyspark
、
databricks
如何
通过改变
数据
库
中
的
模式
将
数据
插入到增量表
中
。 在Databricks Scala
中
,我分解了一个Map
列
并将其加载到增量表
中
。我有一个预定义
的
增量表
模式
。 假设
模式
有4
列
A、B、C、D。因此,有一天,我使用下面的代码将包含4
列
的
数据
帧
加载到增量表
中
。lo
浏览 18
提问于2021-10-29
得票数 0
2
回答
火花镶嵌地板隔断移除了隔断柱
apache-spark
、
pyspark
、
parquet
如果我使用
的
是df.write.partitionby(col1).parquet(path)。
如何
避免呢?
浏览 2
提问于2021-03-16
得票数 0
2
回答
比较两个
数据
帧
中
的
列名
python
、
pyspark
、
spark-dataframe
我有两个df和data
中
的
数据
帧
。nullable = true) |-- zipcode: integer (nullable = true) 现在,我希望通过比较这两个
模式
将
列
car和van添加到我
的
data
数据
框架
中
。如果
列
相同,我也希望比较两个
数据
帧
,但如果
列
不同,则将
列</
浏览 8
提问于2017-03-09
得票数 2
回答已采纳
3
回答
如何
在pyspark
数据
框中将字符串类型
的
列
转换为int形式?
python
、
dataframe
、
pyspark
我在pyspark有
数据
帧
。它
的
一些数字
列
包含'nan‘,所以当我读取
数据
并
检查
dataframe
的
模式
时,这些
列
将具有'string’类型。
如何
将它们更改为int类型。我将'nan‘值替换为0,并再次
检查
了架构,但同时也显示了这些
列
的
字符串类型。=True, inferSchema="true") data_df
浏览 2
提问于2017-10-26
得票数 64
1
回答
将多个PySpark DataFrames与MergeSchema合并
python
、
pyspark
、
pyspark-dataframes
我想将多个PySpark
数据
帧
合并到一个PySpark
数据
帧
中
。它们都来自相同
的
模式
,但是它们可能会有所不同,因为有时会缺少一些
列
(例如,
模式
通常包含200个具有已定义
数据
类型
的
列
,其中dataFrame A有120
列
,dataFrame B有60
列
)。是否有可能在不写入和读取所有
数据
帧
的
情况
浏览 2
提问于2020-06-22
得票数 0
1
回答
合并具有不同
模式
的
两个地块文件
python
、
dataframe
、
parquet
、
databricks
我有两个拼图文件,拼花A有137
列
,拼花B有110
列
。拼图文件包含表
的
整个历史记录。因此,拼图A拥有表
的
整个历史记录
的
所有字段。拼图B是我今天拉入
的
所有值,删除了17
列
。我想把拼花A和拼花B结合起来,但它们没有相同数量
的
柱子。所以每次都会失败。 我尝试过mergeSchema,但失败了。是否可以将缺少
的
列
添加到拼接B并添加空值。那就加入工会吧?
浏览 19
提问于2018-09-06
得票数 0
4
回答
比较R
中
的
两个
数据
帧
对象是否相等?
r
、
dataframe
、
compare
、
equality
如何
检查
两个对象(例如
数据
帧
)在R
中
的
值是否相等? 所谓值相等,是指一个
数据
帧
的
每一
列
的
每一行
的
值等于第二个
数据
帧
中
相应行和
列
的
值。
浏览 3
提问于2012-05-15
得票数 57
回答已采纳
2
回答
具有特定
列
的
pandas
模式
验证
pandas
、
validation
、
schema
我有一个几乎有56
列
和120000行
的
pandas
数据
帧
。 我只想在一些列上实现验证,而不是所有
列
。我在https://tmiguelt.github.io/PandasSchema/上关注了一篇文章 当我喜欢下面的函数时,它会抛出一个错误,比如
列
数无效。架构指定2,但
数据
框有56
列
def DoValidation(self, df): null_validation = [CustomElement
浏览 6
提问于2020-01-21
得票数 2
2
回答
将空字符串替换为
列
的
模式
python
、
pandas
我有以下pandas
数据
帧
:我正在尝试将
数据
帧
的
空字符串替换为每
浏览 9
提问于2017-03-10
得票数 2
回答已采纳
2
回答
可以根据python
中
特定行
的
值来命名
数据
帧
的
列
吗?
python
、
pandas
、
dataframe
可以根据python
中
特定行
的
值来命名
数据
帧
的
列
吗?所附数字显示了我
如何
修改
数据
框架
的
一个例子: 理想输出列名应该与以下
模式
相匹配: condition3condition2、condition1和报告条件值
的
前三行应该与顶部索引一起从
数据
帧
中
删除
浏览 2
提问于2022-04-27
得票数 0
4
回答
检查
数据
帧
值
中
是否出现字符/子串
的
最简单方法是什么?
pandas
考虑一个具有'a - b‘值
的
pandas
数据
帧
。我想
检查
数据
帧
中所有值
的
任何位置是否出现'-‘,而不是循环遍历各个
列
。显然,像下面这样
的
检查
是不会起作用
的
: df.values
中
的
if '-‘ 关于
如何
检查
这个问题有什么建议吗?谢谢。
浏览 56
提问于2017-07-06
得票数 1
回答已采纳
2
回答
比较两个
数据
帧
并将结果存储在另一个
数据
帧
中
python
、
pandas
、
dataframe
、
for-loop
、
if-statement
我有两个这样
的
数据
帧
:第一个有一
列
720行(dataframe A),第二个有10
列
720行(Dataframe B)。
数据
帧
仅包含数值。我尝试这样比较它们:我想遍历
数据
帧
B
的
每一
列
,并将该
列
的
每个单元(行)与
数据
帧
A
中
的
相应行进行比较。(例如:对于
数据
帧
B
浏览 0
提问于2020-10-09
得票数 0
1
回答
如何
将不同
的
数据
帧
组合和排序为一个
数据
帧
?
apache-spark
、
pyspark
、
apache-spark-sql
给定两个
数据
帧
,这两个
数据
帧
可能具有完全不同
的
模式
,除了索引
列
(本例
中
为<code>D0</code>),例如下面的df1和df2:<code>A1</code><code>A2</code> 我
如何
将这两个
数据
帧
组合成一个如下所示
的
数据
<
浏览 18
提问于2019-03-27
得票数 0
1
回答
R-根据
数据
帧
名称
中
的
模式
组合多个
数据
帧
r
、
dplyr
、
zip
我想在全局环境
中
根据
数据
帧
名称
中
的
模式
组合
数据
帧
,同时添加原始文件
的
名称。我
的
问题是,我最初有一个zip文件,在主文件夹和子文件夹中有20多个文本文件,主要观察两个不同
的
场景:"test“和"train”。因此,我决定首先将所有的txt文件读取到R
中
,创建具有"test“或"train”
模式
的
两个不同<em
浏览 9
提问于2020-09-21
得票数 2
回答已采纳
2
回答
Spark选项: inferSchema vs header = true
csv
、
apache-spark
、
header
、
apache-spark-sql
、
schema
对
的
引用 我认为我需要.options("inferSchema" , "true")和.option("header", "true")来打印我
的
标题,但显然我仍然可以打印我
的
csv
的
标题。我真的不理解"inferSchema:自动推断
列
类型。它需要额外传递一次
数据
,默认情况下为false“
的
含义。
浏览 0
提问于2019-07-08
得票数 13
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Excel如何查找一列数据是否在另一列数据中
如何在Excel表格中快速的进行两列数据的互换?
如何把excel中多列数据组合生成条码
如何对 dataframe中的某一列数据 开根号呢?
【WPS神技能】如何判断Excel表格中的某列数据是不是在数据库中?
热门
标签
更多标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频
活动推荐
运营活动
广告
关闭
领券