腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Pyspark
:
有条件
地
连接
带有
空格
的
列
python
、
pyspark
如果是,我需要按原样返回我
的
df。如果不是,我应该将那些不同
的
附加到我
的
ColA中。因此,在这个场景中,我们有不一致
的
B
列
,我
的
结果表应该如下所示: ColA | ColB | ColC | ColD return df return df 我有这个is
浏览 12
提问于2020-10-07
得票数 0
回答已采纳
1
回答
将列
有条件
地
添加到数据帧中
python
、
apache-spark
、
dataframe
、
pyspark
、
multiple-columns
我在
PySpark
中有一个数据帧。我想
有条件
地
在数据框架中添加一
列
。 如果数据帧没有
列
,那么添加一个
带有
null值
的
列
。如果
列
存在,则不执行任何操作,并返回与新数据帧相同
的
数据帧。如何在
PySpark
中传递条件语句
浏览 6
提问于2017-01-20
得票数 0
回答已采纳
1
回答
从多个火花柱(具有特定条件)到一个组合了所
有条件
的
柱。
PYSPARK
pyspark
、
pyspark-sql
我有一个Python列表,其中包含一些包含某些条件
的
PySpark
列
。我只想有一个
列
,它总结了
列
列表中
的
所
有条件
。my_condition_list =.isNotNull(C) some_of_my_sdf_columns中c
的
.isNotNull() 这将返回不同
Pyspark
列
的</
浏览 4
提问于2019-06-12
得票数 0
1
回答
如何在
pyspark
中写入csv文件时为
列
保留数据中
的
空格
(4space)
string
、
csv
、
apache-spark
、
pyspark
、
apache-spark-sql
我有一个
带有
一条记录
的
输入csv文件。当我在
pyspark
中读取文件时,dataframe分别有三
列
a、b、c。A和c有数据,b有4个
空格
的
数据。将文件写入csv时,4个
空格
的
数据丢失,它将以空字符串
的
形式写入文件。aaaa, , bbbbaaaa,"", bbbb 如何按原样保留这4个空间
的
数据?
浏览 19
提问于2020-02-20
得票数 0
1
回答
用复变函数更新
列
json
、
apache-spark
、
dataframe
、
hive
、
pyspark
是否可以使用一个复杂
的
函数更新hiveContext数据
列
? 我有一个包含许多
列
的
dataframe,其中2
列
称为时间戳和数据。我需要从数据中
的
JSON字符串中检索时间戳,如果数据中
的
时间戳满足某些条件,则需要更新时间戳
列
。我知道该数据格式是不可变
的
,但是可以以某种方式构建一个新
的
dataframe,保留旧
的
dataframe
的
所有
列
,但更新时间戳
列</e
浏览 7
提问于2016-05-10
得票数 1
回答已采纳
3
回答
正则表达式- Python -删除前导
空格
python
、
regex
我在文本文件中搜索
带有
正则表达式
的
单词Offering。然后,我使用该搜索
的
起始点和结束点向下查找
列
并提取整数。有些实例(A
列
)有我不想要
的
前导
空格
。我只想打印数字(可以在B
列
中找到)到一个文件中,没有前导
空格
。正则表达式中
的
正则表达式?
有条件
的
? price = re.search(r'(^|\s)off(er(ing)?)?'
浏览 0
提问于2011-09-23
得票数 4
回答已采纳
1
回答
如何为HIVE/
PySpark
表中
的
每一
列
获取唯一值?
hive
、
pyspark
、
pyspark-sql
我有一张
带有
A、B和C
列
的
HIVE/
PySpark
的
桌子。我想为每一
列
获得唯一
的
值,如任何格式(数据、表格等) 如何在或
PySpark
中高效
地
执行这个(与每个
列
并行)?我现在
的
方法是分别为每一
列
做这件事,因此花费了很多时间。
浏览 0
提问于2018-07-18
得票数 0
回答已采纳
3
回答
删除
pyspark
中所有列名中
的
空格
pyspark
我是
pySpark
的
新手。我收到了一个csv文件,大约有1000
列
。我正在使用databricks。大多数这些
列
之间有
空格
,例如“总收入”,“总年龄”等。我需要更新所有的列名与
空格
下划线‘_’。我已经试过了但它在databricks上
的
Pys
浏览 1
提问于2019-08-02
得票数 1
1
回答
如何将
PySpark
(本地机器)
连接
到电子病历集群?
apache-spark
、
amazon-ec2
、
pyspark
、
emr
我已经部署了一个
带有
Apache
的
3节点AWS ElasticMapReduce集群。访问
PySpark
。此外(尽管不安全),我已经将主节点
的
安全组配置为专门在端口7077上从本地机器
的
IP地址接受TCP流量。但是,我仍然无法将本地
PySpark
实例
连接
到集群:上面的命令会导致许多
浏览 2
提问于2016-12-01
得票数 10
回答已采纳
2
回答
查询选择
带有条件
的
计算
列
sql
、
select
、
firebird
我需要在
有条件
的
SELECT查询中创建一个
列
。就像这样:FROM CRM 因此,SELECT中
的
第三个参数是
带有条件
的
计算
列
我相信这很简单,但我并没有成功
地
解决这个问题。
浏览 3
提问于2017-10-31
得票数 1
回答已采纳
4
回答
如何在Spark中压缩两个数组
列
python
、
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
我有潘达
的
数据。我尝试将包含字符串值
的
两个
列
连接
到一个列表中,然后使用zip将列表中
的
每个元素都用'_‘
连接
起来。我
的
数据集如下:df['column_2']: '1.0, 2.0, 3.0' 我想将这两
列
连接
到第三
列
中,如下所示,我
的
每一行数据
浏览 2
提问于2019-01-21
得票数 9
回答已采纳
3
回答
重命名火花python中
的
dataframe
列
python-3.x
、
apache-spark
、
pyspark
、
databricks
我有一个
带有
标题
的
CSV,我想将其保存为Parquet (实际上是一个delta表)from
pyspark
.sql.functions import * df = spark.read.option("header", True).optiondf2 = df.withColumnRenamed(name,regexp_
浏览 0
提问于2020-06-24
得票数 1
回答已采纳
1
回答
如何在将数据从Teradata加载到Databricks时避免空白
jdbc
、
pyspark
、
teradata
、
databricks
在将Teradata驱动程序
连接
参数设置为CHARSET =‘UTF8 8’后,我遇到了一个
空格
问题。/server-name:server-port/database-server-name,TMODE = ANSI,CHARSET =‘UTF8 8’,COLUMN_NAME = ON谁能给我提供替代方案,而不是使用trim在
浏览 7
提问于2022-01-05
得票数 0
1
回答
pySpark
3.0如何裁剪所有
列
的
空格
[复制]
apache-spark
、
pyspark
、
apache-spark-sql
这个问题在这里已经有答案了 : 在
Pyspark
Dataframe中修剪 (3个答案) 3天前就关门了。 对于此数据帧:如何修剪循环中每
列
的
所有前导
空格
和尾随
空格
?, ) df.show(5) 我知道如何通过如下方式指定每一
列
,但需要对循环中
的
所有
列
执
浏览 19
提问于2021-02-26
得票数 0
回答已采纳
2
回答
如何将dataframe转换为一个文本文件?
apache-spark
这个表有各种数据类型
的
数据。我试图将其保存为文本文件,但得到了一个错误:文本数据源只支持单个
列
,并且有5
列
。 我
的
要求是创建一个文本文件,如下所示。
浏览 3
提问于2021-02-09
得票数 0
2
回答
PySpark
错误: AnalysisException:‘无法解析列名
apache-spark
、
exception
、
pyspark
我正在尝试将整个df转换为单个向量
列
,使用我被抛出了这个错误: File "/usr/hdp/current/spark2-client/python/
pyspark
/sql/utils.py", line 69, in deco raise AnalysisException(s.split(': ',
浏览 0
提问于2019-04-01
得票数 7
2
回答
pyspark
: dataframe头部转换
python
、
dataframe
、
apache-spark
、
replace
、
pyspark
我正在将csv加载到
pyspark
dataframe中。我正在尝试删除
列
标题中
的
空格
和更多特殊字符,如"(",")“和"/”。 我可以删除
列
标题中
的
空格
,如下所示。它只删除
列
中
的
空格
,而不删除特殊字符。 我试了一下,它起作用了。df.withColumnRenamed(col,col.replace(" ", "").repl
浏览 63
提问于2020-12-15
得票数 0
回答已采纳
1
回答
改变数据
的
位置
python
、
pandas
、
dataframe
我很抱歉问了这么一个基本
的
问题,但我在这个问题上已经被困了一个星期了。我有下面的dataframe,name
列
中有异常,但是我已经能够使用下面的代码修复其中
的
一部分 names = ['a', 'an', 'my', 'by', 'mad', 'very', 'just'& archive['text'].str.contains('named')][
浏览 4
提问于2022-08-20
得票数 0
回答已采纳
1
回答
在jqgrid窗体编辑中单击viewPagerButtons重新创建窗体
jquery
、
jqgrid
我使用
的
是jqgrid表单编辑,在其中我必须在单击viewPagerButtons按钮时重新创建编辑表单。因为我使用行值动态
地
设置editable:false,所以我必须在行
的
每一个编辑上重新创建表单。 当单击行并单击“编辑”时,将重新创建窗体。
浏览 5
提问于2014-08-26
得票数 0
回答已采纳
3
回答
如何在
Pyspark
中替换dataframe
的
所有空值
dataframe
、
null
、
pyspark
我在
pyspark
中有一个超过300
列
的
数据框架。在这些
列
中,有一些
列
的
值为null。_2null null125 124and so on 当我想对column_1求和时,我得到
的
结果是一个空值现在,我想用
空格
替换数据框所有
列
中
的
null。所以当我尝试对这些
列
求和时,我不会得到空值,但我会得到
浏览 1
提问于2017-02-18
得票数 56
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
8个数据清洗Python代码,复制可用,最长11行
一文读懂PySpark数据框
一文读懂 PySpark 数据框
人生苦短,我用python之入门篇-3
遇见YI算法之初识Pyspark(二)
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券