腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
在
Pyspark
中
使用
空
数组
筛选
列
python
、
apache-spark
、
pyspark
、
apache-spark-sql
令人惊讶的是,以下代码对非
空
数组
有效,但对空
数组
无效 import
pyspark
.sql.types as T is_apples = F.udf(lambda arr: arr == ['Apples
浏览 8
提问于2021-01-11
得票数 3
1
回答
Pyspark
使用
.filter()过滤掉
空
列表
python-2.7
、
filter
、
pyspark
、
pyspark-sql
我有一个
pyspark
dataframe,其中一
列
填充了列表,要么包含条目,要么只包含
空
列表。我想高效地过滤掉所有包含
空
列表的行。import
pyspark
.sql.functions as sf也许为了清楚起见,我有多个
列
,但想要在单个列上
浏览 17
提问于2017-02-24
得票数 7
回答已采纳
2
回答
派火花:
使用
过滤器进行特征选择
python
、
apache-spark
、
pyspark
使用
pyspark
中
的
筛选
器操作,我想选择
列
,这些
列
列
在
第一行. Ex: if的另一个
数组
中
。然后选择
列
1、2和3以及所有行。这可以用filter命令来完成吗?
浏览 1
提问于2015-06-15
得票数 1
回答已采纳
2
回答
在
pyspark
DataFrame
中
创建某个类型的
空
数组
列
python
、
dataframe
、
apache-spark
、
pyspark
我尝试向df添加一个包含字符串
数组
的
空
数组
的
列
,但最终添加了一个字符串
数组
的
列
。我试过这个: import
pyspark
.sql.functions as F df = df.withColumn('newCol', F.array([])) 我如何在
pyspark
中
做到这一点?
浏览 91
提问于2019-08-28
得票数 9
回答已采纳
3
回答
将
PySpark
数据过滤为数据格式列表
python
、
dataframe
、
apache-spark
、
pyspark
、
filter
我有一个
PySpark
数据格式,我想根据某些
列
中
的唯一值进行
筛选
。from
pyspark
.sql import SparkSession # Operation I want to replicate in
PySpark
r
浏览 15
提问于2022-07-13
得票数 1
2
回答
检查
数组
字段是
空
还是
空
?
sql
、
snowflake-cloud-data-platform
在
雪花中,如何
筛选
列
中
的
空
或
空
数组
字段?谢谢
浏览 3
提问于2021-06-25
得票数 1
回答已采纳
2
回答
如何在火花放电
中
创建
空
结构?
pyspark
我正试图
在
pyspark
中
创建
空
的struct
列
。对于
数组
,这可以工作。import
pyspark
.sql.functions as F但这给了我一个错误。
浏览 4
提问于2021-09-21
得票数 2
1
回答
火花
筛选
器选择最大值
pyspark
、
filter
我有一个日期
列
,
列
类型为"string“。它有多个日期和每个日期的几行数据。.filter(raw.as_of_date == max(as_of_date) 请建议如何将
列
类型从字符串转换为日期,如何编码以选择最大日期,以及为什么
浏览 4
提问于2022-11-30
得票数 0
回答已采纳
3
回答
根据
列
值是否等于Spark
中
的列表进行过滤
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我正在尝试根据
列
中
的值是否等于列表来过滤Spark数据帧。
浏览 1
提问于2016-03-25
得票数 13
回答已采纳
3
回答
基于给定输入
数组
的数据帧
中
的
筛选
数组
列
python
、
pandas
、
apache-spark
、
pyspark
、
pyspark-dataframes
Physics"]我想找到所有主修物理、数学的学生,所以输出应该有2行-- Alex,Samfrom
pyspark
.sql.functionsimport array_contains student_df =array_contains(student_df.Speciality, a))
浏览 3
提问于2020-03-24
得票数 1
回答已采纳
1
回答
Spark DataFrame ArrayType或MapType用于检查
列
中
的值
python-2.7
、
apache-spark
、
pyspark
、
apache-spark-sql
、
pyspark-sql
我有一个,其中一
列
是is列表。例如,我想获取其中包含特定ID的行数。但是,要
使用
映射,我需要
使用
自定义udf而不是内置(scala)函数array_contains进行
筛选
。有了MapType,我可以做到: from
pyspark
.sql.t
浏览 1
提问于2018-10-30
得票数 2
回答已采纳
1
回答
通过文本文件将NULL插入为DB null
pyspark
、
hive
、
null
、
dbnull
同时,将文本文件从、
pyspark
、、shell插入到组表。如果我查询单元表,只能
使用
筛选
条件= 'NULL'而不是is null重试记录。有谁能建议如何将数据作为DB NULLS插入表
中
?
浏览 2
提问于2020-05-26
得票数 0
回答已采纳
1
回答
我怎样才能对一行与对一组呢?
apache-spark
、
pyspark
、
databricks
我怎样才能将每一行的元素对成组呢?1 'A' 451 'C' 12 'F' 6如果他们有相同的“身份”,我想成对。1 'A','B' 45,32 1 'B','C' 3
浏览 2
提问于2022-03-22
得票数 1
回答已采纳
1
回答
PySpark
数组
列
的StructType -列上的过滤器
pyspark
我正在考虑显式地检查所有应该非
空
的
列
,因为from_json将强制为
空
。我可以
在
语句和选中col("col1").isNull()或col("col2").isNull()然后选中"InValid“时编写一个大小写。expr(‘filter(选择),=
浏览 5
提问于2022-06-21
得票数 0
2
回答
在
Pyspark
中将任意数量的
列
合并为Array类型的新
列
python
、
pyspark
我有一个
pyspark
dataframe,它包含N个包含整数的
列
。某些字段也可能为
空
。+-----+-----+| 2|123 | null|+---+-----+-----+ 我想要的是将所有以f为前缀的
列
组合成一个新
列
中
的
pyspark
数组
。features_filtered = features.select(F.concat(* features.columns[
浏览 67
提问于2020-06-18
得票数 1
回答已采纳
2
回答
在
PySpark
中
使用
空
数组
过滤行
apache-spark
、
pyspark
、
apache-spark-sql
我们试图
使用
PySpark
筛选
字段
中
包含
空
数组
的行。UDF并
使用
它排除df.select(empty_array_to_null(df.user_mentions))
中
的行。另一种方法是具有以下UDF: is_empty = udf(lambda x: len(x
浏览 3
提问于2017-03-23
得票数 14
1
回答
PYSPARK
:-
在
不丢失null值的情况下分解dataframe
中
的
数组
:“DataFrame”对象没有属性“_get_object_id”
python
、
python-3.x
、
pyspark
、
pyspark-sql
调用下面的对象时出错是
在
不丢失
空
值的情况下分解dataframe
中
的
数组
,但在调用
列
时我得到错误,说对象没有属性‘_ code.This _ object _id’。需要帮助,在其他方式调用
列
,可以工作。from
pyspark
.sql import SparkSessionfrom
pyspark
.sql import Row from
pyspark</e
浏览 2
提问于2018-07-05
得票数 2
1
回答
Pyspark
:行内
数组
的过滤内容
arrays
、
python-2.7
、
apache-spark
、
pyspark
在
Pyspark
中
,可以
使用
以下代码对
数组
进行
筛选
:但是,我从json文件
中
读取数据并将其标记化。现在它有以下形式: df=[Row(text=u"i have some text", words=[u'I', u'have', u"some'", u'text
浏览 4
提问于2017-06-01
得票数 2
回答已采纳
1
回答
pyspark
中
的to_json包含
空
值,但我需要
空
值作为
空
python
、
struct
、
pyspark
、
azure-databricks
、
to-json
我正在
使用
pyspark
中
的to_json将dataframe
中
的结构
列
转换为json
列
,但是
在
json
中
忽略了少数结构字段
中
的
空
值,我不希望这些
空
值被忽略。
浏览 6
提问于2020-10-14
得票数 0
1
回答
VBA:从具有超过X的
空
值的
数组
中
删除行
arrays
、
excel
、
vba
、
row
、
missing-data
我有一个动态
数组
(n,m),它获取从一个范围分配的值。 Dim CFarr() As Variant CFarr() = ws_src_CF.Range(ws_src_CF.Cells(ref2, 1), ws_src_CF.Cells
浏览 2
提问于2019-03-22
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
在VBA中如何使用动态数组,以及利用动态数组去除重复值的方法
一文读懂PySpark数据框
一文读懂 PySpark 数据框
在df的一列中 有None和Nan 我想把这些空值都填充为-1 应该怎么操作呢
Excel–各种带条件花式查找,用filter函数就对了
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券