腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
Pyspark
:
如果
列
包含
来自
另一
列
的
字符串
,
则
过滤
数据
帧
(
SQL
LIKE
语句
)
python
、
apache-spark
、
pyspark
、
sql-like
我正在尝试用以下方式
过滤
我
的
pyspark
数据
框:我有一个
包含
long_text
的
列
和一个
包含
数字
的
列
。
如果
长文本
包含
我想要保留
的
列
的
number。我正在尝试使用
SQL
LIKE
语句
,但似乎不能将其应用于
另一
列
(这里是number)我<em
浏览 10
提问于2019-02-25
得票数 9
回答已采纳
1
回答
从RDD中
的
单词中筛选火花
数据
中
的
行
python
、
regex
、
apache-spark
、
pyspark
、
spark-dataframe
我有以下命令,words.txt有一堆单词,
数据
有三个
字符串
列
来自
table_name。现在,每当words.txt中
的
每个单词
的
单词模式出现在
数据
的
三
列
中
的
任何
浏览 9
提问于2016-08-21
得票数 5
1
回答
Pyspark
数据
帧
过滤
语法错误
pyspark
、
pyspark-sql
我正在使用
Pyspark
版本1.6处理
Pyspark
数据
帧
。在将此
数据
框导出到.CSV文件之前,我需要根据特定条件对特定
列
使用
LIKE
和OR运算符
过滤
数据
。为了向您介绍我到目前为止所做
的
工作,我从多个.JSON文件创建了初始
数据
帧
。此
数据
框已子集,因此仅
包含
所需
的
列
。然后创建了一个sqlContext临时表。到
浏览 0
提问于2017-07-27
得票数 0
回答已采纳
1
回答
跨多
列
搜索子
字符串
apache-spark
、
pyspark
我正在尝试使用
PySpark
在spark
数据
帧
的
所有
列
中查找一个子
字符串
。我目前知道如何使用filter通过一
列
搜索子
字符串
,并且
包含
: df.filter(df.col_name.contains('substring')) 如何扩展这条
语句
或利用
另一
条
语句
在多个
列
中搜索子
字符串
匹配
浏览 21
提问于2019-10-17
得票数 0
回答已采纳
1
回答
从
PySpark
中
的
复杂
列
中提取值
apache-spark
、
pyspark
、
apache-spark-sql
我有一个
PySpark
数据
帧
,它有一个复杂
的
列
,请参考下列值:1 [{"label":"animal","value":"cat"},{"label":null,"value":"George"}] 我想在
PySpark
dataframe中添加一个新
列
,它基本上将它转换为一个
字符串
列表。
浏览 0
提问于2021-02-09
得票数 0
1
回答
如何将spark dataframe中
的
String类型
列
转换为Pandas dataframe中
的
String类型
列
pandas
、
apache-spark
、
pyspark
我有一个从熊猫
数据
帧
创建
的
样本spark
数据
帧
-from
pyspark
.
sql
.types import StringType import pandas
浏览 3
提问于2020-09-09
得票数 0
1
回答
如果
包含
字符串
列表,
则
过滤
pyspark
dataframe
python-3.x
、
pyspark
假设我们有一个
pyspark
数据
帧
,其中一
列
(column_a)
包含
一些
字符串
值,还有一个
字符串
列表(list_a)。
数据
帧
:some_string | 10third_string | 30['string我想
过滤
这个
数据
帧
,只有当column_a
浏览 0
提问于2019-10-01
得票数 5
回答已采纳
2
回答
在中
过滤
数组
python
、
pandas
、
apache-spark
、
pyspark
、
apache-spark-sql
火花版本: 2.3.0 Array Col['strawberry', 'raspberry'] ['apple', '
浏览 3
提问于2021-10-01
得票数 1
回答已采纳
1
回答
从
pyspark
dataframe中
的
列
返回字母数字值
python-3.x
、
pyspark
、
apache-spark-sql
、
pyspark-dataframes
我有一个
pyspark
数据
帧
df。它有2
列
,类似于下面显示
的
示例输入。我想创建一个新
的
输出
数据
帧
,其中
包含
一个新
列
'col3‘,该
列
只
包含
来自
col2中
字符串
的
字母数字值。我尝试过使用spark
sql
和 regexp_extract('('+col1+')',
浏览 0
提问于2021-02-15
得票数 0
9
回答
类
Pyspark
数据
帧
运算符
pyspark
、
spark-dataframe
在
Pyspark
中,
LIKE
运算符
的
等价物是什么?例如,我想这样做:寻找像这样简单
的
东西(但这不起作用): df.select('column').where(col('column').
like
("*s*")).show()
浏览 0
提问于2016-10-24
得票数 33
3
回答
当值与
pyspark
中
的
字符串
的
一部分匹配时,
过滤
df
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我有一个很大
的
pyspark
.
sql
.dataframe.DataFrame,我想保留(所以filter)保存在location
列
中
的
所有行,其中
的
URL
包含
预先确定
的
字符串
,例如'google.com我试过了:df.filter(sf.col('location').contains('
浏览 2
提问于2017-01-27
得票数 66
回答已采纳
2
回答
选择只有
列
的
最后3个数字
的
位置。我该如何从那张桌子中选择?
sql-server
我需要从表中名为cGLsubaccount
的
列
中进行选择,该
列
中
的
数字是9个数字长(例如010009143)。我遇到
的
问题是,我有一个
字符串
,它
包含
来自
另一
个表
的
结果集,并且
字符串
每个
包含
3个数字(例如143,275,684,955)。这些数字对应于
列
cGLsubaccount
的
最后三个数字。如何编写
sql
语句
浏览 1
提问于2016-11-09
得票数 1
回答已采纳
1
回答
使用
SQL
语法
过滤
和在
Pyspark
中显式调用列有什么区别?
apache-spark
、
pyspark
、
apache-spark-sql
因此,在我
的
PySpark
DataFrame中有一个
列
(让我们称它为X),它应该是一个double,但实际上是一个string。它
包含
像["0.4", "0.0", "0.8", ...]这样
的
值。df.where('X > 0.0')但是当我运行
的
浏览 2
提问于2018-11-02
得票数 1
5
回答
使用类似
SQL
的
IN子句
过滤
Pyspark
DataFrame
python
、
sql
、
apache-spark
、
dataframe
、
pyspark
我想用一个类似
SQL
的
IN子句
过滤
一个
Pyspark
DataFrame,如下所示sqlc = SQLContext(sc) java.lang.RuntimeException: 1.67失败:('‘需要,但找到标识符a 这基本上是说它期望
的
是像'(1,2,3)‘这样
的
东西,而不是a。问题是我不能在a中手动写入值,因为它是从
浏览 44
提问于2016-03-08
得票数 48
回答已采纳
2
回答
比较两个中
的
字符串
值
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
我有两个名为- brand_name和poi_name
的
数据
格式。
列
中
的
字符串
是否存在于dataframe 2
的
Name
列
中。匹配应该按行顺序进行,
如果
匹配成功,则应该将特定记录存储在新
列
中。我试过使用Join对
数据
进行
过滤
:-from
pyspark
.<e
浏览 0
提问于2018-05-23
得票数 1
回答已采纳
2
回答
蟒蛇大熊猫DataFrame.filter
的
否定/反演
python
、
pandas
、
dataframe
如何
过滤
不
包含
给定
字符串
的
数据
帧
的
列
? np.array(([1, 2, 3], [4, 5, 6])), columns=['beat', 'meat', 'str
浏览 9
提问于2022-03-25
得票数 1
回答已采纳
3
回答
DateTime类型上
的
SQL
LIKE
语句
sql
、
sql-server-2008
、
datetime
如何在
SQL
Server中对
数据
类型为DateTime
的
列
执行
LIKE
语句
?但是,
如果
我想要所有10月、11月和12月
的
日期,我希望能够执行以下操作: SELECT * FROM我为
浏览 2
提问于2012-08-16
得票数 11
1
回答
火花放电
数据
中
的
平均函数
pyspark
我有如下所示
的
数据
用户提供一个值,我想从该值上方
的
所有行中计算元组中第二个数字
的
平均值。 例如:假设值为10,我想取" value“
列
中值大于或等于10
的
所有行,并计算这些行
的
平均值。
浏览 4
提问于2020-03-28
得票数 1
回答已采纳
3
回答
Pandas:有没有一种方法可以在不遇到AttributeError
的
情况下使用.str访问器来检查对象是否真的是一个
字符串
?
python
、
pandas
、
dataframe
我使用toPandas()将
pyspark
数据
帧
转换为pandas
数据
帧
。但是,因为某些
数据
类型不对齐,所以pandas会将
数据
帧
中
的
某些列强制转换为object。我想用实际
的
字符串
在我
的
列上运行.str,但似乎不能让它工作(
如果
没有显式地找到首先要转换
的
列
)。我也不能使用.str.contains,因为即使
包含</em
浏览 1
提问于2020-06-23
得票数 1
4
回答
如何通过布尔
列
过滤
星火
数据
?
python
、
apache-spark
、
filter
、
apache-spark-sql
我创建了一个具有以下模式
的
dataframe:root |-- review_count: integer (nullable = true)我只想选择记录与“打开”
列
是我在
PySpark
中运行
的
以下命令没有返回任何内容: yelp_df.filter(yelp_df["open&
浏览 5
提问于2016-04-22
得票数 12
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文读懂PySpark数据框
一文读懂 PySpark 数据框
男朋友连模糊匹配like %怎么优化都不知道
《SQL必知必会》简要摘录(二)
SQL高级查询(二)
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券