首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >问答首页 >使用对列值使用过滤器时出错

使用对列值使用过滤器时出错
EN

Stack Overflow用户
提问于 2019-06-03 17:54:00
回答 1查看 646关注 0票数 0

请参阅下面的示例代码:

sampleDf ->是我的样本Scala,我想在2列startIPIntendIPInt上进行过滤。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var row = sampleDf.filter("startIPInt <=" + ip).filter("endIPInt >= " + ip)

现在我想查看这一行的内容。以下内容仅需一秒钟即可执行,但未显示此行对象的内容:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
println(row)

但是这段代码执行起来太长了:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
row.show()

因此,我的问题是如何查看这个行对象的内容?或者我过滤数据的方式有什么问题吗?

我最初的方法是使用过滤器,如这里所提到的:https://spark.apache.org/docs/1.5.0/api/java/org/apache/spark/sql/DataFrame.html#filter(java.lang.String)

根据这一点,下面的代码行给出了一个关于“重载方法‘过滤器’”的错误:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
var row = sampleDf.filter($"startIPInt" <= ip).filter($"endIPInt" >= ip)

有人能帮我理解这里发生了什么吗?这是过滤和获取数据文件内容的正确和最快的方法,如上面所示。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2019-06-03 18:28:05

首先,使用filter并不能真正得到一个行/行对象,您将得到一个新的dataframe。

show执行时间较长的原因是斯帕克懒惰。它只在对数据文件采取行动时才计算转换(例如,请参阅Spark Transformation - Why its lazy and what is the advantage?)。对数据帧使用println不会做任何事情,而且过滤器转换也不会被实际计算出来。另一方面,show需要一些计算,这就是为什么执行速度较慢的原因。

使用

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
sampleDf.filter("startIPInt <=" + ip).filter("endIPInt >= " + ip)

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
sampleDf.filter($"startIPInt" <= ip).filter($"endIPInt" >= ip)

它们是等价的,并且应该给出相同的结果,只要你已经导入火花注入(为了使用$符号)。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/56436426

复制
相关文章
实战记录—PHP使用curl出错时输出错误信息
踩过的坑,实在不想再踩了,记录记录。 CURL错误列表 curl_exec($ch);//执行curl if (curl_errno($ch)) { echo 'Curl error: ' . curl_error($ch);//出错输出错误 } curl_close($ch);//关闭curl 同理,像正则,Json,数据库这些出错时基本都会有提供有帮助的错误信息 CURL状态码列表 状态码 状态原因 解释 0 正常访问 1 错误的协议 未支持的协议。此版cURL 不支持这一协议。 2 初始
房东的狗丶
2023/02/17
6.1K0
如何使用python连接MySQL表的列值?
MySQL 是一个开源关系数据库管理系统,广泛用于存储、管理和组织数据。使用 MySQL 表时,通常需要将多个列值组合成一个字符串以进行报告和分析。Python是一种高级编程语言,提供了多个库,可以连接到MySQL数据库和执行SQL查询。
很酷的站长
2023/08/11
2460
如何使用python连接MySQL表的列值?
使用EXCLE表格,有相同列,取某一列的值
如图,我有两列MAC地址表,然后需要把F列的值取值到D列,可以使用公式:=VLOOKUP(A1,$E$1:$F$44,2,0)进行处理数据。A1代表以哪一列为基础取值参考,$E$1:$F$44代表查找对比范围。
Tacc
2022/01/11
4.3K0
使用EXCLE表格,有相同列,取某一列的值
zblogasp安装时出错,左侧显示无法使用Access数据库
今天突然想起之前的一个网站博客,感觉还不错,但它是zblogasp的,所以想移植到zblogphp版本,但是把网站数据恢复之后登陆后台显示,数据库连接出错,因为asp+access类型,目录位置都对,所以可能是access数据库连接失败。
李洋博客
2021/06/15
4.6K0
mysql使用default给列设置默认值的问题
add column和modify column在default的语义上处理不一样。
翎野君
2023/07/27
9210
mysql使用default给列设置默认值的问题
使用pandas筛选出指定列值所对应的行
该方法其实就是找出每一行中符合条件的真值(true value),如找出列A中所有值等于foo
星星在线
2020/05/22
19.2K0
使用 Python 按行和按列对矩阵进行排序
假设我们采用了一个输入的 MxM 矩阵。我们现在将使用嵌套的 for 循环对给定的输入矩阵进行逐行和按列排序。
很酷的站长
2023/02/22
6.1K0
使用 Python 按行和按列对矩阵进行排序
为什么MySQL不建议使用NULL作为列默认值?
blog.csdn.net/qq_30549099/article/details/107395521
肉眼品世界
2021/03/09
4.8K0
使用深度学习对你的颜值打分
华南理工大学曾发表了一篇关于“面部美容预测”的论文和数据集。你可以在找到它。数据集包括5500人,他们的吸引力在1至5分之间。
计算机与AI
2020/12/14
2.4K1
使用深度学习对你的颜值打分
为什么MySQL不建议使用NULL作为列默认值?
今天来分享一道美团高频面试题,5 分钟搞懂“为什么 MySQL 不建议使用 NULL 作为列默认值?”。
一行Java
2023/09/04
4180
为什么MySQL不建议使用NULL作为列默认值?
使用spark对hive表中的多列数据判重
本文处理的场景如下,hive表中的数据,对其中的多列进行判重deduplicate。 1、先解决依赖,spark相关的所有包,pom.xml spark-hive是我们进行hive表spark处理的关键。 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.10</artifactId> <ver
用户1225216
2018/03/05
5.2K0
mybatis文件映射之利分布查询时传递多列值 (七)
我们可以将<collection property="employee" select="com.gong.mybatis.dao.EmployeeMapperPlus.getEmpsByDeptId" column="id"> 这里的column="id"改为column="{deptId=id}"。
西西嘛呦
2020/08/26
8850
使用Pandas实现1-6列分别和第0列比大小得较小值
前几天在Python白银交流群【星辰】问了一个pandas处理Excel数据的问题,提问截图如下:
Python进阶者
2023/03/02
1.2K0
使用Pandas实现1-6列分别和第0列比大小得较小值
Java使用JAXB对XML设置属性和属性值
复杂点的原因是名称带有冒号,属性也是,没有操作过JAXB是不容易上手,我来记录下实体的代码。
高久峰
2023/10/12
5600
matlab 插值出错,MATLAB插值问题
,称F(x)为f(x)在区间[a,b]上的插值函数,称(xi, yi)为插值节点。若F(x)为多项式,称为多项式插值(或代数插值) ;常用的代数插值方法有:拉格朗日插值,牛顿插值。
全栈程序员站长
2022/09/05
1.2K0
B+树索引使用(7)匹配列前缀,匹配值范围(十九)
上篇文章索引的代价,b+树占的空间比较大,增删改对b+树每个节点的索引排序影响也很大,时间耗费长,所以没有必要不要乱建索引,还介绍了索引的最左原则和全值查询。
用户9919783
2022/07/26
9950
MAC下使用plyvel出错解决
https://github.com/graymauser/btcposbal2csv
蒙古上单2
2021/04/21
2.7K4
Vue3使用插槽时的父子组件传值
Vue3使用插槽时的父子组件传值 用法见官方文档深入组件章节,插槽部分: 参考文档:插槽-作用域插槽-插槽prop 作用域插槽 有时让插槽内容能够访问子组件中才有的数据是很有用的。 需求:插槽内容能够访问子组件中才有的数据 实现 子组件 TodoList.vue <template> <div v-for="(todoItem, index) in state.todoList"> <slot :item="todoItem" :index="index"></slot> </div> </
CherishTheYouth
2022/05/12
2K0
Vue3使用插槽时的父子组件传值
数据分析小技巧1:使用map对列做特征工程
你好,我是 zhenguo 接下来逐步分析常用的数据分析小技巧 小技巧1:如何使用map对某些列做特征工程? 先生成数据: d = { "gender":["male", "female", "male","female"], "color":["red", "green", "blue","green"], "age":[25, 30, 15, 32] } df = pd.DataFrame(d) df 在 gender 列上,使用 map 方法,快速完成如下映射: d = {"male": 0,
double
2022/01/26
4400
数据分析小技巧1:使用map对列做特征工程
Vue 过滤器的使用
Vue官方文档是这样说的:Vue过滤器用于格式化一些常见的文本。 在实际项目中的使用: 定义过滤器 在src定义一个filter.js文件,里面定义过滤器函数,在最后要使用 exprot default 将定义的函数暴露出来 //将时间戳转化为日期格式 function formatDate (value, fmt='') { let date = new Date(value) if (fmt=='') fmt = 'Y-MM-dd hh:mm' let o = { 'Y+':date.ge
lin_zone
2018/11/12
1.1K0

相似问题

对来自$http.get的值使用过滤器时出错

20

使用approxm函数对一列进行插值时出错

118

尝试使用for循环对值求和时出错

10

使用过滤器时出错

113

使用bcryptjs对MySql数据进行散列时出错

11
添加站长 进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

扫码加入开发者社群
关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

扫码关注腾讯云开发者公众号
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文