首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >split函数使用的一个小故障

split函数使用的一个小故障

作者头像
用户1733462
发布2018-06-19 11:07:23
5980
发布2018-06-19 11:07:23
举报
文章被收录于专栏:数据处理数据处理

《Spark快速大数据分析》书中一个例子 功能是把文本每行分割成单词组,并且去掉空行

val  input = sc.textFile("input.txt")
val tokenized = input.map(line=>line.split(" ").filter(words=>words.size>0)

上面操作咋看好像没有问题,但是运行不能去除空行,原因出在split函数

scala> "".split(" ")
res50: Array[String] = Array("")
scala> "".split(" ").size
res51: Int = 1

空行""分割后得到Array("")size是1不是0,这样就不能去除空行的目的,只要把filter

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.06.15 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档