spark scala练习

许喜朝

发布于 2020-12-01 10:56:35

2940

发布于 2020-12-01 10:56:35

准备一个文件上传至hdfs

hello word
hello java
hello python
hello c++

启动spark-shell

spark-shell

获取到要计算的文件

val file = spark.read.textFile("test.txt")

统计该文件的行数

 file.count()

获取第一行的内容

file.first()

获取到特定的内容

val lines = file.filter(line => line.contains("hello"))

获取指定词出现的次数

file.filter(line => line.contains("hello")).count()

本文参与腾讯云自媒体分享计划，分享自作者个人站点/博客。

原始发表：2020-11-27 ，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体分享计划，欢迎热爱写作的你一起参与！

登录后参与评论

0 条评论

热度