前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >Spark学习之数据读取与保存(4)

Spark学习之数据读取与保存(4)

作者头像
王小雷
发布2018-01-02 14:29:24
1.1K0
发布2018-01-02 14:29:24
举报
文章被收录于专栏:王小雷

Spark学习之数据读取与保存(4)

1. 文件格式

代码语言:javascript
复制
Spark对很多种文件格式的读取和保存方式都很简单。
如文本文件的非结构化的文件,如JSON的半结构化文件,如SequenceFile结构化文件。通过扩展名进行处理。

2. 读取/保存文本文件

代码语言:javascript
复制
Python中读取一个文本文件
代码语言:javascript
复制
    input = sc.textfile("file:///home/holen/repos/spark/README.md")
    Scala中读取一个文本文件
    val input = sc.textFile("file:///home/holen/repos/spark/README.md")
    Java中读取一个文本文件
    JavaRDD<String> input = sc.textFile("file:///home/holen/repos/spark/README.md")
代码语言:javascript
复制
saveAsTextFile()方法用了保存为文本文件

3. 读取/保存JSON文件

代码语言:javascript
复制
Python中读取JSON文件
代码语言:javascript
复制
    import json
    data = input.map(lambda x: json.loads(x))

    Python中保存为JSON文件
    (data.filter(lambda x: x["lovesPandas"]).map(lambda x: json.dumps(x)))
        .saveAsTextFile(outputFile)

4. Spark SQL中的结构化数据

代码语言:javascript
复制
结构化数据指的是有结构信息的数据————也就是所有的数据记录都有具有一致字段结构的集合。
在各种情况下,我们把一条SQL查询给Spark SQL,让它对一个数据源执行查询,然后得到由Row对象组成的RDD,每个Row对象表示一条记录。
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Spark学习之数据读取与保存(4)
    • 1. 文件格式
      • 2. 读取/保存文本文件
        • 3. 读取/保存JSON文件
          • 4. Spark SQL中的结构化数据
          领券
          问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档