spark | 读数据
为何要单独一个博文来记录读取数据呢？我觉得读数据很重要，涉及到不同格式的数据，各式各样的情况，故而记之。
注意：以python语言为工具
- 读csv格式的 本数据有３列
# -*- coding:utf-8 -*-
from pyspark import SparkContext
sc = SparkContext("local[2]", "First Spark App")
# we take the raw data in CSV format and convert it into a set of records of the form (user, product, price)
data = sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))上面代码中核心代码是：
sc.textFile("data/UserPurchaseHistory.csv").map(lambda line: line.split(",")).map(lambda record: (record[0], record[1], record[2]))第一个map是用于分割，第二个map用于读取列 采用lambda函数
继续更新中。。。
本文参与 腾讯云自媒体分享计划，分享自作者个人站点/博客。
原始发表：2017年02月16日，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读