假如进化的历史重来一遍,
人的出现概率是零。
—— 古德尔
Spark 作为一个用途广泛的大数据运算平台。
Spark 允许用户将数据加载到多台计算机所建立的 cluster 集群的内存中存储,执行分布式计算,再加上 Spark 特有的内存运算,让执行速度大幅提升,非常适合用于机器学习的算法。况且,spark包含大量开箱即用的机器学习库。
算法包括分类与回归、支持向量机、回归、线性回归、决策树、朴素贝叶斯、聚类分析、协同过滤等。
使用spark必须先了解Spark的核心——RDD
分布式数据集Resiliennt Distributed Datasets(简称RDD)之上的,这使得 Spark 的各个组件可以无缝地进行集成,能够在同一个应用程序中完成大数据处理。
使用spark统计词频
今天分享一个最基础的应用,就是统计语料里的词频,找到高频词。
from pyspark import SparkContext
sc = SparkContext('local', "WordCount")
先初始化spark,然后加载数据
data=["mixlab", "mixlab 无界 社区","mixlab 让 每个人 无限 可能 跨界 设计师 全栈 程序员 算法 工程师","shadow","hello shadow"]
lines = sc.parallelize(data)
注意以上代码,data是一个list,通过sc.parallelize可以把Python list,NumPy array或者Pandas Series,Pandas DataFrame转成Spark的RDD数据。
然后,开始处理
result = lines.flatMap(lambda x: x.split(" ")).countByValue()
for key, value in result.items():
print("%s %i" % (key, value))
处理结果
mixlab 3
无界 1
社区 1
让 1
每个人 1
无限 1
可能 1
跨界 1
设计师 1
全栈 1
程序员 1
算法 1
工程师 1
shadow 2
hello 1
通过简单的代码,了解flatMap的作用
x = sc.parallelize([1,2,3])
y = x.flatMap(lambda x: (x+1,300*x,x/2))
print(x.collect())
print(y.collect())
#[1, 2, 3]
#[2, 300, 0.5, 3, 600, 1.0, 4, 900, 1.5]
可以看到输出结果,flatMap是先映射后扁平化。
在通过代码,了解countByValue的作用。
x = sc.parallelize([
"AB"
,
"B"
,
"B"
])
y = x.countByValue()
print(x.collect())
print(y)
#['AB', 'B', 'B']
#{'AB': 1, 'B': 2}
统计一个RDD中各个value的出现次数。返回一个map,map的key是元素的值,value是出现的次数。