Python利用Spark并行处理框架批量判断素数

方法一:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

def isPrime(n):

if n<2:

return False

if n==2:

return True

if not n&1:

return False

for i in range(3, int(n**0.5)+2, 2):

if n%i == 0:

return False

return True

#创建RDD

rdd = sc.parallelize(range(1000))

#过滤

result = rdd.filter(isPrime).collect()

print('='*30)

print(result)

方法二,空间占用大,不推荐:

from pyspark import SparkConf, SparkContext

conf = SparkConf().setAppName("isPrime")

sc = SparkContext(conf=conf)

n = 1000

m = int(n**0.5) + 1

rdd = sc.parallelize(range(2, n))

result = set()

while True:

#获取第一个元素

t = rdd.first()

if t > m:

break

result.add(t)

#对RDD上的所有元素进行过滤、筛选,能被整除的全部过滤掉

rdd = sc.parallelize(rdd.filter(lambda x: x%t != 0).collect())

print(list(result)+rdd.collect())

原文发布于微信公众号 - Python小屋(Python_xiaowu)

原文发表时间:2016-12-14

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券