我有些关于星火框架的问题。
首先,如果我想编写一些运行在星星团上的应用程序,那么遵循地图减少过程是不可避免的吗?由于要遵循map-还原过程,许多代码必须更改为并行化表单,所以我正在寻找一些简单的方法来将当前的项目移动到代码很少变化的集群中。
第二是关于火花壳.我尝试使用以下代码在集群上启动星火壳:MASTER=spark://IP:PORT ./bin/spark-shell。然后,我在星火壳上编写了一些scala代码,例如:
var count1=0
var ntimes=10000
var index=0
while(index<ntimes)
{
index+=1
val t1 =
我有一个2节点星火集群,每个节点有4个核心.
MASTER
(Worker-on-master) (Worker-on-node1)
火花配置:
奴隶:主人,node1
SPARK_WORKER_INSTANCES=1
我试图理解星火的paralellize行为。sparkPi示例具有以下代码:
val slices = 8 // my test value for slices
val n = 100000 * slices
val count = spark.parallelize(1 to n, slices).map { i