for x in temp.collect(): main()
我想使用Apache并行化几个csv文件的求和过程,使用相同的python代码。我使用bash命令$ scp -r -i my-key-pair.pem my_dir root@ec2-52-27-82-124.us-west-2.compute.amazonaws.com将目录my_dir我已经登录了我的主节点,然后使用bash命令$
final scala.collection.mutable.ListBuffer field org.apache.spark.mllib.fpm.FPTree$Summary.nodes to scala.collection.mutable.ArrayBufferSerialization trace:我甚至尝试使用这里提出的解决方案:
这件事我也没有任何运气
144 except IndexError:--> 146 "Unable to find py4jSPARK_HOME may not be configured correctly" 148 sys.path[:0] = [spark_python, py4j]
Exception: Unable to find py4j, your SPARK_HOME m