嗨,我是apache spark的新手,我正在努力学习它。
在创建一个新的独立集群时,我遇到了这个错误。
我启动了我的主机,它在端口7077处于活动状态,我可以在ui中看到它(端口8080)
使用以下命令启动服务器时
./bin/spark-class org.apache.spark.deploy.worker.Worker spark://192.168.0.56:7077
我遇到了连接被拒绝的错误
14/07/22 13:18:30 ERROR EndpointWriter: AssociationError [akka.tcp://sparkWorker@node- physical:55124] -> [akka.tcp://sparkMaster@192.168.0.56:7077]: Error [Association failed with [akka.tcp://sparkMaster@192.168.0.56:7077]] [
akka.remote.EndpointAssociationException: Association failed with [akka.tcp://sparkMaster@192.168.0.56:7077]
Caused by: akka.remote.transport.netty.NettyTransport$$anonfun$associate$1$$anon$2: Connection refused: /192.168.0.56:7077
请帮我纠正这个错误,我在这里已经很久了。
我希望这些信息足够了。请帮帮忙
发布于 2017-02-14 17:26:55
尝试"./sbin/start-master -h“。当我将主机名指定为IP地址时,它可以工作。
发布于 2014-08-08 17:57:24
检查防火墙是否已关闭,因为它可能会通过临时关闭防火墙来阻止工作人员连接:
$ sudo service iptables stop
或永久:
$ sudo chkconfig iptables off
发布于 2016-12-15 09:33:29
似乎spark对IP和机器名称非常挑剔。因此,当启动你的主机时,它会使用你的机器名来注册spark master。如果您的员工无法访问该名称,则几乎不可能访问该名称。
解决这个问题的一种方法是像这样启动你的master:
SPARK_MASTER_IP=YOUR_SPARK_MASTER_IP ${SPARK_HOME}/sbin/start-master.sh
然后,您将能够像这样连接您的从属
${SPARK_HOME}/sbin/start-slave.sh spark://YOUR_SPARK_MASTER_IP:PORT
我希望它能有所帮助!
https://stackoverflow.com/questions/24881757
复制相似问题