Spark master Web Ui在Cloudera Quick start Vmware中显示Spark worker信息0
Spark master Web Ui在Cloudera Quick start Vmware中显示Spark worker信息0
提问于 2015-05-22 15:25:17
Spark Master WebUI没有显示spark worker信息，而且worker在Cloudera Quickstart VM 5.3.0中运行得很好。
Cloudera Quickstart vm中的配置文件：
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LAUNCH_WITH_SCALA=0
export SPARK_LIBRARY_PATH=${SPARK_HOME}/lib
export SPARK_MASTER_WEBUI_PORT=18080
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_PORT=7078
export SPARK_WORKER_WEBUI_PORT=18081
export SPARK_WORKER_DIR=/var/run/spark/work
export SPARK_LOG_DIR=/var/log/spark
export SPARK_PID_DIR='/var/run/spark/'回答 1
Stack Overflow用户
发布于 2015-12-10 19:59:51
您好，我找到了解决方案，如果您使用的是cloudera快速入门vm，那么在etc/spark/conf/Sparkenv.sh中添加两行：
export SPARK_MASTER_HOST='quickstart.cloudera'
export SPARK_LOCAL_HOST='quickstart.cloudera' 之后，重启spark master和worker。您现在可以在master中的信息中看到worker。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/30390729
复制相关文章
相似问题
腾讯云开发者
