大师必须从纱线开始，火花
提问于 2015-10-15 05:39:52
当我想要运行SparkPi示例时，我会得到这个错误。
beyhan@beyhan:~/spark-1.2.0-bin-hadoop2.4$ /home/beyhan/spark-1.2.0-bin-hadoop2.4/bin/spark-submit --master ego-client --class org.apache.spark.examples.SparkPi /home/beyhan/spark-1.2.0-bin-hadoop2.4/lib/spark-examples-1.jar
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Error: Master must start with yarn, spark, mesos, or local
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties另外，我已经通过另一个终端启动了我的主人。
>./sbin/start-master.sh
starting org.apache.spark.deploy.master.Master, logging to /home/beyhan/spark-1.2.0-bin-hadoop2.4/sbin/../logs/spark-beyhan-org.apache.spark.deploy.master.Master-1-beyhan.out有什么建议吗？谢谢。
回答 2
Stack Overflow用户
回答已采纳
发布于 2015-10-15 21:53:29
下载并解压火花：
$ cd ~/Downloads
$ wget -c http://archive.apache.org/dist/spark/spark-1.2.0/spark-1.2.0-bin-hadoop2.4.tgz
$ cd /tmp
$ tar zxf ~/Downloads/spark-1.2.0-bin-hadoop2.4.tgz
$ cd spark-1.2.0-bin-hadoop2.4/启动大师：
$ sbin/start-master.sh从上面的命令打印的文件中找到主日志的URL。让我们假设主人是：spark://ego-server:7077
在本例中，您还可以通过访问以下URL：http://localhost:8080/找到您的主url
启动一个从服务器，并将其连接到主服务器：
$ sbin/start-slave.sh --master spark://ego-server:7077另一种确保主人启动并运行的方法是启动绑定到该主程序的shell：
$ bin/spark-submit --master "spark://ego-server:7077"如果你有火花壳，那么一切看起来都很好。
现在执行你的任务：
$ find . -name "spark-example*jar"
./lib/spark-examples-1.2.0-hadoop2.4.0.jar
$ bin/spark-submit --master "spark://ego-server:7077" --class org.apache.spark.examples.SparkPi ./lib/spark-examples-1.2.0-hadoop2.4.0.jarStack Overflow用户
发布于 2015-10-15 05:57:40
你所犯的错误
错误:主人必须从纱线，火花，梅索，或本地开始。
意味着火花无法识别--master ego-client。
使用
--master local在本地执行火花或
--master spark://your-spark-master-ip:7077页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/33150147
复制相关文章
点击加载更多
腾讯云开发者
