我正在创建一个自包含的Scala程序,它在某些部分使用Spark并行化。在我的特定情况下,Spark集群可以通过mesos获得。
我创造了这样的火花环境:
val conf = new SparkConf().setMaster("mesos://zk://<mesos-url1>,<mesos-url2>/spark/mesos-rtspark").setAppName("foo")
val sc = new SparkContext(conf)
我在搜索中发现,您必须指定MESOS_NATIVE_JAVA_LIBRARY env来指向
我已经在本地设置了mesos和marathon。现在,当我开始启动mesos主机和从机时,我得到了很多日志,它们似乎启动了,因为我能够访问网页http:localhost:5050,但当我启动马拉松时,它给我这个错误:Failed to start a local cluster while loading agent flags from the environment: Flag 'work_dir' is required, but it was not provided。虽然我使用以下命令启动mesos-agent和mesos-slave,
sudo ./bin/mes
我一直在做mesos上的elasticsearch。我想在运行ubuntu的本地机器上设置elasticsearch-mesos。我是按照mesos的做的。此外,我还根据给出的说明设置了elasticsearch。当我运行elasticsearch时,我得到一个错误
Failed to load native Mesos library from /home/me/workspace/mesos-
0.20.1/src/java/generated/org/apache/mesos
Exception in thread "Thread-0" java.lang.Unsat
无法访问主服务器5050上的Mesos UI。 在Linux dist上运行一个小型集群1 master-3 slaves。 师父似乎被选中了: I0902 09:43:23.234127 19479 zookeeper.cpp:262] A new leading master (UPID=master@X:5000) is detected
I0902 09:43:23.234194 19479 master.cpp:2170] Elected as the leading master! 主从连接看起来没问题,日志来自主节点: I0902 09:43:23.391279 19478 h
我在CI中使用jenkins mesos插件。最初,我遵循以下教程:
但是jenkins本身并不是通过这个来设置的。(我得到错误无法加载config.xml文件,即使有一个)
然后我遵循,我能够运行jenkins master (jenkin框架/调度器),但是当我定义要运行的脚本时,jenkins-slaves并没有被创建。我想我遗漏了一些关于从属的配置。您能告诉我,为什么没有创建从属来运行作业吗?
在jenkins构建页面上,我得到了:
(pending—Waiting for next available executor)
在jenkins-logs中,我得到以下错误:
INFO: P
我们有一个Mesos集群,并通过Marathon从码头容器启动任务。
整个系统运行良好,但有时会出现一个非常奇怪的问题:当我们试图通过马拉松销毁/重新部署一个任务时,mesos-奴隶被目标码头容器的退出杀死。这是我得到的错误日志:
Feb 29 19:31:51 mesos-slave3.ourcompany.com mesos-slave[4093]: I0229 19:31:51.465544 4094 docker.cpp:1592] Executor for container 'eadfb756-b653-42eb-977a-c16c78b1a7c5' has ex
我想在我的Mesos集群(0.23)上运行一个简单的python框架,它运行在CentOS 7.1上。我在上安装了Mesos,一切都很好(我正在运行一些马拉松作业)。但是当我想开始用Python开发我自己的框架时,我被困住了。我使用了来自James的这个,我知道他在Mesos0.20.0上测试了它,但是我认为我可以在Mesos0.23上运行它。
一开始,我从python那里得到一个导入错误,它说mesos.native和mesos.interface不可用。然后,我尝试执行一个easy_install,但是我找不到mesos.native,并且试图成为"mesos“,结果如下:
$ p