Apache Spark: MesosClusterDispatcher可以在Docker容器中运行执行程序吗？
Apache Spark是一个开源的大数据处理框架，可以用于分布式数据处理和分析。MesosClusterDispatcher是Spark的一个组件，用于在Mesos集群中调度和分发Spark应用程序。
关于MesosClusterDispatcher是否可以在Docker容器中运行执行程序，答案是可以的。Docker是一种轻量级的容器化技术，可以将应用程序及其依赖项打包成一个独立的容器，提供了隔离、可移植和可复制的环境。在Docker容器中运行MesosClusterDispatcher可以实现更高的灵活性和可移植性。
通过在Docker容器中运行MesosClusterDispatcher，可以将Spark应用程序与其依赖项一起打包成一个容器镜像，然后在Mesos集群中使用该镜像进行调度和分发。这样可以简化部署过程，提高应用程序的可移植性，并且可以更好地利用Mesos集群的资源。
在腾讯云中，推荐使用TKE（腾讯云容器服务）来运行Docker容器，并结合TKE的弹性伸缩和负载均衡功能，实现高可用的Spark集群。您可以通过以下链接了解更多关于腾讯云容器服务的信息：
腾讯云容器服务（TKE）：https://cloud.tencent.com/product/tke
总结：Apache Spark的MesosClusterDispatcher可以在Docker容器中运行执行程序。使用Docker容器可以提供更高的灵活性和可移植性，同时结合腾讯云容器服务（TKE）可以实现高可用的Spark集群。
相关·内容
1回答
我们希望使用Docker容器在集群环境中运行批处理作业。我们正在评估使用AWS ECS容器服务/Chronos/Mesos。据我所知，Apache有一些与EC2重叠的特性/用途，比如集群管理。Chronos是一种分布式调度程序。
我有能力把所有这些技术联系起来，来创建一个架构！
EC2服务取代了Mesos？调度器呢？
我们是一个很小的团队，在集群开发方面几乎没有经验。哪个堆栈更适合我们的批处理？
编辑--我做了一个很大的编辑，现在我想我理解了这个体系结构：
这是一个由Mesos管理的两个集群的示例图片。
读取ECS容器服务文档()，AWS将与集成ECS。因此，我设想在未来的使用中，我
浏览 6提问于2015-10-16得票数 2
回答已采纳
1回答
我们有一个在一些docker文件中描述的产品，它可以创建必要的docker容器。一些docker容器将只运行一些基本的应用程序，而其他容器将运行集群(hadoop)。
现在的问题是我需要使用哪个集群管理器。Kubernetes或Apache mesos，还是两者兼而有之？
我读到Kubernetes适用于100%容器化的环境，而Apache Mesos更适合于一些容器化和非容器化的环境。但是Apache Mesos更适合在docker (?)中运行hadoop。
我们的环境只由docker容器组成，但其中一些包含hadoop集群，另一些包含一些应用程序。
什么会是最好的？
浏览 1提问于2016-01-05得票数 3
在阅读了关于和的讨论后，我仍然对如何通过一些bear metal主机和AWS (如私有云(OpenNebular) )创建带有码头容器的Spark和TensorFlow集群感到困惑。
目前，我可以使用手动分发到不同主机的docker容器来构建静态TensorFlow集群。我只在熊金属主机上运行一个独立的火花。手动设置容器的mesos集群的方法可以在中找到。
由于我的资源有限，我想找到一种方法将docker容器部署到当前的混合基础设施中，以构建tensorflow或spark集群，这样我就可以在相同的资源上使用tensorflow或spark进行数据分析。
在使用mesos或kubernetes
浏览 2提问于2017-06-03得票数 0
1回答
如何在Mesos中配置Docker群集模式。如果我开始使用谷歌，我就会得到旧的方式。(运行群集图像)
如果我进一步搜索，人们会说群模式是Mesos的竞争对手(我可能错了)。
我的要求是运行java程序，Node应用程序，角应用程序，Kafka，Storm，Spark，Mongo，弹性搜索容器。
请建议我一些好主意，继续设置我的集群与码头容器。
浏览 3提问于2016-12-15得票数 0
回答已采纳
我的团队正在尝试在Mesos/马拉松上建立Apache (v1.4)集群。我们正在使用。效果真的很好！
由于新的需求，任务管理器必须以扩展运行时权限启动。我们可以轻松地通过Marathon为应用程序管理器启用这个运行时特权。但是，我们无法找到一种方法来启用任务管理器的特权。
在Apache中，我们可以在Spark的配置文件中设置spark.mesos.executor.docker.parameters privileged=true。因此，Spark可以将此参数传递给docker run命令。我想知道Apache是否允许我们在启动任务管理器时向docker run传递一个自定义参数。如果没有
浏览 1提问于2018-01-23得票数 2
回答已采纳
Apache和Rocks群集分发可以用于运行任务和管理集群资源。
它们之间的区别是什么?在什么情况下，选择一个而不是另一个更好。
据我所知，相似之处是：
两者都用于管理集群中的资源。
两者都可以安装在RHEL/CentOS上。
列表项目
同样，不同之处是：
Apache还支持Ubuntu安装。
Apache要求托管任务在容器中运行。
Apache允许(虽然不鼓励)在框架安装时在框架之外运行任务。
Rocks群集分布将集群视为一台计算机(对于用户来说，在集群上运行的任务并不明显)。
为什么有人会使用Apache而不是Rocks集群分发？
浏览 7提问于2016-09-17得票数 1
回答已采纳
我正在构建一个Mesos集群来运行Apache Spark。我更喜欢为我的Spark executors使用Docker容器，我可以使用spark-submit的客户端模式(使用--master mesos://mesosmaster:5050和--conf spark.mesos.executor.docker.image=myimage:latest)来做到这一点，但我希望能够使用集群模式来做同样的事情。
我正在运行MesosClusterDispatcher，并且可以向它提交作业(使用--master mesos://clusterdispatcher:7077 --mode clust
浏览 7提问于2017-08-26得票数 1
1回答
我的应用程序需要将许多容器作为工作节点运行(以执行各种批处理任务)，而且我对保持web服务器或数据库并不感兴趣--只是需要1秒到1小时的短任务。我的想法是在节点云中工作，而不必担心这些节点中的哪台机器有可用的资源来处理我的工作(mesos非常擅长这一点--正如广告所示)。
我现在正在使用DC/OS，我想知道其他集群技术是否提供了这样的特性：given I need 1CPU, 2GB RAM and 2GB of disk - run X docker container against my nodes。
我喜欢群的想法，因为我非常熟悉对接本身，我相信这是最容易设置和自动化(缩放或下降)。我
浏览 6提问于2016-12-20得票数 7
回答已采纳
1回答
我正在使用一个工作的CoreOS在上运行Mesos和Ceph集群，但我非常不清楚如何将其用于Mesos/马拉松.但是，为单个Docker容器创建/使用rbd卷是完美的。
我找不到任何文章/博客文章/任何涉及这些卷的自动创建(如果在Mesos奴隶之间的“任务迁移”，重新映射)通过马拉松。对于我来说特别重要的是，当每个实例都需要有自己的卷时，如何运行有状态服务的多个实例(假设是一个)。
我知道，我也看过，但是我仍然很困惑这是如何或者何时可以使用.
这里还有其他问题：
不幸的是，这个问题并没有真正的答案。
使用RexRay的RexRay示例也只包含，其中包含一个实例示例，我
浏览 3提问于2016-01-26得票数 3
1回答
运行火花-按时间顺序提交
、、、
目前，我有一个启用了码头容器的mesos集群。我使用mesos支持在集群上运行spark框架。我想安排一份按时间顺序提交的工作。你能告诉我步骤或最好的方法吗？我对mesos非常陌生，我不知道chronos将如何找到提交应用程序的火花提交命令。
浏览 0提问于2016-04-13得票数 0
1回答
如今，每一家与容器有任何关系的公司，包括公共云提供商，都在为容器编排创建自己的解决方案。
其中包括：
库伯内斯
码头群
亚马逊EC2集装箱服务
Apache Mesos
中间层DCOS
HashiCorp游牧民族
其他
这些业务流程解决方案必须解决的容器的常见问题是什么？在您的产品中添加这样一个复杂的系统有什么好处？
浏览 0提问于2017-02-28得票数 14
我希望能够在单个集群上以集群模式运行Spark 2.0和Spark 1.6.1，以便能够共享资源，那么实现这一点的最佳实践是什么？这是因为我希望能够保护一组应用程序不受依赖于1.6.1和Spark 2.0的代码更改的影响。
基本上，集群可以依赖于Spark 2.0的动态分配，但可能不是1.6.1 -这是灵活的。
浏览 4提问于2016-08-09得票数 1
1回答
Apache实际上是做什么的？
、、、、
我试图把我的头围绕，并需要澄清一些项目。
我对Mesos的理解是，它是一个可执行文件，它安装在集群中的每个物理/VM服务器(“节点”)上，然后提供一个Java (以某种方式)，它将每个节点视为计算资源的集体池(CPU/RAM/等等)。因此，对于针对Java进行编码的程序，他们只看到一组资源，而不必担心如何/在哪里部署代码。
因此，首先，我在这里的理解可能根本错误(在这种情况下，请纠正我！)但是，如果我达到目标，那么Java (由Mesos提供)如何允许Java客户端访问这些资源？！？有人能给出一个实际行动中的Mesos的具体例子吗？
更新
看看我下面那张糟糕的画。如果我正确地理解了Mesos
浏览 4提问于2015-01-22得票数 42
回答已采纳
Apache的Mesos和虚拟机集群到底有什么区别？据我所知，两者都是服务器集群管理软件。谁能详细说明其中的主要区别呢？可以在VM集群上运行Mesos吗？
浏览 2提问于2019-10-17得票数 0
回答已采纳
Apache的Mesos和Google的Kubernetes到底有什么不同？我知道这两个都是服务器集群管理软件。谁能详细说明主要的区别在哪里--哪个框架是首选的？
为什么要使用
浏览 77提问于2014-11-03得票数 406
回答已采纳
我使用Mac进行开发和部署，并且需要创建一个隔离环境。我一直在探索流浪者和Docker，似乎为了运行docker，我需要在linux环境下运行。我正在用Ubuntu运行一个流浪者的实例，和我的伙伴在他们的桌面上使用的一样。
我的问题是，我的合作伙伴可以在他们的Ubuntu实例上运行docker容器，而不是像我一样安装Vagrant吗？我的服务器和应用程序是否在我的Docker实例中运行？(我使用的是MEAN)。
试图建立一个工作流程，并将其拼凑在一起。
浏览 1提问于2015-03-31得票数 0
1回答
我在spark 1.4.0上运行，我有一个由10个执行器组成的集群，每个执行器有4个核心(总共40个核心)。
我有5个应用程序(未来可能还会更多)我想运行，我使用调度程序提交它们(每个应用程序每2-5个小时运行一次)-
2个应用程序更重要，我希望它们拥有我50%的资源2个我希望使用25%的资源运行的应用程序1个我希望使用10%的资源运行的应用程序
当前的核心总数是40个，但是如果我添加更多的从机，这个数字可能会随时发生变化，而且我不想每次添加一个从机时都更改提交脚本
我不确定如何配置我的spark-submit调用，所以它不会给我这样的消息：
org.apache.spark.schedule
浏览 0提问于2015-06-29得票数 2
5回答
我是Apache Spark的新手，我刚刚了解到Spark支持三种类型的集群：
独立-意味着星火将管理它自己的集群。
纱-使用Hadoop的纱线资源管理器
Mesos -Apache的专用资源管理器项目
我想我应该先试试独立的。将来，我需要构建一个大型集群(数百个实例)。
我应该选择哪种集群类型？
浏览 5提问于2015-02-22得票数 87
回答已采纳
我只是在学习Apache Mesos。我想运行一个web应用集群(Scala Play)，与一个由Mesos管理的数据库集群(Cassandra)集成。
当web应用程序宕机或数据库宕机时，我的理解是Mesos会自动重启服务。但问题是，该服务可能会在集群中的不同节点上重新启动。
如果数据库宕机，Mesos在集群中的另一个节点上重新启动数据库，web应用程序如何知道在哪里连接到新的数据库实例？
使用Mesos运行带有数据库的web应用集群的利弊是什么？
浏览 1提问于2014-05-07得票数 5
我运行的是Spark2.0.2和Mesos 0.28.2。
我正在尝试使用动物园管理员管理的Mesos集群作为主服务器，向Spark提交一个应用程序：
$SPARK_HOME/bin/spark-submit --verbose \
--conf spark.mesos.executor.docker.image=$DOCKER_IMAGE \
--conf spark.mesos.executor.home=$SPARK_HOME \
--conf spark.executorEnv.MESOS_NATIVE_JAVA_LIBRARY=/usr/lib/libmesos.so \
--dep
浏览 6提问于2017-04-07得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
