首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >运行Hadoop应用程序

运行Hadoop应用程序
EN

Stack Overflow用户
提问于 2011-12-16 13:02:33
回答 1查看 343关注 0票数 3
  1. 可以在任意一个集群节点上引导一个Hadoop应用程序,不相关地引导到节点类型上吗?
  2. 应该只在其中一个节点上引导吗?
  3. 是否将代码移动到接近数据的适当节点?
  4. 是否用于移动代码?

< code >G29

@编辑

在每个已安装的Hadoop节点上,都应该显式地分配主节点,方法是将fs.default.name of core-site.xml设置为Namenode,将mapred.job.tracker of mapred-stie.xml设置为Jobtracker

但是,不能显式地分配从节点DatanodeTasktracer,对吗?

相反,它们在Hadoop启动时动态地加入集群,或者在守护进程停止时离开集群,对吗?

如果Hadoop安装的节点既没有分配给主节点,也没有运行hadoop守护进程,那么它仍然可以启动Hadoop应用程序,对吗?

@2编辑

似乎也应该在主节点上的conf/slaves文件中显式列出从节点,以便在那里集体启动或停止。

EN

回答 1

Stack Overflow用户

发布于 2011-12-16 14:05:21

  1. Hadoop作业可以从任何地方触发,只要core-site.xml配置设置正确。这不一定是数据节点或主节点。在更大的集群中,我们习惯上有一个“查询节点”,它没有运行任何Hadoop守护进程。
  2. 在特定的节点上启动作业并不是什么大不了的事情,除非您的程序在MapReduce之外执行某种繁重的预计算或后期计算。如果是,您希望将这些保留在它们自己的节点上。在数据节点上运行作业比在主节点上运行作业要好。
  3. Hadoop在各地复制jar文件,这样代码就可以在本地使用。我认为这不需要人机界面,但我可能错了。最后,它都是从用户那里抽象出来的,而不是您需要注意的.

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/8534550

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档