问以分布式模式部署Hadoop程序
EN

Stack Overflow用户

提问于 2015-07-17 20:50:00

回答 1查看 40关注 0票数 0

目前，我正在使用Eclipse开发我的Hadoop演示。我已经在Hadoop单机模式下运行并测试了它。

但是现在我想把我的Hadoop演示编译成Jar文件，以便像Wordcount example一样以完全分布式的模式部署它。

有谁能指导我怎么做吗？

发布于 2015-07-17 21:26:38

右键单击项目资源管理器上的任何文件->导出->生成可运行的jar文件

选择main方法的类(用于驱动程序类)。

将jar文件复制到集群的主节点。

然后，转到主节点上安装hadoop的路径并运行

bin/hadoop jar jarfile.jar /hdfs/input/path /hdfs/output/path

有关更多选项和详细信息，请阅读this tutorial (用于新的API / YARN)。

您必须首先更新一些配置文件，如/etc/hosts，在集群节点之间设置一个无密码的ssh，并更新一些$HADOOP_HOME/conf/...文件(至少在旧的API中)。

票数 1

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/31476249

复制

相似问题

问以分布式模式部署Hadoop程序EN