首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >hadoop -在hadoop中存储的输入/输出文件在哪里,以及如何在hadoop中执行java文件?

hadoop -在hadoop中存储的输入/输出文件在哪里,以及如何在hadoop中执行java文件?
EN

Stack Overflow用户
提问于 2011-03-21 10:19:11
回答 3查看 1.1K关注 0票数 1

假设我编写了一个java程序,并希望在Hadoop中运行它,那么

  1. 文件应该保存在哪里?
  2. 如何从hadoop访问它?
  3. 我应该通过以下命令调用它吗?hadoop classname
  4. 在hadoop中执行java文件的命令是什么?
EN

回答 3

Stack Overflow用户

发布于 2011-03-21 16:44:03

对于你的问题,我能想到的最简单的答案是:

1)任何地方

2,3,4)$HADOOP_HOME/bin/hadoop jar [path_to_your_jar_file]

这里提出了一个类似的问题,在apache中执行helloworld.java

票数 1
EN

Stack Overflow用户

发布于 2015-04-03 02:44:58

这看起来可能很复杂,但比你想象的要简单!

  1. map/reduce类和main类编译到jar中。让我们称其为jar myjob.jar
    • 这个jar不需要包含Hadoop库,但是它应该包含任何其他依赖项。
    • 您的主要方法应该设置并运行您的映射/减少作业,下面是一个例子

  1. 将此jar放在安装了hadoop命令行实用程序的任何计算机上。
  2. 使用hadoop命令行实用工具运行您的主要方法:
    • hadoop jar myjob.jar

希望这能有所帮助。

票数 0
EN

Stack Overflow用户

发布于 2015-04-21 02:24:50

  1. 文件应该保存在哪里?

数据应保存在"hdfs“中。您可能希望使用Apache之类的方法从数据源将其加载到集群中。该文件可以放置在任何地方,但大多数主页是/user/hadoop/

  1. 如何从hadoop访问它?

SSH进入hadoop集群头节点,就像一个标准的linux服务器。

列出您的hadoop hdfs hadoop fs -ls /

  1. 我应该通过以下命令调用它吗?hadoop classname

您应该使用hadoop命令访问您的数据并运行您的程序,尝试hadoop help

  1. 在hadoop中执行java文件的命令是什么?

hadoop -jar MyJar.jar com.mycompany.MainDriver arg[0] arg[1] ...

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5376251

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档