我将所有环境设置为在IntelliJ中运行hadoop应用程序。现在,我遇到了一些问题,因为我的代码在编译时没有出现错误消息,尽管我没有hadoop输出。
因此,我必须构建工件,在本地hadoop上运行它,然后得到以下错误
Found interface org.apache.hadoop.mapreduce.TaskAttemptContext, but class was expected
at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
然后我就可以对它进行调试了。我
我正在尝试运行“-format”。我需要把它作为sudo运行,所以我不能改变它。但这样做会产生错误:
sudo: hadoop: command not found
我在/etc/环境中输入了变量:
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:/home/cloud-user/hadoop-2.2.0/bin:/home/cloud-user/hadoop-2.2.0/sbin"
JAVA_HOME="/usr/lib/jvm
我是Hadoop的新手,我正在经历提到的这里的安装过程。我已经在我的系统上安装了hadoop-1.2.1。在尝试启动单个节点集群时配置所有内容后,我得到以下错误:
$ /usr/local/hadoop-1.2.1/bin/start-all.sh
mkdir: cannot create directory ‘/usr/local/hadoop-1.2.1/libexec/../logs’: Permission denied
chown: cannot access ‘/usr/local/hadoop-1.2.1/libexec/../logs’: No such file or dir
我试图像下面这样在蜂窝壳中运行.sql文件。但下面有个错误。
hive> hive -f /home/centos/DB2.sql;
NoViableAltException(24@[])
at org.apache.hadoop.hive.ql.parse.HiveParser.statement(HiveParser.java:1300)
at org.apache.hadoop.hive.ql.parse.ParseDriver.parse(ParseDriver.java:204)
at org.apache.hadoop.hive
我刚接触Hadoop,正在尝试使用cygwin在我的windows7 (x64) PC上安装它。我按照本教程安装了
在这一步之前,一切都是正确的-
Only Hadoop 0.21.0: Next, one line has to be added to the hadoop-config.sh file in hadoop-0.21.-0/bin
CLASSPATH=`cygpath -wp "$CLASSPATH"`
Add this line before the line containing
JAVA_LIBRARY_PATH=''
我得到了错误:第144行: /Library/Java/JavaVirtualMachines/jdk1.7.0_51.jdk/Contents/Home/bin/java:没有这样的文件或目录
在配置完和之后,
I类型:
$ hadoop version
并得到了
/hadoop/hadoop2/bin/hadoop: line 144: /Library/Java/JavaVirtualMachines/jdk1.7.0_51.jdk/Contents/Home/bin/java: No such file or directory
/hadoop/hadoop2/bin/hadoop:
当我登录到Hive并尝试使用Cloudera CDH5.5在本地主机目录中执行文件列表时,获取一个ParseExeption失败/错误。到目前为止,还没有启动任何东西(创建数据库、表和导入数据)。
[cloudera@quickstart module2]$ hive
Logging initialized using configuration in jar:file:/usr/jars/hive-common-1.1.0-cdh5.5.0.jar!/hive-log4j.properties
WARNING: Hive CLI is deprecated and migration to
在尝试构建本地伪Hadoop环境时,当我尝试使用start-dfs.sh启动我的namenode时,出现了以下错误
"Could not find or load main class org.apache.hadoop.hdfs.tools.GetConf"
我的java版本如下所示
java version "1.7.0_85"
OpenJDK Runtime Environment (IcedTea 2.6.1) (7u85-2.6.1-5ubuntu0.14.04.1)
OpenJDK 64-Bit Server VM (build 24.85-b03,
我使用以下教程在macos上安装hadoop:,
当我尝试格式化namenode时,会得到以下错误:
hdfs namenode -format
Error: Could not find or load main class org.apache.hadoop.hdfs.server.namenode.NameNode
我想知道,因为我已经将我的java主页设置为:
echo $JAVA_HOME
/Library/Java/JavaVirtualMachines/jdk1.8.0.jdk/Contents/Home
这里还有我的~/..profile文件:
#Hadoop variable
我已经安装了hadoop,我不能使用-copyFromLocal,它的响应
[root@hadoop-master ~]# hadoop fs -copyFromLocal file.dat
copyFromLocal: `.': No such file or directory
我试过了-mkdir dir,但它的反应
[root@hadoop-master ~]# hadoop fs -mkdir dir
mkdir: `dir': No such file or directory
和-ls
[root@hadoop-master ~]# hadoop fs -ls
我有来自Fedora命令终端的以下代码:
[root@localhost python_code]# pwd
/root/python_code
[root@localhost python_code]# cd ..
[root@localhost ~]# ls
anaconda-ks.cfg python_code
[root@localhost ~]# cd /usr/local
[root@localhost local]# ls
bin games hadoop-2.6.4.tar.gz input lib libexec sbin src
etc
我将按照教程来构建和安装hadoop。
但是,当我从VS2010命令提示符发出以下命令时:
mvn package -Pdist,native-win -DskipTests -Dtar
我得到以下错误:
main:
[mkdir] Skipping C:\hdfs\hadoop-hdfs-project\hadoop-hdfs\target\native because it already exists.
[exec] Current OS is Windows 8.1
[exec] Executing 'cmake' with arguments:
[exec]
我使用: brew安装hadoop安装hadoop。
我安装了以下版本:
hadoop version
Hadoop 2.3.0
Subversion http://svn.apache.org/repos/asf/hadoop/common -r 1567123
Compiled by jenkins on 2014-02-11T13:40Z
Compiled with protoc 2.5.0
From source with checksum dfe46336fbc6a044bc124392ec06b85
This command was run using /usr/local/Cel
我正在使用sqoop将表从MySQL导入到HDFS。这是我使用的命令:
sqoop import --connect jdbc:mysql://localhost/classicmodels --table customers -m 1
这是我得到的错误:
Warning: /usr/lib/sqoop/../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/lib/sqoop/../hcatalo
我尝试将包含1,048,578个文件的目录复制到hdfs文件系统中,但得到以下错误:
Exception in thread "main" java.lang.OutOfMemoryError: Java heap space
at java.util.Arrays.copyOf(Arrays.java:2367)
at java.lang.AbstractStringBuilder.expandCapacity(AbstractStringBuilder.java:130)
at java.lang.AbstractStringBuilder.ensu