Hadoop 2.7.3容器启动异常，AM容器退出代码失败:127
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和Hadoop YARN（Yet Another Resource Negotiator）。
根据提供的问答内容，Hadoop 2.7.3容器启动异常，AM容器退出代码失败:127，这是指Hadoop中的Application Master（AM）容器在启动过程中遇到了异常，并且退出代码为127，表示启动失败。
可能的原因和解决方法如下：
- 依赖问题：AM容器启动过程中可能缺少了必要的依赖项或配置文件。可以检查相关的依赖项是否正确安装和配置，并确保它们与Hadoop版本兼容。
- 资源不足：AM容器启动可能需要足够的内存和CPU资源。可以检查集群的资源分配情况，确保有足够的资源可供AM容器使用。
- 网络问题：AM容器启动可能受到网络问题的影响，例如无法连接到其他节点或无法访问必要的服务。可以检查网络连接是否正常，并确保所有必要的服务都在运行。
- 日志分析：查看Hadoop的日志文件，特别是AM容器的日志，以了解更多关于启动异常的详细信息。日志文件通常位于Hadoop的日志目录中，可以根据具体的配置进行查找。
如果以上方法无法解决问题，建议参考Hadoop官方文档、社区论坛或寻求专业的技术支持来获取更详细的帮助。
腾讯云提供了一系列与Hadoop相关的产品和服务，包括弹性MapReduce（EMR）和云Hadoop服务。您可以访问腾讯云的官方网站了解更多关于这些产品的详细信息和使用指南。
- 弹性MapReduce（EMR）：腾讯云弹性MapReduce（EMR）是一种大数据处理和分析服务，基于Hadoop和Spark等开源框架构建。它提供了简单易用的界面和强大的计算能力，可帮助用户快速处理和分析大规模数据集。了解更多：弹性MapReduce（EMR）产品介绍
- 云Hadoop服务：腾讯云云Hadoop服务是一种托管式Hadoop解决方案，提供了稳定可靠的Hadoop集群环境。用户可以通过简单的操作即可创建和管理Hadoop集群，无需关注底层的基础设施和运维工作。了解更多：云Hadoop服务产品介绍
请注意，以上提到的腾讯云产品仅作为示例，您可以根据实际需求选择适合的产品和服务。
相关·内容
我已经安装了Hadoop 2.7.3稳定版本。我设置了所有的环境变量，如JAVA_HOME、HADOOP_HOME、PATH等。我配置了yarn-site.xml、hdfs-site.xml、core-site.xml和mapred-site.xml。
我上传了HDFS中的示例文件。当我使用以下命令在hadoop-mapreduce-examples-2.7.3.jar中执行wordcount程序时
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'a
浏览 69提问于2017-01-28得票数 0
我在跟踪PAI的工作。
这是我工作的配置：
{
"jobName": "yuan_tensorflow-distributed-jobguid",
"image": "docker.io/openpai/pai.run.tensorflow",
"dataDir": "hdfs://10.11.3.2:9000/yuan/sample/tensorflow",
"outputDir": "$PAI_DEFAULT_FS_URI/yuan/tensorflow-
浏览 0提问于2018-06-19得票数 0
回答已采纳
我已经为hadoop纱线设置了docker，并且我正在尝试设置livy apache服务器来为作业提交进行API调用。
下面的日志表示livy-server启动了一段时间，然后自动停止
19/08/17 07:09:35 INFO utils.LineBufferedStream: Welcome to
19/08/17 07:09:35 INFO utils.LineBufferedStream: ____ __
19/08/17 07:09:35 INFO utils.LineBufferedStream: / __/__ ___ ____
浏览 0提问于2019-08-17得票数 1
2回答
我正在运行一个风暴(三叉戟)拓扑结构，从kafka读取avro &用hbase编写记录。拓扑按预期在Local群集模式下运行，但在使用Stormsubmitter时，我面临以下问题。
在分布式Hadoop模式下，我在启动纱线应用程序时得到了下面的错误1。
在Hadoop (本地模式，只有1盒)中，Yarn正在生成nimbus服务器和storm。但是没有监督运行拓扑中的喷口/螺栓。我想原因可能是内存不足(4G运行拓扑+ hbase、hdfs、kafka、动物园管理员等)。
你能帮我了解一下这个集装箱故障的原因吗？应用程序日志中没有错误/信息。
一个纱线容器未能启动，在运行
浏览 6提问于2014-11-06得票数 1
2回答
当我执行rhadoop示例时，会发生以下错误。
正在超越虚拟内存限制。当前使用:使用了121.2 MB的1GB物理内存；2.1GB使用了2.1GB虚拟内存。杀人容器。
集装箱应要求而死亡。出口代码是143
以非零出口代码143退出的容器
hadoop流失败，错误代码1
我怎么才能修好它？
我的hadoop设置。
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
浏览 3提问于2017-04-16得票数 8
回答已采纳
"C:/Program /Java/jdk1.8.0_181“)
library(rJava)
library(rhdfs)
library(rmr2)
hdfs.init()After setting up Hadoop single node cluster on my machine, I tried to execute commands using R-Studio in windows. However, I am getting an error message with following code:
Sys.setenv(HADOOP_HOME=
浏览 0提问于2018-08-12得票数 2
1回答
我使用Hadoop2.7.3版本和hive1.2.1版本。我面临使用tez引擎蜂箱的问题。是否存在设置错误或其他类型的错误？
使用jar:file:/usr/local/hive/lib/hive-common-1.2.1.jar!/hive-log4j.properties中的配置初始化日志记录
SLF4J:类路径包含多个SLF4J绑定。jar:file:/home/hduser/tez/tez/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class中找到的SLF4J绑定
jar:file:/usr/loc
浏览 0提问于2019-09-16得票数 0
我无法在yarn中提交作业。在yarn-client选项下，cluster.The作业运行正常。将其提交到yarn-cluster时，仅此日志会多次出现。
Application report for application_1421828570504_0002 (state: ACCEPTED)
并因以下异常而失败。
diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app
attempt_1421828570504_0002_000010 exit
浏览 0提问于2015-01-21得票数 0
我设置了一个spark-yarn集群环境，Spark(2.2.0)在Windows7中；yarn集群是hadoop 2.7.3。
我运行"spark-shell“来使用SparkSQL：
spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spark-archive.zip
现在一切正常，但是当我启动另一个"spark-shell“时，下面的消息似乎永远不会结束到控制台的输出：
17/10/17 1
浏览 2提问于2017-10-19得票数 3
3回答
我正在使用YARN (和Dask)版本Hadoop2.7.3-amzn-1在AWS EMR上构建一个应用程序。我正在尝试测试各种失败场景，并且我想模拟一个容器失败。我似乎找不到一种简单的方法来杀死一个纱线容器-只有整个应用程序。有没有一个命令行工具来解决这个问题？
浏览 16提问于2019-07-02得票数 2
回答已采纳
1回答
我已经在Ubuntu 16.04上以独立模式设置了hadoop 2.7.3。我已经安装了Hive 2.1.1并在HQL上工作。大多数查询都会触发MR作业。当我运行触发MR作业的查询时，系统通过终止所有进程自动注销。当我检查Node Manager的日志时，我可以看到导致问题的语句是：
WARN org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor: Exit code from container container_1494943588964_0010_01_000001 is : 143
2017-05-16
浏览 4提问于2017-05-16得票数 3
我有相同的问题，在下面的链接。
请您帮我解决这个问题，我在ApacheHadoop2.7.3 EC2 installation.Does上有同样的问题--链接中提到的属性需要同时添加到名称和数据节点配置文件中？如果是的话，.xmls全部是什么？提前谢谢。
另外，应用程序正试图访问EC2上的内部ip，根据下面的错误，我需要打开任何端口吗？上面写着8042在Web上。
在jps上显示了所有节点以及Nodemanager和Resource (RM)。
当我试图运行映射减少示例时，Namenode出错如下：
作业job_1506038808044_0002失败，状态由于以下原因而失败:应用程序app
浏览 1提问于2017-09-22得票数 0
回答已采纳
我想执行以下命令：
import subprocess
import os
JAVA_HOME = "export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/"
HADOOP_HOME = "export HADOOP_HOME=/opt/hadoop-2.7.3"
os.system(JAVA_HOME)
os.system(HADOOP_HOME)
#proc1 = subprocess.run([self.JAVA_HOME])
#proc2 = subprocess.run([self.HADOO
浏览 15提问于2018-06-22得票数 0
回答已采纳
2回答
我创造了很多容器。我是这个码头集装箱系统的新手。我做了一个码头ps -a，然后我得到以下结果
debian@osboxes:~$ docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
a6a62181dcf0 python "/bin/bash" About a
浏览 8提问于2020-02-19得票数 1
回答已采纳
尝试运行一些hadoop程序。我看到NameNode、Datanode、Yarn集群URL正在启动和运行。即127.0.0.1:50070 /dfshealth.jsp，本地主机:8088/群集/群集，等等
但是，当我尝试以$ hadoop、hdfs://localhost/user/cyg_server/input/myfile.txt、hdfs: //localhost/user/cyg_server/ MySampleProgram /op的形式运行mapreduce程序时
程序在日志中失败：
INFO mapreduce.Job (Job.java:monitorAndPrintJo
浏览 4提问于2012-12-03得票数 3
当我试图在Fedora上执行任何M/R2作业时，我得到了这个异常。Hadoop 2.7.3和2.8.0存在相同的问题。这包括蜂巢。
[hadoop@master hadoop]$ yarn classpath
/opt/hadoop/hadoop-2.7.3/conf
/opt/hadoop/hadoop-2.7.3/conf
/opt/hadoop/hadoop-2.7.3/conf:/opt/hadoop/hadoop/share/hadoop/common/lib/*
/opt/hadoop/hadoop/share/hadoop/common/*
/opt/hadoop/hadoop/
浏览 2提问于2017-06-26得票数 1
使用Java，如何确定当前集群减少插槽的总数？(如果我能得到目前使用的插槽数量，那将是一种奖励。)
我的用例:我有一个Hadoop作业，它启动另一个Hadoop作业。对于第二份工作，我必须设置减速器的数量。这应该基于可用的插槽数量。此外，集群的大小可能会发生变化。
我正在使用Hadoop2.7.3。它通常运行在Amazon上，但我更喜欢只使用Hadoop的解决方案。
浏览 3提问于2019-10-31得票数 1
回答已采纳
我的datanode不是在Hadoop2.7.3多节点中启动的(1个主节点，2个从节点)
以下是我的配置文件：
core-site.xml (在主和奴隶中)
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
<description>A base for other temporary directories.</description>
</propert
浏览 2提问于2016-12-24得票数 0
回答已采纳
3回答
我使用Spark Streaming 2.10、Kafka_2.11-0.10.0.0和Spark-streaming-0-10-2.11-2.10。
spark-submit --version
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ '_/
/___/ .__/\_,_/_/ /_/\_\ version 2.1.0
/_/
Using Scala version 2.11.8, Java HotSpot(TM) 6
浏览 4提问于2017-06-28得票数 4
Hadoop2.7安装在/opt/pro/hadoop/hadoop-2.7.3上的主服务器上，然后将整个安装复制到从服务器，但目录/opt/pro/hadoop-2.7.3不同。然后在从机上更新环境变量(例如，HADOOP_HOME、namenode的hdfs_site.xml和datanode)。
现在，我可以在从站成功地运行hadoop version。但是，在主程序中，start-dfs.sh在消息中失败：
17/02/18 10:24:32 WARN util.NativeCodeLoader: Unable to load native-hadoop library for you
浏览 2提问于2017-02-18得票数 2
回答已采纳
我正在hadoop环境(Hadoop 2.7.3)中使用一些bash脚本运行oozie工作流。但是我的工作流失败了，因为我的shell操作出错。将命令输出保存到一个文件中作为日志后，我在其中找到了下面的条目： moveToLocal: Option '-moveToLocal' is not implemented yet. 在我得到这个错误后，我的shell操作失败，因为它将此视为错误并导致整个操作失败？ 另外，这一行意味着我当前版本的hadoop (2.7.3)不支持该命令？
浏览 301提问于2019-06-19得票数 0
我正在尝试在我的笔记本电脑上设置hadoop。我遵循了一些关于设置hadoop的教程。
我运行了这个命令：
bin/hdfs dfs -mkdir /user/<username>
如果我再次运行它，它会显示已经存在。
我尝试使用以下命令运行测试jar文件：
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar grep input output 'dfs[a-z.]+'
并接收此异常
16/01/22 15:11:06 INFO mapreduce.JobSubmit
浏览 2提问于2016-01-23得票数 0
我试图在本地机器上运行数据处理管道的副本，该管道在集群上正确工作，hadoop和hbase在独立模式下工作。管道中很少包含一个接一个地启动的mapreduce作业，其中一个任务的映射器没有在输出中写入任何内容(取决于输入，但它在我的测试中没有写任何东西)，而是有减速器。在此作业运行期间，我收到此异常：
16:42:19,322 [INFO] [localfetcher#13] o.a.h.i.c.CodecPool: Got brand-new decompressor [.gz]
16:42:19,322 [INFO] [localfetcher#13] o.a.h.m.t.r.Local
浏览 2提问于2021-01-21得票数 0
回答已采纳
2回答
纱线罐上的火花上传问题
、、、
我正在尝试使用spark运行一个简单的Map/Reduce java程序(ClouderaHadoop5.2在CentOS上)。我试过这两种不同的方法。第一种方法是：
YARN_CONF_DIR=/usr/lib/hadoop-yarn/etc/hadoop/;
/var/tmp/spark/spark-1.4.0-bin-hadoop2.4/bin/spark-submit --class MRContainer --master yarn-cluster --jars /var/tmp/spark/spark-1.4.0-bin-hadoop2.4/lib/spark-assembly-
浏览 1提问于2015-06-17得票数 4
回答已采纳
在OSX上启动hadoop资源管理器时，出现以下错误：
bash-3.2$ start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /Users/hadoop/hadoop-2.7.3/logs/yarn-hadoop-resourcemanager-MacBook-Pro-2.local.out
nohup: can't detach from console: Inappropriate ioctl for device
localhost: starting nodemanager,
浏览 7提问于2016-09-14得票数 3
我正在尝试构建一个简单的Hadoop mapreduce程序，我选择了Java来完成这项工作。我查看了周围的示例代码，并尝试构建自己。我创建了以下gradle脚本，当我查看已安装的依赖项时，它们都没有Mapper或Reducer。甚至连org.apache.hadoop.mapreduce包都没有。
group 'org.ardilgulez.demoprojects'
version '1.0-SNAPSHOT'
apply plugin: 'java'
repositories {
mavenCentral()
}
depend
浏览 0提问于2016-10-29得票数 0
1回答
我是一个构建工具，它要求我在Hive SemanticAnalyzer中运行SemanticAnalyzer作业。当我运行处理启动Hive驱动程序的自定义java程序时，MapReduce作业运行良好。但是，当我试图通过修改HiveServer2和Hive (连接到我修改的服务器的良好连接)来执行Hook时，MapReduce作业会失败，但会出现以下错误：
Application application_1395851979242_0009 failed 2 times due to AM Container for appattempt_1395851979242_0009_000002 e
浏览 2提问于2014-04-02得票数 0
回答已采纳
4回答
我想在我的笔记本电脑上教我自己。我的目标是使伪分布式模式运行。
我正在跟踪Apache上的，以便在Ubuntu中设置Hadoop和HDFS，但我无法让它工作。以下是我迄今所遵循的步骤：
1)检查Java版本：
sudo apt-get update
sudo apt-get install default-jdk
java -version
返回：
openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-8u111-b14-2ubuntu0.16.04.2-b14)
OpenJDK 64-
浏览 8提问于2016-12-10得票数 2
回答已采纳
在Hadoop中， "AM容器“中的AM是什么意思？
有许多关于MapReduce错误的帖子，“由于AM容器失败2次”.“容器启动的例外: org.apache.hadoop.util.Shell$ExitCodeException”.但是没有人能解决我的问题(用我的HBase工作)。
我是一个初学者，我想从知道AM代表什么开始。我在网上找不到任何东西。
浏览 8提问于2014-08-18得票数 7
回答已采纳
我使用RHadoop的代码如下：
Sys.setenv(HADOOP_OPTS="-Djava.library.path=/usr/local/hadoop/lib/native")
Sys.setenv(HADOOP_HOME="/usr/local/hadoop")
Sys.setenv(HADOOP_CMD="/usr/local/hadoop/bin/hadoop")
Sys.setenv(HADOOP_STREAMING="/usr/local/hadoop/share/hadoop/tools/lib/hadoop-strea
浏览 2提问于2018-06-12得票数 1
我们使用Hadoop 2.7.3。HDFS磁盘均衡器是Hadoop3的一个新特性。在Hadoop2中使用HDFS磁盘均衡器的最佳替代方法是什么？
浏览 22提问于2019-07-05得票数 1
我正在我的大学项目中使用Hadoop，我正在构建一个用于演示目的的应用程序。我决定使用REST API，因为我将进行远程演示。我正在尝试使用JSON查询来运行'wordcount‘示例，它似乎工作得很好。
我的问题是为什么Hadoop启动两个应用程序，见下图：
我提交了申请："application_1427474834422_0076“，然后另一个就开始了。这是正常行为吗？还有呢。进度条没有以18.2%的速度移动，最终失败
下面是我使用的JSON查询
{
"application-id": "application_147125511
浏览 1提问于2016-08-16得票数 0
我有一个带有Java应用程序的Docker容器，该应用程序使用DB来持久化一些数据。我的应用程序有一个类，它扩展了另一个不是我的代码的类(具体地说，SinkTask，一个来自Kafka的类，用于将数据从Kafka传输到另一个系统)。当应用程序启动时，它会打开一个到数据库的连接。有时，数据库关闭连接，任务开始失败。这些失败抛出的异常是在我的代码的一部分中捕获的，我可以想到不同的方法来处理它们: 1.简单地从应用程序中执行代码，停止并再次启动连接2.重新启动Docker容器，在进程中创建一个新连接 我认为最好的解决方案是第一种。但是，我想知道如何触发第二种情况。我的猜测是，我应该在catch块中
浏览 16提问于2019-07-02得票数 2
回答已采纳
我的mac上的Hadoop 2.7.3安装在：
/usr/local/Cellar/hadoop/2.7.3
我编写了一个使用java从HDFS读取文件的演示程序：
import java.io.*;
import java.net.URI;
import java.net.URISyntaxException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
im
浏览 3提问于2016-11-12得票数 0
回答已采纳
Apache spark 1.1.0与hadoop 2.4的结合
也是我的cluster is on CDH 5.1.3
我尝试使用下面的命令启动spark with yarn。
./spark-shell --master yarn
./spark-shell --master yarn-client
我有以下例外：
14/10/15 21:33:32 INFO cluster.YarnClientSchedulerBackend: ASM的应用报告: appMasterRpcPort: 0 appStartTime: 1413388999108 yarnAppState: ASM
14
浏览 2提问于2014-10-15得票数 0
回答已采纳
1回答
我试着在mac上读取猪壳上的csv文件。我所做的就是将一个文件load到一个变量中，然后dump这个变量。我就是这样做的：
movies = LOAD '/user/myhome/movies_data.csv' USING PigStorage(',') as (id,name,year,rating,duration);
DUMP movies;
我使用的数据是从github提供的下载的
此文件可在我的mac上本地安装的hdfs中使用。当我做dump时，我会得到一个错误：
org.apache.pig.impl.logicalLayer.FrontendE
浏览 0提问于2015-10-04得票数 0
1回答
我在Hadoop2.6上运行Hive1.2，并在3个节点上加载了一个大小为21 am的拼花表，该表存储在HDFS中，复制因子为1。我正在运行一个简单的选择查询，它不返回任何行(主要是为了衡量整个表扫描的性能)：
select * from myParquetTable where id < 0;
但是，我一直从"ParquetFileReader“(接近仅映射作业的末尾)获得Java堆空间内存问题：
parquet.hadoop.ParquetFileReader$ConsecutiveChunkList.readAll(ParquetFileReader.java:755)
浏览 4提问于2015-07-30得票数 1
我有一份在Asp.net Core中运行Asp.net的Kubernetes工作。
在进行了一些处理之后，BackgroundService通过调用StopApplication启动关闭。
当BackgroundService中有异常时，是否有方法关闭应用程序并将Kubernetes作业设置为失败状态？
浏览 0提问于2019-12-18得票数 1
回答已采纳
默认情况下，hadoop 2.7.3中的一个作业可以有两个映射器。我有一个由2个系统组成的集群，每个系统上都有4个可用内核。一个是master，一个是worker。现在我想运行3个map任务worker节点。我能做到吗？我正在使用hadoop流来运行作业。那么，为了这个目的，我应该设置什么参数。另外，我只想将一个输入(行)设置为一个映射器。参数的格式应该是什么。我当前没有完成作业的命令是
hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-streaming-2.7.3.jar\
-D mapred.output.compress
浏览 18提问于2017-01-09得票数 1
1回答
我查看了有关Azure Databricks外部Hive Metastore (Azure SQL数据库)使用的文档。
我能够下载罐子并将它们放入/dbfs/hive_metastore_jar中。
下一步是使用Init文件运行集群：
# Hive-specific configuration options.
# spark.hadoop prefix is added to make sure these Hive specific options propagate to the metastore client.
# JDBC connect string for a JDBC met
浏览 1提问于2021-02-08得票数 1
回答已采纳
1回答
我正在尝试运行一个insert查询，并使用mapreduce面对以下错误
应用程序application_1609169302439_0001失败2次，原因是appattempt_1609169302439_0001_000002的AM容器退出，exitCode: 1失败，此attempt.Diagnostics: 2020-28 16:29:05.332源于容器启动。容器id: container_1609169302439_0001_02_000001退出代码: 1 2020-12-28 16:29:05.335容器与非零退出代码一起退出。错误文件: prelaunch.err。最后409
浏览 3提问于2020-12-28得票数 0
我使用的是mac和java版本：
$java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)
遵循以下链接：
我首先根据需要安装hadoop、config ssh连接和xml文件，并且
start-dfs.sh
start-yarn.sh
屏幕输出如下：
$start-dfs.sh
17/05/06 09:58:32 WAR
浏览 3提问于2017-05-06得票数 1
回答已采纳
1回答
我使用Rumen mine作业历史文件，包含job-trace.json和job-topology.json。GirdMix的用法如下： $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/tools/lib/hadoop-gridmix-2.7.3.jar -libjars $HADOOP_HOME/share/hadoop/tools/lib/hadoop-rumen-2.7.3.jar -Dgridmix.compression-emulation.enable=false <iopath> <trace>
浏览 19提问于2019-03-07得票数 1
谢谢您的提示，斯科特，我第二次下载了它&确保了它的大小就像您提到的那样：
C:\Users>a127 usergrid download
Downloading Usergrid and Portal as needed...
..............................................................................do
wnloaded
- 'C:\Users\sgs\.a127\usergrid\usergrid-launcher-0.0.29.jar'
- 'C:\Users\sgs\
浏览 4提问于2014-11-30得票数 0
回答已采纳
我有一个名为centos7_hadoop的码头映像，我运行以下命令create容器
docker run --network hadoop-network --name hadoop1 --hostname hadoop1 -d -P centos7_hadoop
当我运行它时，我很高兴，好像我进入了一个像hadoop1这样的新主机
docker exec -it hadoop1 /bin/bash
因此，我想存储我的足迹，我在/etc/host中写了一行。在此之前
172.18.0.4 hadoop1
之后
172.18.0.4 hadoop1
172.18.0.2
浏览 1提问于2018-11-29得票数 0
回答已采纳
我试图使用Java1.7SDK和Hadoop2.7.1在Mac船长10.11上运行一个简单的wordcount MapReduce程序，我在容器日志"stderr“/bin/bash: /bin/ Java :没有这样的文件或目录中得到以下错误消息
申请日志-
5/11/27 02:52:33 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
15/11/27 02:52:33
浏览 0提问于2015-11-28得票数 15
回答已采纳
我在这个网站上查过了解决方案。
我转到(hadoop文件夹)/data/dfs/datanode来更改ID。
但是，datanode文件夹中没有任何内容。
我能做什么?
谢谢你的阅读。
如果你帮我，我会感激你的。
PS
2017-04-11 20:24:05,507警告org.apache.hadoop.hdfs.server.common.Storage:未能添加存储目录DISKfile:/tmp/hadoop/dfs/data/
java.io.IOException: /tmp/hadoop-knu/dfs/ clusterID /data: namenode clusterID =CI
浏览 5提问于2017-04-11得票数 1
回答已采纳
我尝试让Newrelic java代理在停靠容器中运行，以监视在停靠容器中运行的HiveMetaStore服务器。 为了在JVM启动期间启动Newrelic代理，我必须将-javaagent /path/ to /newrelic.jar标志传递给JVM。 我试过了： hive --service metastore -javaagent /path/to/newrelic.jar 这在HiveMetaStore服务器代码中失败，出现“无法识别的选项”，它本不应该结束。 配置单元脚本调用bin/ext/metaore.sh脚本，后者依次调用 exec $HADOOP jar $JAR
浏览 31提问于2020-03-21得票数 2
public void readFile(String file) throws IOException {
Cofiguration conf = new Configuration();
conf.addResource(new Path("/usr/local/hadoop-2.7.3/etc/hadoop/core-site.xml"))
conf.addResource(new Path("/usr/local/hadoop-2.7.3/etc/hadoop/hdfs-site.xml"))
conf.addResour
浏览 16提问于2017-07-20得票数 0
我知道hadoop集群中只有资源管理器。根据我的理解，集群应该只有一个应用程序母版。是那么回事吗？以下是我对如何在纱线中运行mapreduce作业的理解。如果我的理解不正确，请纠正。
纱线上步骤的应用执行顺序：
客户端向资源管理器(RM)提交一个作业。RM在节点大师上运行。整个集群中只有一个RM来管理资源。资源管理器是一个守护进程。
RM将通过名称节点转到HDFS。
RM启动应用程序母版(AM)。AM将通过名称节点到达HDFS。它将创建一个映射矩阵。这是地图绘制阶段。就像名称Node 5或6上有块1一样。
根据Mapper矩阵信息，AM向单个节点管理器(NM)发送请求，以运行每
浏览 2提问于2016-06-17得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
