腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

闵开慧

专栏作者

237

文章

389514

阅读量

51

订阅数

Error: Could not find or load main class org.apache.hadoop.mapred.YarnChild

hadoop yarn node.js 大数据

执行hadoop classpath 在hadoop配置文件 yarn-site中添加以下配置 <property> <name>yarn.application.classpath</name> <value>/home/hadoop/hadoop-3.3.1/etc/hadoop:/home/hadoop/hadoop-3.3.1/share/hadoop/common/lib/:/home/hadoop/hadoop-3.3.1/share/hadoop/common/:/home/

2021-08-05

1.1K0

centos7中ssh需要密码

ssh kerberos api linux hadoop

# OpenBSD: sshd_config,v 1.100 2016/08/15 12:32:04 naddy Exp

2021-08-05

8340

intellij13中svn安装配置

svn windows hadoop

1 在windows中安装配置svn，和一般安装svn一样。 2 intellij13中svn配置 2.1 设置svn路径如下图所示点击fix it进入下一步，如图所示不勾选Use c

2018-04-02

5730

如何恢复hadoop中被删除的文件

hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.Trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下： 1 设置.Trash文件夹如果需要恢复hdfs中文件，就需要设置.Trash，hadoop的.Trash默认是关闭的。具体设置如下： <property> <name>fs.trash.interval</name> <value>10080</

2018-04-02

3.5K0

spark出现GC overhead limit exceeded和java heap space

spark java yarn jvm hadoop

spark执行任务时出现java.lang.OutOfMemoryError: GC overhead limit exceeded和java.lang.OutOfMemoryError: java heap space 最直接的解决方式就是在spark-env.sh中将下面两个参数调节的尽量大 export SPARK_EXECUTOR_MEMORY=6000M export SPARK_DRIVER_MEMORY=7000M 注意，此两个参数设置需要注意大小顺序： SPA

2018-04-02

4.4K0

spark on yarn提交任务时一直显示ACCEPTED

spark yarn shell hadoop

spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark on yarn是不需要启动spark集群的，只需要在提交任务的机器配置spark就可以了，因为任务是由hadoop来执行的，spark只负责任务的提交。任务提交命令为 bin/spark-submit --class org.apache.spark.examples.JavaWordCount\ --mas

2018-04-02

3.7K0

Permission denied: user=root, access=WRITE

hive apache hadoop

hive> create database bbs; FAILED: Error in metadata: MetaException(message:Got exception: org.apache.hadoop.security.AccessControlException Permission denied: user=root, access=WRITE, inode="/user/hive/warehouse":hadoop:hadoop:drwxrwxr-x 原因：本地用户administra

2018-04-02

1.9K0

"/tmp/crontab.wVTqEJ":3: bad minute

crontab -e编辑后保存时出现： "/tmp/crontab.wVTqEJ":3: bad minute 这个提示的意思是crontab中的编辑格式不正确，包括时间格式等，在里面除了时间格式运行任务外不能加shell命令等，如果要使用shell则需要将任务制作成shell脚本，然后在crontab中调用该shell文件。

2018-04-02

8370

Please set $HADOOP_COMMON_HOME to the root

[root@centos2 sqoop-1.4.4.bin__hadoop-1.0.0]# bin/sqoop help Error: /usr/lib/hadoop does not exist! Please set $HADOOP_COMMON_HOME to the root of your Hadoop installation. 需要配置sqoop-env.sh文件在sqoop中conf目录下新复制一个sqoop-env.sh文件： [root@centos2 conf]# cp sqoop-

2018-04-02

1.2K0

启动hadoop2.3.0时显示JAVA_HOME is not set and could not

java jvm jdk hadoop

使用start-all.sh直接启动Hadoop 如果报如下错误：localhost:Error: JAVA_HOME is not set and could not be found.则是因为JAVA_HOME环境变量没有设置，需要在./etc/hadoop/hadoop-env.sh中设置JAVA_HOME， exportJAVA_HOME=$JAVA_HOME这样设置仍然会报错，只有使用绝对路径才不会报错。如：export JAVA_HOME=/usr/lib/jvm/jre-1.6.0-o

2018-04-02

1K0

org.apache.hadoop.mapreduce.JobContext

在java中调用sqoop接口进行mysql和hdfs直接数据传输时，遇到以下错误： Found interface org.apache.hadoop.mapreduce.JobContext, but class was expected 这里需要注意，sqoop有两个版本： sqoop-1.4.4.bin__hadoop-1.0.0.tar.gz（对应hadoop1版本） sqoop-1.4.4.bin__hadoop-2.0.4-alpha.tar.gz（对应hadoop2版本）出现上面的错误

2018-04-02

5730

Windows中Eclipse中Hadoop2.6.0配置

windows eclipse hadoop jdk svn

Windows10（64位）中Eclipse Luna Service Release 2 (4.4.2 64位)中Hadoop2.6.0配置 1 系统配置 Windows10（64位） Eclipse Luna Service Release 2 (4.4.2 64位) Hadoop2.6.0 JDK1.8.0（64位） SVN1.8.6 ANT1.9.6 2 Eclipse和Hadoop插件制作具体制作步骤参考文章：http://my.osch

2018-04-02

7560

Exception while getting block list java.lang.ArrayIndexOutOfBoundsException

java apache hadoop

datanode修改本地存储路径后，数据不一致导致namenode报一下错误： 2017-11-16 17:31:44,759 WARN org.apache.hadoop.hdfs.server.balancer.Balancer: Exception while getting block list org.apache.hadoop.ipc.RemoteException(java.lang.ArrayIndexOutOfBoundsException): java.lang.ArrayInde

2018-04-02

1.4K0

hadoop压缩与解压

hadoop 存储数据处理

1 压缩一般来说，计算机处理的数据都存在一些冗余度，同时数据中间，尤其是相邻数据间存在着相关性，所以可以通过一些有别于原始编码的特殊编码方式来保存数据，使数据占用的存储空间比较小，这个过程一般叫压缩。和压缩对应的概念是解压缩，就是将被压缩的数据从特殊编码方式还原为原始数据的过程。压缩广泛应用于海量数据处理中，对数据文件进行压缩，可以有效减少存储文件所需的空间，并加快数据在网络上或者到磁盘上的传输速度。在Hadoop中，压缩应用于文件存储、Map阶段到Reduce阶段的数据交换（需要打开相关的选项）等情

2018-03-30

1.6K0

hadoop数据库操作解析及注意事项

hadoop 数据库云数据库 SQL Server mapreduce

1 从mysql读数据到hdfs： mapreduce读数据库数据到hdfs使用map读取，连接数和map数对应，读的时候会锁表读取全量数据，此时，其它更新或者写入操作就会处于等待状态。所以读的数据库尽量不能为主库，而是用从库，主库主要负责写，从库主要负责读。若锁表读取主库全量数据，其它业务操作就会处于等待状态。 2 从hdfs写入数据到mysql： mapreduce从hdfs写数据到数据库，连接数对应reduce数据量。刚开始将hdfs数据读到数据库机器的内存中，最后通过事物将内存中所有

2018-03-30

1K0

启动datanode时50010和50020端口被占用

datanode无法启动，在datanode上查看启动日志发现，启动datanode时50010和50020端口被占用，导致datanode无法启动。 1 在datanode上使用root用户登录，查看所有端口被占用情况 netstat -a -t --numeric-ports -p tcp 0 0 *:50010 *:* LISTEN 14141/java

2018-03-30

2.4K0

hadoop安装配置过程总结

一、Jdk安装系统已经默认有安装，但不完全，所以需要自己安装配置环境变量：在usr下新建java文件夹，将Java7压缩文件解压在该文件夹中，并配置系统文件： nano /etc/profile #export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL export JAVA_HOME=/usr/java/jdk1.7.0_51 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$J

2018-03-30

8400

hive安装配置（0.11版本）

hive hadoop 云数据库 SQL Server 数据库存储

1 假设Hadoop已经安装并配置正确，MySQL已经正确安装 2 为支持Hive的多用户多会话需求，需要使用一个独立的数据库存储元数据。这里选择MySQL存储Hive的元数据，现在为Hive创建元数据库： mysql> create database hive; mysql> create user 'hive' identified by '123456'; mysql> grant all privileges on *.* to 'hive'@'%' with grant option; f

2018-03-30

7180

Hadoop作业提交与执行源码分析

Hadoop作业提交与执行源码分析 1 概述 Job执行整体流程图 2 Job创建与提交过程 2.1 Configuration类 Configuration类定义了如下私有成员变量： /*第一个是boolean型变量quietmode，用于设置加载配置的模式。通过阅读源代码就可以清楚，这个quietmode如果为true，实际上默认就为true，加载配置的模式为快速模式，其实也就是在解析配置文件的过程中，不输出日志信息的模式*/ private boole

2018-03-30

1.6K0

Missing Hive Execution Jar: /.../hive-exec-*.jar

运行hive时显示Missing Hive Execution Jar: /usr/hive/hive-0.11.0/bin/lib/hive-exec-*.jar 细细分析这个目录/bin/lib，在hive安装文件夹中这两个目录是并列的，而系统能够找到这样的链接，说明hive在centos系统配置文件中的路径有误，打开 /etc/profile会发现hive的配置路径为 export PATH=$JAVA_HOME/bin:$PATH:/usr/hive/hive-0.11.0/bin 明

2018-03-30

2.3K0

点击加载更多

社区活动

RAG七天入门训练营

鹅厂大牛手把手带你上手实战

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态