Exception while getting block list java.lang.ArrayIndexOutOfBoundsException

datanode修改本地存储路径后,数据不一致导致namenode报一下错误:

2017-11-16 17:31:44,759 WARN org.apache.hadoop.hdfs.server.balancer.Balancer: Exception while getting block list org.apache.hadoop.ipc.RemoteException(java.lang.ArrayIndexOutOfBoundsException): java.lang.ArrayIndexOutOfBoundsException

        at org.apache.hadoop.ipc.Client.call(Client.java:1411)         at org.apache.hadoop.ipc.Client.call(Client.java:1364)         at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)         at com.sun.proxy.$Proxy12.getBlocks(Unknown Source)

    这个应该是数据备份数不一致的原因,通过bin/hadoop fsck /查看很多文件备份数不足3份,然后将全部文件备份数设置为3份后问题解决,设置备份数命令bin/hadoop dfs -setrep -w 3 -R /

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏开发与安全

[置顶] linux网络编程之socket(十四):基于UDP协议的网络程序

一、下图是典型的UDP客户端/服务器通讯过程 ? 下面依照通信流程,我们来实现一个UDP回射客户/服务器 ?   #include <sys/types.h> ...

25700
来自专栏黄日成的专栏

浅析 P2P 穿越 NAT 的原理、技术、方法 (上)

在 NAT 环境下,实现 P2P 通信的完整解决方案包括几个部分呢?相关的原理、方法、技术有哪些?

2.3K10
来自专栏坚毅的PHP

python日志按时间切分-----TimedRotatingFileHandler

原生loggging类+ TimedRotatingFileHandler类 实现按day hour second 切分 原生loggging类+ Timed...

52560
来自专栏琯琯博客

laravel 5.4 + dingo api + jwt 代替 Passport

新装一个LV composer create-project --prefer-dist laravel/laravel myApiProject 安装ding...

40580
来自专栏Timhbw博客

CentOS 6/7 更新curl

2017-04-0810:17:24 发表评论 532℃热度 由于业务需要,服务器上的curl 版本太老了,有漏洞,于是抽点时间升级最新版本,确保服务器间通信...

2K60
来自专栏安富莱嵌入式技术分享

【RL-TCPnet网络教程】第15章 RL-TCPnet之创建多个TCP连接

本章节为大家讲解RL-TCPnet的TCP多客户端实现,因为多客户端在实际项目中用到的地方还挺多,所以我们也专门开启一个章节做讲解。另外,学习本章节前,务必要优...

18820
来自专栏Android 研究

android本地lib通过gradle上传到本地nexus上

在apply plugin: 'com.android.library'下添加如下内容:

24540
来自专栏杨建荣的学习笔记

sysdba登录报错insufficient privileges的原因分析(r7笔记第64天)

今天碰到一个奇怪的小问题,看起来是一个非常简单的问题。 我先说一下问题背景。有一台DB服务器,因为需要搭建备库,现在找了一台已有的机器临时用一下,这台临时的服务...

36060
来自专栏bboysoul

开源堡垒机jumpserver搭建

之前说了国产良心kodexplorer,今天再说一个国内比较好的开源项目jumpserver,除此之外还可以的国内开源项目我觉得就是宝塔面板了。废话不多说上教程...

86130
来自专栏散尽浮华

Linux下部署Samba服务环境的操作记录

关于Linux和Windows系统之间的文件传输,很多人选择使用FTP,相对较安全,但是有时还是会出现一些问题,比如上传文件时,文件名莫名出现乱码,文件大小改变...

46480

扫码关注云+社区

领取腾讯云代金券