0790-5.16.2-NameNode服务的edits不同步异常
0790-5.16.2-NameNode服务的edits不同步异常
问题描述
启动NameNode时候出现下面异常信息，启动失败
Encountered exception loading fsimage
java.io.IOException: There appears to be a gap in the edit log. We expected txid 2638640356, but got txid 2638864045.
at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:212)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:140)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:846)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:701)
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:292)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1081)
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:778)
at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:613)
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:675)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:843)
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:822)
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1543)
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1611)
Failed to start namenode.
java.io.IOException: There appears to be a gap in the edit log. We expected txid 2638640356, but got txid 2638864045.
at org.apache.hadoop.hdfs.server.namenode.MetaRecoveryContext.editLogLoaderPrompt(MetaRecoveryContext.java:94)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadEditRecords(FSEditLogLoader.java:212)
at org.apache.hadoop.hdfs.server.namenode.FSEditLogLoader.loadFSEdits(FSEditLogLoader.java:140)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadEdits(FSImage.java:846)
at org.apache.hadoop.hdfs.server.namenode.FSImage.loadFSImage(FSImage.java:701)这问题重现
2.1当前集群状态
1.集群版本是5.16.2
2.集群HDFS服务启用了高可用
3.当前集群服务正常
2.2重现过程
1.移走集群中所有JournalNode节点目录下的同一个edits文件，比如下面图片中的文件 edits_0000000000001904836-0000000000001904904
2.重启NameNode，重现启动失败的异常
3.查看NameNode启动日志，可以看到下面的报错和上文的一样
问题分析
从上面的异常日志可以看到“We expected txid 1904836, but got txid 1904905”是edits log日志有丢失，预期的txid是1904836，但是当前的txid为1904905。
我们手动移走的文件为edits_0000000000001904836-0000000000001904904，ID与报错信息吻合，在启动NameNode的时候，合并edits log文件，找不到我们移走的文件，导致合并失败，就造成了启动NameNode失败。
问题解决
根据上文的分析，我们需要把丢失的edits文件拷贝回去。
1.这里可以从Active NameNode或者Standby NameNode的数据目录中去拷贝回来丢失的edits文件
[root@cdp2 current]# pwd
/dfs/nn/current
[root@cdp2 current]# mv edits_0000000000001904836-0000000000001904904 /dfs/jn/dd/current/
2.重启NameNode，服务正常
3.进行HDFS验证，服务正常
进行文件上传和查看均正常。
总结
1.NameNode启动时的fsimage是直接从本地获取，而edits是从JournalNode上获取的。根据日志的异常提示，edits文件不同步，所以需要去JournalNode节点上确认是否缺失了日志提示的文件块。
2.在NameNode的数据目录中，保存有edits log文件，由于JournalNode数据目录的文件丢失，所以可以从NameNode节点的数据目录找到丢失的文件，复制到JournalNode的数据目录下，再重启NameNode即可。
3.在所有的JournalNode的数据目录中，只需要任意一个目录edits log文件是完整的，NameNode即可正常启动。否则就需要从别处拷贝完整的回来。
腾讯云开发者
