应用性能监控

云压测

Prometheus 监控

云产品监控

数据库文档捉虫大赛邀您参加,好礼多多> HOT

命名空间

Namespace=QCE/TXMR_HDFS

监控指标

弹性 MapReduce(HDFS)提供 HDFS-OverviewHDFS-OverviewAggregationHDFS-NameNodeHDFS-DataNodeHDFS-Journal NodeHDFS-ZKFC 指标。
说明:
维度对应参数,请单击 各维度对应参数总览 查看。

HDFS-Overview

指标英文名
指标中文名
指标单位
指标含义
维度
EmrHdfsOverviewHdfsNnBlocksBlockstotal
BLOCKS数量_BlocksTotal
总 BLOCK 数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksCorruptblocks
BLOCKS数量_CorruptBlocks
坏块数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnVolumeFailuresVolumefailurestotal
磁盘故障_VolumeFailuresTotal
所有 Datanodes 的全故障总数
id4hdfsoverview
EmrHdfsOverviewHdfsNnFilesTotalFilestotal
集群文件总数量_FilesTotal
集群文件总数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksScheduledreplicationblocks
BLOCKS数量_ScheduledReplicationBlocks
安排要备份的块数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksPostponedmisreplicatedblocks
BLOCKS数量_PostponedMisreplicatedBlocks
被推迟处理的异常块数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodesCountNumdecommissioningdatanodes
集群数据节点_NumDecommissioningDataNodes
正在下线的节点数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlockCapacityBlockcapacity
BLOCK容量_BlockCapacity
GB
BLOCK 容量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksUnderreplicatedblocks
BLOCKS数量_UnderReplicatedBlocks
副本数不够的块数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnCapacityCapacityusednondfs
集群存储容量_CapacityUsedNonDFS
GB
集群非 HDFS 使用容量
id4hdfsoverview
EmrHdfsOverviewHdfsNnLoadTotalload
集群负载_TotalLoad
集群负载数
id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodesCountNumstaledatanodes
集群数据节点_NumStaleDataNodes
由于心跳延迟而标记为过期的 DataNodes 当前数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksPendingreplicationblocks
BLOCKS数量_PendingReplicationBlocks
等待被备份的块数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodesCountNumdeaddatanodes
集群数据节点_NumDeadDataNodes
已经标记为 Dead 状态的数据节点数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnSnapshotsSnapshots
SNAPSHOT相关_Snapshots
Snapshots 数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksPendingdeletionblocks
BLOCKS数量_PendingDeletionBlocks
等待被删除的块数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnCapacityCapacityused
集群存储容量_CapacityUsed
GB
集群储存已使用容量
id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodesCountNumdecomlivedatanodes
集群数据节点_NumDecomLiveDataNodes
下线且 Live 的节点数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnCapacityCapacitytotal
集群存储容量_CapacityTotal
GB
集群存储总容量
id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodesCountNumdecomdeaddatanodes
集群数据节点_NumDecomDeadDataNodes
下线且 Dead 的节点数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnCapacityCapacityremaining
集群存储容量_CapacityRemaining
GB
集群存储剩余容量
id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodesCountNumlivedatanodes
集群数据节点_NumLiveDataNodes
个活的数据节点数量
id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocksExcessblocks
BLOCKS数量_ExcessBlocks
多余的块数量
id4hdfsoverview

HDFS-OverviewAggregation

指标英文名
指标中文名
指标单位
指标含义
维度
EmrHdfsOverviewAggregationHdfsNnVolumeFailuresVolumefailurestotal
磁盘故障_VolumeFailuresTotal
所有 Datanodes 的全故障总数
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksPendingreplicationblocks
BLOCKS数量_PendingReplicationBlocks
等待被备份的块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksPendingdeletionblocks
BLOCKS数量_PendingDeletionBlocks
等待被删除的块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnCapacityCapacityused
集群存储容量_CapacityUsed
GB
集群储存已使用容量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksExcessblocks
BLOCKS数量_ExcessBlocks
多余的块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksBlockstotal
BLOCKS数量_BlocksTotal
块总数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksPostponedmisreplicatedblocks
BLOCKS数量_PostponedMisreplicatedBlocks
被推迟处理的异常块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlockCapacityBlockcapacity
BLOCK容量_BlockCapacity
BLOCK 容量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnCapacityCapacitytotal
集群存储容量_CapacityTotal
GB
集群存储总容量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnDatanodesCountNumstaledatanodes
集群数据节点_NumStaleDataNodes
由于心跳延迟而标记为过期的 DataNodes 当前数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksCorruptblocks
BLOCKS数量_CorruptBlocks
坏块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnSnapshotsSnapshots
SNAPSHOT相关_Snapshots
Snapshots 数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnDatanodesCountNumlivedatanodes
集群数据节点_NumLiveDataNodes
个活的数据节点数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnDatanodesCountNumdeaddatanodes
集群数据节点_NumDeadDataNodes
已经标记为 Dead 状态的数据节点数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksScheduledreplicationblocks
BLOCKS数量_ScheduledReplicationBlocks
安排要备份的块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnDatanodesCountNumdecomlivedatanodes
集群数据节点_NumDecomLiveDataNodes
下线且 Live 的节点数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnDatanodesCountNumdecommissioningdatanodes
集群数据节点_NumDecommissioningDataNodes
正在下线的节点数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnFilesTotalFilestotal
集群文件总数量_FilesTotal
集群文件总数量_
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnCapacityCapacityremaining
集群存储容量_CapacityRemaining
GB
集群存储剩余容量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnLoadTotalload
集群负载_TotalLoad
-
集群负载
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnBlocksUnderreplicatedblocks
BLOCKS数量_UnderReplicatedBlocks
副本数不够的块数量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnCapacityCapacityusednondfs
集群存储容量_CapacityUsedNonDFS
GB
集群非 HDFS 使用容量
id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNnDatanodesCountNumdecomdeaddatanodes
集群数据节点_NumDecomDeadDataNodes
下线且 Dead 的节点数量
id4hdfsoverview

HDFS-DataNode

指标英文名
指标中文名
指标单位
指标含义
维度
HdfsDnXceiverXceivercount
XCEIVER 数量_XceiverCount
Xceiver 数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBytesByteswrittenmb
数据读写速率_BytesReadMB
Bytes/s
写入 DN 的字节速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBytesBytesreadmb
数据读写速率_BytesReadMB
Bytes/s
读取 DN 的字节速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBytesRemotebytesreadmb
数据读写速率 _RemoteBytesReadMB
Bytes/s
远程客户端读取字节速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBytesRemotebyteswrittenmb
数据读写速率 _RemoteBytesWrittenMB
Bytes/s
远程客户端写入字节速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnClientWritesfromremoteclient
客户端连接数 _WritesFromRemoteClient
来自远程客户端写操作 QPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnClientWritesfromlocalclient
客户端连接数 _WritesFromLocalClient
来自本地客户端写操作 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnClientReadsfromremoteclient
客户端连接数 _ReadsFromRemoteClient
来自远程客户端读操作 QPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnClientReadsfromlocalclient
客户端连接数 _ReadsFromLocalClient
来自本地客户端读操作 QPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksVerifiedFailuresBlockverificationfailures
Block 校验失败 _BlockVerificationFailures
次/s
BLOCK 校验失败数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnVolumeFailuresVolumefailures
磁盘故障_VolumeFailures
次/s
磁盘故障次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnNetworkErrorsDatanodenetworkerrors
网络错误 _DatanodeNetworkErrors
次/s
网络错误统计
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnHbRtHeartbeatsavgtime
心跳延迟_HeartbeatsAvgTime
ms
心跳接口平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnHbOpsHeartbeatsnumops
心跳 QPS_HeartbeatsNumOps
次/s
心跳接口 QPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnDatapacketAvgtimeSenddatapackettransfernanosavgtime
包传输操作 QPS_SendDataPacketTransfer NanosAvgTime
ms
发送数据包平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsReadblockopnumops
数据块操作 _ReadBlockOpNumOps
次/s
从 DataNode 读取 Block OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsWriteblockopnumops
数据块操作 _WriteBlockOpNumOps
次/s
向 DataNode 写入 Block OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsBlockchecksumopnumops
数据块操作 _BlockChecksumOpNumOps
次/s
DataNode 进行 Checksum 操作的 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsCopyblockopnumops
数据块操作 _CopyBlockOpNumOps
次/s
复制 Block 操作的 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsReplaceblockopnumops
数据块操作 _ReplaceBlockOpNumOps
次/s
Replace Block 操作的 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsBlockreportsnumops
数据块操作 _BlockReportsNumOps
次/s
BLOCK 汇报动作的 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsIncrementalblockreportsnumops
数据块操作 _IncrementalBlockReports NumOps
次/s
BLOCK 增量汇报的 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsCachereportsnumops
数据块操作 _CacheReportsNumOps
次/s
缓存汇报的 OPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksOpsPacketackroundtriptimenanosnumops
数据块操作 _PacketAckRoundTripTimeNanos NumOps
次/s
每秒处理 ACK ROUND TRIP 次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnFsyncOpsFsyncnanosnumops
FSYNC 操作 _FsyncNanosNumOps
次/s
FSYNC 次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnFlushOpsFlushnanosnumops
FLUSH 操作 _FlushNanosNumOps
次/s
每秒处理 Flush 操作次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtReadblockopavgtime
数据块操作延迟统计 _ReadBlockOpAvgTime
ms
读取 Block 操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtWriteblockopavgtime
数据块操作延迟统计 _ReplaceBlockOpAvgTime
ms
写 Blcok 操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtBlockchecksumopavgtime
数据块操作延迟统计_BlockChecksumOpAvgTime
ms
块校验操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtCopyblockopavgtime
数据块操作延迟统计 _CopyBlockOpAvgTime
ms
复制块操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtReplaceblockopavgtime
数据块操作延迟统计 _Replaceblockopavgtime
ms
Replace Block 操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtBlockreportsavgtime
数据块操作延迟统计 _BlockReportsAvgTime
ms
块汇报平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtIncrementalblockreportsavgtime
数据块操作延迟统计 _IncrementalBlockReportsAvgTime
ms
增量块汇报平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtCachereportsavgtime
数据块操作延迟统计 _CacheReportsAvgTime
ms
缓存汇报平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnBlocksRtPacketackroundtriptimenanosavgtime
数据块操作延迟统计 _PacketAckRoundTripTimeNanos AvgTime
ms
处理 ACK ROUND TRIP 平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnFlushRtFlushnanosavgtime
FLUSH延迟_FlushNanosAvgTime
ms
Flush 操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnFsyncRtFsyncnanosavgtime
FSYNC延迟_FsyncNanosAvgTime
ms
Fsync 操作平均时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblockswrite
RAMDISKBlocks_Ram DiskBlocksWrite
块/s
写入内存的块的总数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblockswritefallback
RAMDISKBlocks_Ram DiskBlocksWriteFallback
块/s
写入内存但未成功的块总数(故障转移到磁盘)
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblocksdeletedbeforelazypersisted
RAMDISKBlocks_RamDiskBlocks DeletedBeforeLazyPersisted
块/s
应用程序在被保存到磁盘之前被删除的块的总数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblocksreadhits
RAMDISKBlocks_Ram DiskBlocksReadHits
块/s
内存中的块被读取的总次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblocksevicted
RAMDISKBlocks_Ram DiskBlocksEvicted
块/s
内存中被清除的块总数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblocksevictedwithoutread
RAMDISKBlocks_RamDiskBlocks EvictedWithoutRead
块/s
从内存中取出的内存块总数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskblockslazypersisted
RAMDISKBlocks_RamDisk BlocksLazyPersisted
块/s
惰性写入器写入磁盘的总数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksOpRamdiskbyteslazypersisted
RAMDISKBlocks_Ram DiskBytesLazyPersisted
Bytes/s
由懒惰写入器写入磁盘的总字节数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRamBlocksBytesRamdiskbyteswrite
RAMDISK 写入速度_RamDiskBytesWrite
Bytes/s
写入内存的总字节数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmMemMemnonheapusedm
JVM 内存 _MemNonHeapUsedM
MB
JVM 当前已经使用的 NonHeapMemory 的大小
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmMemMemnonheapcommittedm
JVM 内存 _MemNonHeapCommittedM
MB
JVM 配置的 NonHeapCommittedM 的大小
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmMemMemheapusedm
JVM 内存 _MemHeapUsedM
MB
JVM 当前已经使用的 HeapMemory 的大小
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmMemMemheapcommittedm
JVM 内存 _MemHeapCommittedM
MB
JVM HeapMemory 提交大小
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmMemMemheapmaxm
JVM 内存 _MemHeapMaxM
MB
JVM 配置的 HeapMemory 的大小
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmMemMemmaxm
JVM 内存 _MemMaxM
MB
JVM 运行时的可以使用的最大的内存的大小
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadsnew
JVM 线程数量 _ThreadsNew
处于新建状态的线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadsrunnable
JVM 线程数量 _ThreadsRunnable
处于可运行状态的线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadsblocked
JVM线程数量 _ThreadsBlocked
处于阻塞状态的线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadswaiting
JVM 线程数量 _ThreadsWaiting
处于 WAITING 状态的线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadstimedwaiting
JVM 线程数量 _ThreadsTimedWaiting
处于 TIMED WAITING 状态的线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadsterminated
JVM 线程数量 _ThreadsTerminated
处于 Terminated 状态的线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmLogTotalLogfatal
JVM 日志数量_LogFatal
Fatal 日志数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmLogTotalLogerror
JVM 日志数量_LogError
Error 日志数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmLogTotalLogwarn
JVM 日志数量_LogWarn
Warn 日志数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnJvmLogTotalLoginfo
JVM 日志数量_LogInfo
Info 日志数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilMemoryS0
内存区域占比_S0
%
Survivor 0区内存使用占比
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilMemoryS1
内存区域占比_S1
%
Survivor 1区内存使用占比
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilMemoryE
内存区域占比_E
%
Eden 区内存使用占比
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilMemoryO
内存区域占比_O
%
Old 区内存使用占比
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilMemoryM
内存区域占比_M
%
Metaspace 区内存使用占比
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilMemoryCcs
内存区域占比_CCS
%
Compressed class space 区内存使用占比
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilGcCountFgc
GC 次数_FGC
Full GC 次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilGcCountYgc
GC 次数_YGC
Young GC 次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilGcTimeYgct
GC 时间_YGCT
s
Young GC 消耗时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilGcTimeFgct
GC 时间_FGCT
s
Full GC 消耗时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnGcUtilGcTimeGct
GC 时间_GCT
s
垃圾回收时间消耗
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004RxtxReceivedbytes
数据流量_ReceivedBytes
Bytes/s
接收数据速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004RxtxSentbytes
数据流量_SentBytes
Bytes/s
发送数据速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004QpsRpcqueuetimenumops
QPS_RpcQueueTimeNumOps
次/s
RPC 调用速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004RtRpcqueuetimeavgtime
请求处理延迟 _RpcQueueTimeAvgTime
ms
RPC 平均延迟时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004AuthRpcauthenticationfailures
验证和授权 _RpcAuthenticationFailures
次/s
RPC 验证失败次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004AuthRpcauthenticationsuccesses
验证和授权 _RpcAuthenticationSuccesses
次/s
RPC 验证成功次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004AuthRpcauthorizationfailures
验证和授权 _RpcAuthorizationFailures
次/s
RPC 授权失败次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004AuthRpcauthorizationsuccesses
验证和授权 _RpcAuthorizationSuccesses
次/s
RPC 授权成功次数
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004ConnectionsNumopenconnections
当前连接数 _NumOpenConnections
当前链接数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnPort4004QueueLenCallqueuelength
RPC 处理队列长度 _CallQueueLength
当前 RPC 处理队列长度
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnThreadTimeCurrentthreadcputime
CPU 时间 _CurrentThreadCpuTime
ms
CPU时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnThreadTimeCurrentthreadusertime
CPU 时间 _CurrentThreadUserTime
ms
用户时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnStartTimeStarttime
线程数量 _DaemonThreadCount
s
进程启动时间
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnThreadCountPeakthreadcount
程数量_PeakThreadCount
峰值线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnThreadCountDaemonthreadcount
线程数量_DaemonThreadCount
后台线程数量
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRtWrit
读写延迟_Write
MB/s
磁盘写速率
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnRtRead
读写延迟_Read
次/s
读操作 QPS
id4hdfsdatanode、 host4hdfsdatanode
HdfsDnDatapacketOpsDatapacketops
包传输操作 QPS_DataPacketOps
次/s
包传输操作 QPS
id4hdfsdatanode、 host4hdfsdatanode

HDFS-NameNode

指标英文名
指标中文名
指标单位
指标含义
维度
HdfsNnTransactionsSincelastcheckpoint
总事务数_Sincelastcheckpoint
次数总和
总事务数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnTransactionRtTransactionsavgtime
事务操作延迟_TransactionsAvgTime
ms
处理 Journal transaction 操作的平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnTransactionOpsTransactionsnumops
事务操作_TransactionsNumOps
次/秒
每秒处理 Journal transaction 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnTransactionOpsTransactionsbatchedinsync
事务操作_TransactionsBatchedInSync
次/秒
每秒批量处理 Journal transaction 操作次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnThreadCountThreadcount
线程数量_ThreadCount
线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnThreadCountPeakthreadcount
线程数量_PeakThreadCount
峰值线程数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnThreadCountDaemonthreadcount
线程数量_DaemonThreadCount
后台线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSyncsRtSyncsavgtime
SYNCS操作延迟_SyncsAvgTime
ms
处理 Journal syncs 操作的平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSyncsOpsSyncsnumops
SYNC操作_SyncsNumOps
次/秒
每秒处理 Journal syncs 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnStateState
主备情况_State
NN 状态
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnStartTimeStarttime
启动时间_StartTime
ms
进程启动时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnStaleStoragesCountNumstalestorages
被标记为过期的存储的数量_NumStaleStorages
由于心跳延迟而标记为过期的 DataNodes 当前数目
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsSnapshotdiffreportops
SNAPSHOT操作_SnapshotDiffReportOps
次/秒
每秒执行 AllowSnapshot 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsRenamesnapshotops
SNAPSHOT操作_RenameSnapshotOps
次/秒
每秒执行 SnapshotDiffReportOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsListsnapshottabledirops
SNAPSHOT操作_ListSnapshottableDirOps
次/秒
每秒执行 RenameSnapshotOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsDisallowsnapshotops
SNAPSHOT操作_DisallowSnapshotOps
次/秒
每秒执行 ListSnapshottableDir 操作次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsDeletesnapshotops
SNAPSHOT操作_DeleteSnapshotOps
次/秒
每秒执行 DisallowSnapshot 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsCreatesnapshotops
SNAPSHOT操作_CreateSnapshotOps
次/秒
每秒执行 DeleteSnapshot 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnSnapshotOpsAllowsnapshotops
SNAPSHOT操作_AllowSnapshotOps
次/秒
每秒执行 CreateSnapshot 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007RxtxSentbytes
数据流量_SentBytes
B/s
发送数据速率
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007RxtxReceivedbytes
数据流量_ReceivedBytes
B/s
接收数据速率
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007RtRpcqueuetimeavgtime
请求处理延迟_RpcQueueTimeAvgTime
ms
RPC 平均延迟时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007RtRpcprocessingtimeavgtime
请求处理延迟_ RpcProcessingTimeAvgTime
ms
请求处理延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007QueueLenCallqueuelength
RPC处理队列长度_CallQueueLength
当前 RPC 处理队列长度
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007QpsRpcqueuetimenumops
QPS_RpcQueueTimeNumOps
次/秒
RPC 调用速率
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Settimesnumops
每秒调用次数_SetTimes
次/秒
SetTimes 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Setsafemodenumops
每秒调用次数_SetSafeMode
次/秒
SetSafeMode 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Setpermissionnumops
每秒调用次数_SetPermission
次/秒
SetPermission 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Mkdirsnumops
每秒调用次数_Mkdirs
次/秒
Mkdirs 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Listencryptionzonesnumops
每秒调用次数_ListEncryptionZones
次/秒
ListEncryptionZones 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Getserverdefaultsnumops
每秒调用次数_GetServerDefaults
次/秒
GetServerDefaults 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops3Getblocklocationsnumops
每秒调用次数_GetBlockLocations
次/秒
GetBlockLocations 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Versionrequestnumops
每秒调用次数_VersionRequest
次/秒
VersionRequest 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Renewleasenumops
每秒调用次数_RenewLease
次/秒
RenewLease 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Registerdatanodenumops
每秒调用次数_RegisterDatanode
次/秒
RegisterDatanode 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Fsyncnumops
每秒调用次数_Fsync
次/秒
Fsync 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Deletenumops
每秒调用次数_Delete
次/秒
Delete 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Blockreportnumops
每秒调用次数_BlockReport
次/秒
BlockReceivedAndDeleted 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops2Blockreceivedanddeletednumops
每秒调用次数_BlockReceivedAndDeleted
次/秒
SendHeartbeat 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Sendheartbeatnumops
每秒调用次数_SendHeartbeat
次/秒
Rename 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Renamenumops
每秒调用次数_Rename
次/秒
Rename 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Getlistingnumops
每秒调用次数_GetListing
次/秒
GetListing 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Getfileinfonumops
每秒调用次数_GetFileInfo
次/秒
GetFileInfo 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Createnumops
每秒调用次数_Create
次/秒
Create 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Completenumops
每秒调用次数_Complete
次/秒
Complete 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Numops1Addblocknumops
每秒调用次数_AddBlock
次/秒
AddBlock 每秒调用时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007ConnectionsNumopenconnections
当前连接数_NumOpenConnections
当前链接数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Settimesavgtime
请求平均延迟时间_SetTimes
毫秒
SetTimes 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Setsafemodeavgtime
请求平均延迟时间_SetSafeMode
毫秒
SetSafeMode 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Setpermissionavgtime
请求平均延迟时间_SetPermission
毫秒
SetPermission 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Mkdirsavgtime
请求平均延迟时间_Mkdirs
毫秒
Mkdirs 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Listencryptionzonesavgtime
请求平均延迟时间_ListEncryptionZones
毫秒
ListEncryptionZones 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Getserverdefaultsavgtime
请求平均延迟时间_GetServerDefaults
毫秒
GetServerDefaults 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime3Getblocklocationsavgtime
请求平均延迟时间_GetBlockLocations
毫秒
GetBlockLocations 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Versionrequestavgtime
请求平均延迟时间_VersionRequest
毫秒
VersionRequest 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Renewleaseavgtime
请求平均延迟时间_RenewLease
毫秒
RenewLease 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Registerdatanodeavgtime
请求平均延迟时间_RegisterDatanode
毫秒
RegisterDatanode 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Fsyncavgtime
请求平均延迟时间_Fsync
毫秒
Fsync 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Deleteavgtime
请求平均延迟时间_Delete
毫秒
Delete 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Blockreportavgtime
请求平均延迟时间_BlockReport
毫秒
BlockReceivedAndDeleted 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime2Blockreceivedanddeletedavgtime
请求平均延迟时间_BlockReceivedAndDeleted
毫秒
SendHeartbeat 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Sendheartbeatavgtime
请求平均延迟时间_SendHeartbeat
毫秒
Rename 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Renameavgtime
请求平均延迟时间_Rename
毫秒
Rename 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Getlistingavgtime
请求平均延迟时间_GetListing
毫秒
GetListing 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Getfileinfoavgtime
请求平均延迟时间_GetFileInfo
毫秒
GetFileInfo 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Createavgtime
请求平均延迟时间_Create
毫秒
Create 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Completeavgtime
请求平均延迟时间_Complete
毫秒
Complete 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007Avgtime1Addblockavgtime
请求平均延迟时间_AddBlock
毫秒
AddBlock 请求平均延时
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007AuthRpcauthorizationsuccesses
验证和授权_RpcAuthorizationSuccesses
RPC 授权成功次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007AuthRpcauthorizationfailures
验证和授权_RpcAuthorizationFailures
RPC 授权失败次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007AuthRpcauthenticationsuccesses
验证和授权_RpcAuthenticationSuccesses
RPC 验证成功次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPort4007AuthRpcauthenticationfailures
验证和授权_RpcAuthenticationFailures
RPC 验证失败次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnPendingDatanodeMessageCountPendingdatanodemessagecou
备 NN 上挂起的与 BLOCK 相关操作的消息数量_PendingDataNodeMessageCount
个/秒
备NN上挂起的与 BLOCK相关操作的消息数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnLockqueueLockqueuelength
等待文件锁的队列长度
次数总和
等待文件锁的队列长度
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmMemMemnonheapusedm
JVM内存_MemNonHeapUsedM
MB
JVM 当前已经使用的 NonHeapMemory 的大小
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmMemMemnonheapcommittedm
JVM内存_MemNonHeapCommittedM
MB
JVM 内存
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmMemMemmaxm
JVM内存_MemMaxM
MB
JVM 运行时的可以使用的最大的内存的大小
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmMemMemheapusedm
JVM内存_MemHeapUsedM
MB
JVM 当前已经使用的 HeapMemory 的大小
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmMemMemheapmaxm
JVM内存_MemHeapMaxM
MB
JVM 配置的 HeapMemory 的大小
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmMemMemheapcommittedm
JVM内存_MemHeapCommittedM
MB
JVM HeapMemory 提交大小
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmLogTotalLogwarn
JVM日志数量_LogWarn
Warn 日志数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmLogTotalLoginfo
JVM日志数量_LogInfo
Info 日志数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmLogTotalLogfatal
JVM日志数量_LogFatal
Fatal 日志数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmLogTotalLogerror
JVM日志数量_LogError
Error 日志数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmJavaThreadsThreadswaiting
JVM线程数量_ThreadsWaiting
处于新建状态的线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmJavaThreadsThreadstimedwaiting
JVM线程数量_ThreadsTimedWaiting
处于 WAITING 状态的线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmJavaThreadsThreadsterminated
JVM线程数量_ThreadsTerminated
处于 TIMED WAITING 状态的线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmJavaThreadsThreadsrunnable
JVM线程数量_ThreadsRunnable
处于 Terminated 状态的线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmJavaThreadsThreadsnew
JVM线程数量_ThreadsNew
处于可运行状态的线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnJvmJavaThreadsThreadsblocked
JVM线程数量_ThreadsBlocked
处于阻塞状态的线程数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnImageRtPutimageavgtime
镜像操作延迟_PutImageAvgTime
ms
写入镜像文件平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnImageRtGetimageavgtime
镜像操作延迟_GetImageAvgTime
ms
读取镜像文件平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnImageRtGeteditavgtime
镜像操作延迟_GetEditAvgTime
ms
读取 Edit 文件操作平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnImageOpsPutimagenumops
镜像操作_PutImageNumOps
Count/s
每秒执行 PutImageNumOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnImageOpsGetimagenumops
镜像操作_GetImageNumOps
Count/s
每秒执行 GetImageNumOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnImageOpsGeteditnumops
镜像操作_GetEditNumOps
Count/s
每秒执行 GetEditNumOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilMemoryS1
内存区域占比_S1
%
Survivor 1区内存使用占比
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilMemoryS0
内存区域占比_S0
%
Survivor 0区内存使用占比
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilMemoryO
内存区域占比_O
%
Old 区内存使用占比
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilMemoryM
内存区域占比_M
%
Metaspace 区内存使用占比
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilMemoryE
内存区域占比_E
%
Eden 区内存使用占比
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilMemoryCcs
内存区域占比_CCS
%
Compressed class space 区内存使用占比
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilGcTimeYgct
GC 时间_YGCT
s
Young GC 消耗时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilGcTimeGct
GC 时间_GCT
s
垃圾回收时间消耗
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilGcTimeFgct
GC 时间_FGCT
s
Full GC 消耗时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilGcCountYgc
GC 次数_YGC
Count
Young GC 次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnGcUtilGcCountFgc
GC 次数_FGC
Count
Full GC 次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsTotalfileops
文件操作_TotalFileOps
Count/s
每秒执行 TotalFileOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsGetlistingops
文件操作_GetListingOps
Count/s
每秒执行 GetListing 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsGetlinktargetops
文件操作_GetLinkTargetOps
Count/s
每秒执行 GetLinkTarget 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsGetadditionaldatanodeops
文件操作_GetAdditionalDatanodeOps
Count/s
每秒执行 GetAdditionalDatanode 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsFilesingetlistingops
文件操作_FilesInGetListingOps
Count/s
每秒执行 FilesInGetListing 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsFileinfoops
文件操作_FileInfoOps
Count/s
每秒执行 FileInfo 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsDeletefileops
文件操作_DeleteFileOps
Count/s
每秒执行 DeleteFile 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsCreatesymlinkops
文件操作_CreateSymlinkOps
Count/s
每秒执行 CreateSymlink 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesOpsCreatefileops
文件操作_CreateFileOps
Count/s
每秒执行 CreateFile 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesFilesdeleted
文件数量_Filesdeleted
次数总和
删除文件数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesFilescreated
文件数量_Filescreated
次数总和
创建文件数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnFilesFilesappended
Appended文件数量
次数总和
Appended 文件数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnCheckpointtimeLastcheckpoint
上次Checkpoint以来的时间
秒(s)
上次 Checkpoint 以来的时间
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnCacheReportRtCachereportavgtime
Cache汇报延迟_CacheReportAvgTime
ms
缓存上报动作平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnCacheReportOpsCachereportnumops
缓存汇报_CacheReportNumOps
Count/s
每秒处理 CacheReport 操作的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnBlocksOpsBlockreceivedanddeletedops
数据块操作_BlockReceivedAndDeletedOps
Count/s
处理 DataNode Block 上报操作的延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnBlocksOpsBlockopsqueued
数据块操作_BlockOpsQueued
Count/s
每秒执行 BlockReceivedAndDeletedOps 的次数
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnBlocksMissingNumberofmissingblockswithreplicationfacto
缺失块统计_NumberOfMissingBlocksWithReplicationFactorOne
Count
缺失的数据库数量(rf = 1)
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnBlocksMissingNumberofmissingblocks
缺失块统计_NumberOfMissingBlocks
Count
缺失的数据块数量
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnBlockReportRtBlockreportavgtime
数据块汇报延迟_BlockReportAvgTime
ms
每秒处理 DataNode Blcok 平均延迟
host4hdfsnamenode、 id4hdfsnamenode
HdfsNnBlockReportOpsBlockreportnumops
数据块汇报_BlockReportNumOps
Count/s
每秒处理 DataNode Blcok 上报操作的次数
host4hdfsnamenode、 id4hdfsnamenode

HDFS-Journal Node

指标英文名
指标中文名
指标单位
指标含义

HdfsJnJvmMemMemnonheapusedm
JVM 内存_MemNonHeapUsedM
MB
JVM 当前已经使用的 NonHeapMemory 的大小
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmMemMemnonheapcommittedm
JVM 内存_MemNonHeapCommittedM
MB
JVM 内存
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmMemMemheapusedm
JVM 内存_MemHeapUsedM
MB
JVM 当前已经使用的 HeapMemory 的大小
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmMemMemheapcommittedm
JVM 内存_MemHeapCommittedM
MB
JVM HeapMemory 提交大小
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmMemMemheapmaxm
JVM 内存_MemHeapMaxM
MB
JVM 配置的 HeapMemory 的大小
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmMemMemmaxm
JVM 内存_MemMaxM
MB
JVM 运行时的可以使用的最大的内存的大小
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmJavaThreadsThreadsnew
JVM 线程数量_ThreadsNew
处于新建状态的线程数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmJavaThreadsThreadsrunnable
JVM 线程数量_ThreadsRunnable
处于可运行状态的线程数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmJavaThreadsThreadsblocked
JVM 线程数量_ThreadsBlocked
处于阻塞状态的线程数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmJavaThreadThreadswaiti
JVM 线程数量_ThreadsWaiting
处于 WAITING 状态的线程数量
host4hdfsjournalnode、id4hdfsjournalnode
HdfsJnJvmJavaThreadsThreadstimedwaiting
JVM 线程数量_ThreadsTimedWaiting
处于 TIMED WAITING 状态的线程数量
host4hdfsjournalnode、id4hdfsjournalnode
HdfsJnJvmJavaThreadThreadsterminated
JVM 线程数量_ThreadsTerminated
处于 Terminated 状态的线程数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmLogTotalLogfatal
JVM 日志数量_LogFatal
Fatal 日志数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmLogTotalLogerror
JVM 日志数量_LogError
Error 日志数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmLogTotalLogwarn
JVM 日志数量_LogWarn
Warn 日志数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnJvmLogTotalLoginfo
JVM 日志数量_LogInfo
Info 日志数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilMemoryS0
内存区域占比_S0
%
Survivor 0区内存使用占比
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilMemoryS1
内存区域占比_S1
%
Survivor 1区内存使用占比
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilMemoryE
内存区域占比_E
%
Eden 区内存使用占比
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilMemoryO
内存区域占比_O
%
Old 区内存使用占比
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilMemoryM
内存区域占比_M
%
Metaspace 区内存使用占比
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilMemoryCcs
内存区域占比_CCS
%
Compressed class space 区内存使用占比
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilGcCountFgc
GC 次数_FGC
Full GC 次数
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilGcCountYgc
GC 次数_YGC
Young GC 次数
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilGcTimeYgct
GC 时间_YGCT
s
Young GC 消耗时间
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilGcTimeFgct
GC 时间_FGCT
s
Full GC 消耗时间
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnGcUtilGcTimeGct
GC 时间_GC
s
垃圾回收时间消耗
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005RxtxReceivedbytes
数据流量_ReceivedBytes
Bytes/s
接收数据速率
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005RxtxReceivedbytes
数据流量_ReceivedBytes
Bytes/s
发送数据速率
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005QpsRpcqueuetimenumops
QPS_RpcQueueTimeNumOps
次/s
RPC 调用速率
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005RtRpcqueuetimeavgtime
请求处理延迟_RpcQueueTimeAvgTime
ms
RPC 平均延迟时间
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005AuthRpcauthenticationfailures
验证和授权_RpcAuthenticationFailures
次/s
RPC 验证失败次数
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005AuthRpcauthorizationsuccesses
验证和授权_RpcAuthorizationSuccesses
次/s
RPC 授权成功次数
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005AuthRpcauthenticationsuccesses
验证和授权_RpcAuthenticationSuccesses
次/s
RPC 验证成功次数
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005AuthRpcauthorizationfailures
验证和授权_RpcAuthorizationFailures
次/s
RPC 授权失败次数
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005ConnectionsNumopenconnections
当前连接数_NumOpenConnections
当前链接数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnPort4005QueueLenCallqueuelength
RPC 处理队列长度_CallQueueLength
当前 RPC 处理队列长度
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnThreadTimeCurrentthreadcputime
CPU 时间_CurrentThreadCpuTime
ms
CPU时间
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnThreadTimeCurrentthreadusertime
CPU 时间_CurrentThreadUserTime
ms
用户时间
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnStartTimeStarttime
启动时间_StartTime
s
进程启动时间
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnThreadCountThreadcount
线程数量_ThreadCount
线程数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnThreadCountPeakthreadcount
线程数量_PeakThreadCount
峰值线程数量
host4hdfsjournalnode、 id4hdfsjournalnode
HdfsJnThreadCountDaemonthreadcount
线程数量_DaemonThreadCount
后台线程数量
host4hdfsjournalnode、 id4hdfsjournalnode

HDFS-ZKFC

指标英文名
指标中文名
指标单位
指标含义
维度
HdfsDfzkGcUtilMemoryS0
内存区域占比_S0
%
Survivor 0区内存使用占比
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryS1
内存区域占比_S1
%
Survivor 1区内存使用占比
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryE
内存区域占比_E
%
Eden 区内存使用占比
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryO
内存区域占比_O
%
Old 区内存使用占比
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryM
内存区域占比_M
%
Metaspace 区内存使用占比
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryCcs
内存区域占比_CCS
%
Compressed class space 区内存使用占比
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcCountFgc
GC次数_FGC
Full GC 次数
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcCountYgc
GC次数_YGC
Young GC 次数
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeYgct
GC时间_YGCT
s
Young GC 消耗时间
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeFgct
GC时间_FGCT
s
Full GC 消耗时间
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeGct
GC时间_GCT
s
垃圾回收时间消耗
host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller
说明:
每个指标的统计粒度(Period)可取值不一定相同,可通过 DescribeBaseMetrics 接口获取每个指标支持的统计粒度。

各维度对应参数总览

参数名称
维度名称
维度解释
格式
Instances.N.Dimensions.0.Name
id4hdfsoverview
EMR 实例 ID 的维度名称
输入 String 类型维度名称:id4hdfsoverview
Instances.N.Dimensions.0.Value
id4hdfsoverview
EMR 实例具体 ID
输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name
host4hdfsoverview
EMR 实例中节点 IP 的维度名称
输入String 类型维度名称:host4hdfsoverview
Instances.N.Dimensions.1.Value
host4hdfsoverview
EMR 实例中具体节点 IP
输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name
id4hdfsnamenode
EMR 实例 ID 的维度名称
输入 String 类型维度名称:id4hdfsnamenode
Instances.N.Dimensions.0.Value
id4hdfsnamenode
EMR 实例具体 ID
输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name
host4hdfsnamenode
EMR 实例中节点 IP 的维度名称
输入String 类型维度名称:host4hdfsnamenode
Instances.N.Dimensions.1.Value
host4hdfsnamenode
EMR 实例中具体节点 IP
输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name
id4hdfsdatanode
EMR 实例 ID 的维度名称
输入 String 类型维度名称:id4hdfsdatanode
Instances.N.Dimensions.0.Value
id4hdfsdatanode
EMR 实例具体 ID
输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name
host4hdfsdatanode
EMR 实例中节点 IP 的维度名称
输入String 类型维度名称:host4hdfsdatanode
Instances.N.Dimensions.1.Value
host4hdfsdatanode
EMR 实例中具体节点 IP
输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name
id4hdfsjournalnode
EMR 实例 ID 的维度名称
输入 String 类型维度名称:id4hdfsjournalnode
Instances.N.Dimensions.0.Value
id4hdfsjournalnode
EMR 实例具体 ID
输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name
host4hdfsjournalnode
EMR 实例中节点 IP 的维度名称
输入String 类型维度名称:host4hdfsjournalnode
Instances.N.Dimensions.1.Value
host4hdfsjournalnode
EMR 实例中具体节点 IP
输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name
id4hdfszkfailovercontroller
EMR 实例 ID 的维度名称
输入 String 类型维度名称:id4hdfszkfailovercontroller
Instances.N.Dimensions.0.Value
id4hdfszkfailovercontroller
EMR 实例具体 ID
输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name
host4hdfszkfailovercontroller
EMR 实例中节点 IP 的维度名称
输入String 类型维度名称:host4hdfszkfailovercontroller
Instances.N.Dimensions.1.Value
host4hdfszkfailovercontroller
EMR 实例中具体节点 IP
输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网IP。也可通过 查询节点信息 API 获取。

入参说明

弹性 MapReduce(HDFS)支持以下六种维度组合的查询方式,六种入参取值如下:
1. 查询 HDFS-OverviewAggregation 的指标监控数据,入参取值如下:n&Namespace=QCE/TXMR_HDFSn&Instances.N.Dimensions.0.Name=id4hdfsoverviewn&Instances.N.Dimensions.0.Value=EMR 实例 ID
2. 查询 HDFS-Overview 的指标监控数据,入参取值如下:n&Namespace=QCE/TXMR_HDFSn&Instances.N.Dimensions.0.Name=id4hdfsoverviewn&Instances.N.Dimensions.0.Value=EMR 实例 IDn&Instances.N.Dimensions.1.Name=host4hdfsoverviewn&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP
3. 查询 HDFS-NameNode 的指标监控数据,入参取值如下:n&Namespace=QCE/TXMR_HDFSn&Instances.N.Dimensions.0.Name=id4hdfsnamenoden&Instances.N.Dimensions.0.Value=EMR 实例 IDn&Instances.N.Dimensions.1.Name=host4hdfsnamenoden&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP
4. 查询 HDFS-DataNode 的指标监控数据,入参取值如下:n&Namespace=QCE/TXMR_HDFSn&Instances.N.Dimensions.0.Name=id4hdfsdatanoden&Instances.N.Dimensions.0.Value=EMR 实例 IDn&Instances.N.Dimensions.1.Name=host4hdfsdatanoden&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP
5. 查询 HDFS-Journal Node 的指标监控数据,入参取值如下:n&Namespace=QCE/TXMR_HDFSn&Instances.N.Dimensions.0.Name=id4hdfsjournalnoden&Instances.N.Dimensions.0.Value=EMR 实例具体 IDn&Instances.N.Dimensions.1.Name=host4hdfsjournalnoden&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP
6. 查询 HDFS-ZKFC 的指标监控数据,入参取值如下:n&Namespace=QCE/TXMR_HDFSn&Instances.N.Dimensions.0.Name=id4hdfszkfailovercontrollern&Instances.N.Dimensions.0.Value=EMR 实例具体 IDn&Instances.N.Dimensions.1.Name=host4hdfszkfailovercontrollern&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP