操作指南

API 文档

云产品监控指标

弹性 MapReduce(HDFS)

最近更新时间:2022-03-17 11:10:44

命名空间

Namespace=QCE/TXMR_HDFS

监控指标

弹性 MapReduce(HDFS)提供 HDFS-OverviewHDFS-OverviewAggregationHDFS-NameNodeHDFS-DataNodeHDFS-Journal NodeHDFS-ZKFC 指标。

说明:

维度对应参数,请单击 各维度对应参数总览 查看。

HDFS-Overview

aa

指标英文名 指标中文名 指标单位 指标含义 维度
EmrHdfsOverviewHdfs
NnBlocksBlockstotal
BLOCKS数量_BlocksTotal 总 BLOCK 数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
BlocksCorruptblocks
BLOCKS数量_CorruptBlocks 坏块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
VolumeFailuresVolumefailurestotal
磁盘故障_VolumeFailuresTotal 所有 Datanodes 的全故障总数 id4hdfsoverview
EmrHdfsOverviewHdfsNn
FilesTotalFilestotal
集群文件总数量_FilesTotal 集群文件总数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
BlocksScheduledreplicationblocks
BLOCKS数量_ScheduledReplicationBlocks 安排要备份的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocks
Postponedmisreplicatedblocks
BLOCKS数量_PostponedMisreplicatedBlocks 被推迟处理的异常块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdecommissioningdatanodes
集群数据节点_NumDecommissioningDataNodes 正在下线的节点数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlock
CapacityBlockcapacity
BLOCK容量_BlockCapacity GB BLOCK 容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocks
Underreplicatedblocks
BLOCKS数量_UnderReplicatedBlocks 副本数不够的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacityusednondfs
集群存储容量_CapacityUsedNonDFS GB 集群非 HDFS 使用容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnLoadTotalload 集群负载_TotalLoad 集群负载数 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumstaledatanodes
集群数据节点_NumStaleDataNodes 由于心跳延迟而标记为过期的 DataNodes 当前数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocks
Pendingreplicationblocks
BLOCKS数量_PendingReplicationBlocks 等待被备份的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdeaddatanodes
集群数据节点_NumDeadDataNodes 已经标记为 Dead 状态的数据节点数量 id4hdfsoverview
EmrHdfsOverviewHdfs
NnSnapshotsSnapshots
SNAPSHOT相关_Snapshots Snapshots 数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
BlocksPendingdeletionblocks
BLOCKS数量_PendingDeletionBlocks 等待被删除的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacityused
集群存储容量_CapacityUsed GB 集群储存已使用容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdecomlivedatanodes
集群数据节点_NumDecomLiveDataNodes 下线且 Live 的节点数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacitytotal
集群存储容量_CapacityTotal GB 集群存储总容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdecomdeaddatanodes
集群数据节点_NumDecomDeadDataNodes 下线且 Dead 的节点数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacityremaining
集群存储容量_CapacityRemaining GB 集群存储剩余容量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
DatanodesCountNumlivedatanodes
集群数据节点_NumLiveDataNodes 个活的数据节点数量 id4hdfsoverview
EmrHdfsOverviewHdfs
NnBlocksExcessblocks
BLOCKS数量_ExcessBlocks 多余的块数量 id4hdfsoverview

HDFS-OverviewAggregation

指标英文名 指标中文名 指标单位 指标含义 维度
EmrHdfsOverviewAggregationHdfsNn
VolumeFailuresVolumefailurestotal
磁盘故障_VolumeFailuresTotal 所有 Datanodes 的全故障总数 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksPendingreplicationblocks
BLOCKS数量_PendingReplicationBlocks 等待被备份的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksPendingdeletionblocks
BLOCKS数量_PendingDeletionBlocks 等待被删除的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnCapacityCapacityused
集群存储容量_CapacityUsed GB 集群储存已使用容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnBlocksExcessblocks
BLOCKS数量_ExcessBlocks 多余的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnBlocksBlockstotal
BLOCKS数量_BlocksTotal 块总数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksPostponedmisreplicatedblocks
BLOCKS数量_PostponedMisreplicatedBlocks 被推迟处理的异常块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlockCapacityBlockcapacity
BLOCK容量_BlockCapacity BLOCK 容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
CapacityCapacitytotal
集群存储容量_CapacityTotal GB 集群存储总容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumstaledatanodes
集群数据节点_NumStaleDataNodes 由于心跳延迟而标记为过期的 DataNodes 当前数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksCorruptblocks
BLOCKS数量_CorruptBlocks 坏块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
SnapshotsSnapshots
SNAPSHOT相关_Snapshots Snapshots 数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumlivedatanodes
集群数据节点_NumLiveDataNodes 个活的数据节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdeaddatanodes
集群数据节点_NumDeadDataNodes 已经标记为 Dead 状态的数据节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksScheduledreplicationblocks
BLOCKS数量_ScheduledReplicationBlocks 安排要备份的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdecomlivedatanodes
集群数据节点_NumDecomLiveDataNodes 下线且 Live 的节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdecommissioningdatanodes
集群数据节点_NumDecommissioningDataNodes 正在下线的节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnFilesTotalFilestotal
集群文件总数量_FilesTotal 集群文件总数量_ id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
CapacityCapacityremaining
集群存储容量_CapacityRemaining GB 集群存储剩余容量 id4hdfsoverview
EmrHdfsOverviewAggregation
HdfsNnLoadTotalload
集群负载_TotalLoad - 集群负载 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnBlocksUnderreplicatedblocks
BLOCKS数量_UnderReplicatedBlocks 副本数不够的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnCapacityCapacityusednondfs
集群存储容量_CapacityUsedNonDFS GB 集群非 HDFS 使用容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdecomdeaddatanodes
集群数据节点_NumDecomDeadDataNodes 下线且 Dead 的节点数量 id4hdfsoverview

HDFS-DataNode

指标英文名 指标中文名 指标单位 指标含义 维度
HdfsDnXceiverXceivercount XCEIVER 数量_XceiverCount Xceiver 数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesByteswrittenmb 数据读写速率_BytesReadMB Bytes/s 写入 DN 的字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesBytesreadmb 数据读写速率_BytesReadMB Bytes/s 读取 DN 的字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesRemotebytesreadmb 数据读写速率
_RemoteBytesReadMB
Bytes/s 远程客户端读取字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesRemoteby
teswrittenmb
数据读写速率
_RemoteBytesWrittenMB
Bytes/s 远程客户端写入字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientWritesfrom
remoteclient
客户端连接数
_WritesFromRemoteClient
来自远程客户端写操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientWritesfromlocalclient 客户端连接数
_WritesFromLocalClient
来自本地客户端写操作 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientReadsfrom
remoteclient
客户端连接数
_ReadsFromRemoteClient
来自远程客户端读操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientReadsfromlocalclient 客户端连接数
_ReadsFromLocalClient
来自本地客户端读操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksVerifiedFailures
Blockverificationfailures
Block 校验失败
_BlockVerificationFailures
次/s BLOCK 校验失败数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnVolumeFailures
Volumefailures
磁盘故障_VolumeFailures 次/s 磁盘故障次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnNetworkErrors
Datanodenetworkerrors
网络错误
_DatanodeNetworkErrors
次/s 网络错误统计 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnHbRtHeartbeatsavgtime 心跳延迟_HeartbeatsAvgTime ms 心跳接口平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnHbOpsHeartbeatsnumops 心跳 QPS_HeartbeatsNumOps 次/s 心跳接口 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnDatapacketAvgtimeSend
datapackettransfer
nanosavgtime
包传输操作
QPS_SendDataPacketTransfer
NanosAvgTime
ms 发送数据包平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsRead
blockopnumops
数据块操作
_ReadBlockOpNumOps
次/s 从 DataNode 读取 Block OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsWrite
blockopnumops
数据块操作
_WriteBlockOpNumOps
次/s 向 DataNode 写入 Block OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsBlock
checksumopnumops
数据块操作
_BlockChecksumOpNumOps
次/s DataNode 进行 Checksum 操作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsCopy
blockopnumops
数据块操作
_CopyBlockOpNumOps
次/s 复制 Block 操作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsReplace
blockopnumops
数据块操作
_ReplaceBlockOpNumOps
次/s Replace Block 操作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsBlock
reportsnumops
数据块操作
_BlockReportsNumOps
次/s BLOCK 汇报动作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsIncremental
blockreports
numops
数据块操作
_IncrementalBlockReports
NumOps
次/s BLOCK 增量汇报的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsCache
reportsnumops
数据块操作
_CacheReportsNumOps
次/s 缓存汇报的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsPacketack
roundtriptimenanos
numops
数据块操作
_PacketAckRoundTripTimeNanos
NumOps
次/s 每秒处理 ACK ROUND TRIP 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFsyncOpsFsync
nanosnumops
FSYNC 操作
_FsyncNanosNumOps
次/s FSYNC 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFlushOpsFlush
nanosnumops
FLUSH 操作
_FlushNanosNumOps
次/s 每秒处理 Flush 操作次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtRead
blockopavgtime
数据块操作延迟统计
_ReadBlockOpAvgTime
ms 读取 Block 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtWrite
blockopavgtime
数据块操作延迟统计
_ReplaceBlockOpAvgTime
ms 写 Blcok 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtBlock
checksumopavgtime
数据块操作延迟统计_BlockChecksumOpAvgTime ms 块校验操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtCopy
blockopavgtime
数据块操作延迟统计
_CopyBlockOpAvgTime
ms 复制块操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRt
Replaceblockopavgtime
数据块操作延迟统计
_Replaceblockopavgtime
ms Replace Block 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtBlock
reportsavgtime
数据块操作延迟统计
_BlockReportsAvgTime
ms 块汇报平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtIncremental
blockreportsavgtime
数据块操作延迟统计
_IncrementalBlockReportsAvgTime
ms 增量块汇报平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtCache
reportsavgtime
数据块操作延迟统计
_CacheReportsAvgTime
ms 缓存汇报平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtPacketack
roundtriptimenanos
avgtime
数据块操作延迟统计
_PacketAckRoundTripTimeNanos
AvgTime
ms 处理 ACK ROUND TRIP 平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFlushRtFlushnanosavgtime FLUSH延迟_FlushNanosAvgTime ms Flush 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFsyncRtFsyncnanosavgtime FSYNC延迟_FsyncNanosAvgTime ms Fsync 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblockswrite
RAMDISKBlocks_Ram
DiskBlocksWrite
块/s 写入内存的块的总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblockswritefallback
RAMDISKBlocks_Ram
DiskBlocksWriteFallback
块/s 写入内存但未成功的块总数(故障转移到磁盘) id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOpRamdisk
blocksdeletedbeforelazypersisted
RAMDISKBlocks_RamDiskBlocks
DeletedBeforeLazyPersisted
块/s 应用程序在被保存到磁盘之前被删除的块的总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblocksreadhits
RAMDISKBlocks_Ram
DiskBlocksReadHits
块/s 内存中的块被读取的总次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblocksevicted
RAMDISKBlocks_Ram
DiskBlocksEvicted
块/s 内存中被清除的块总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOpRamdisk
blocksevictedwithoutread
RAMDISKBlocks_RamDiskBlocks
EvictedWithoutRead
块/s 从内存中取出的内存块总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblockslazypersisted
RAMDISKBlocks_RamDisk
BlocksLazyPersisted
块/s 惰性写入器写入磁盘的总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskbyteslazypersisted
RAMDISKBlocks_Ram
DiskBytesLazyPersisted
Bytes/s 由懒惰写入器写入磁盘的总字节数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksBytes
Ramdiskbyteswrite
RAMDISK 写入速度_RamDiskBytesWrite Bytes/s 写入内存的总字节数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMem
Memnonheapusedm
JVM 内存
_MemNonHeapUsedM
MB JVM 当前已经使用的 NonHeapMemory 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMem
Memnonheapcommittedm
JVM 内存
_MemNonHeapCommittedM
MB JVM 配置的 NonHeapCommittedM 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMemMemheapusedm JVM 内存
_MemHeapUsedM
MB JVM 当前已经使用的 HeapMemory 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMem
Memheapcommittedm
JVM 内存
_MemHeapCommittedM
MB JVM HeapMemory 提交大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMemMemheapmaxm JVM 内存
_MemHeapMaxM
MB JVM 配置的 HeapMemory 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMemMemmaxm JVM 内存
_MemMaxM
MB JVM 运行时的可以使用的最大的内存的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadsnew JVM 线程数量
_ThreadsNew
处于新建状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadsrunnable
JVM 线程数量
_ThreadsRunnable
处于可运行状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadsblocked
JVM线程数量
_ThreadsBlocked
处于阻塞状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadswaiting
JVM 线程数量
_ThreadsWaiting
处于 WAITING 状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadstimedwaiting
JVM 线程数量
_ThreadsTimedWaiting
处于 TIMED WAITING 状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadsterminated
JVM 线程数量
_ThreadsTerminated
处于 Terminated 状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLogfatal JVM 日志数量_LogFatal Fatal 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLogerror JVM 日志数量_LogError Error 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLogwarn JVM 日志数量_LogWarn Warn 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLoginfo JVM 日志数量_LogInfo Info 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcCountFgc GC 次数_FGC Full GC 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcCountYgc GC 次数_YGC Young GC 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcTimeYgct GC 时间_YGCT s Young GC 消耗时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcTimeFgct GC 时间_FGCT s Full GC 消耗时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcTimeGct GC 时间_GCT s 垃圾回收时间消耗 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004RxtxReceivedbytes 数据流量_ReceivedBytes Bytes/s 接收数据速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004RxtxSentbytes 数据流量_SentBytes Bytes/s 发送数据速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004QpsRpc
queuetimenumops
QPS_RpcQueueTimeNumOps 次/s RPC 调用速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004RtRpc
queuetimeavgtime
请求处理延迟
_RpcQueueTimeAvgTime
ms RPC 平均延迟时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authenticationfailures
验证和授权
_RpcAuthenticationFailures
次/s RPC 验证失败次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authenticationsuccesses
验证和授权
_RpcAuthenticationSuccesses
次/s RPC 验证成功次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authorizationfailures
验证和授权
_RpcAuthorizationFailures
次/s RPC 授权失败次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authorizationsuccesses
验证和授权
_RpcAuthorizationSuccesses
次/s RPC 授权成功次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004Connections
Numopenconnections
当前连接数
_NumOpenConnections
当前链接数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004QueueLen
Callqueuelength
RPC 处理队列长度
_CallQueueLength
当前 RPC 处理队列长度 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadTimeCurrent
threadcputime
CPU 时间
_CurrentThreadCpuTime
ms CPU时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadTimeCurrent
threadusertime
CPU 时间
_CurrentThreadUserTime
ms 用户时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnStartTimeStarttime 线程数量
_DaemonThreadCount
s 进程启动时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadCount
Peakthreadcount
程数量_PeakThreadCount 峰值线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadCount
Daemonthreadcount
线程数量_DaemonThreadCount 后台线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRtWrit 读写延迟_Write MB/s 磁盘写速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRtRead 读写延迟_Read 次/s 读操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnDatapacketOps
Datapacketops
包传输操作 QPS_DataPacketOps 次/s 包传输操作 QPS id4hdfsdatanode、
host4hdfsdatanode

HDFS-NameNode

指标英文名 指标中文名 指标单位 指标含义 维度
HdfsNnTransactions
Sincelastcheckpoint
总事务数_Sincelastcheckpoint 次数总和 总事务数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnTransaction
RtTransactionsavgtime
事务操作延迟_TransactionsAvgTime ms 处理 Journal transaction 操作的平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnTransactionOps
Transactionsnumops
事务操作_TransactionsNumOps 次/秒 每秒处理 Journal transaction 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnTransactionOps
Transactionsbatchedinsync
事务操作_TransactionsBatchedInSync 次/秒 每秒批量处理 Journal transaction 操作次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnThreadCount
Threadcount
线程数量_ThreadCount 线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnThreadCount
Peakthreadcount
线程数量_PeakThreadCount 峰值线程数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnThreadCount
Daemonthreadcount
线程数量_DaemonThreadCount 后台线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSyncsRtSyncsavgtime SYNCS操作延迟_SyncsAvgTime ms 处理 Journal syncs 操作的平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSyncsOpsSyncsnumops SYNC操作_SyncsNumOps 次/秒 每秒处理 Journal syncs 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnStateState 主备情况_State NN 状态 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnStartTimeStarttime 启动时间_StartTime ms 进程启动时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnStaleStorages
CountNumstalestorages
被标记为过期的存储的数量_NumStaleStorages 由于心跳延迟而标记为过期的 DataNodes 当前数目 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Snapshotdiffreportops
SNAPSHOT操作_SnapshotDiffReportOps 次/秒 每秒执行 AllowSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Renamesnapshotops
SNAPSHOT操作_RenameSnapshotOps 次/秒 每秒执行 SnapshotDiffReportOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Listsnapshottabledirops
SNAPSHOT操作_ListSnapshottableDirOps 次/秒 每秒执行 RenameSnapshotOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Disallowsnapshotops
SNAPSHOT操作_DisallowSnapshotOps 次/秒 每秒执行 ListSnapshottableDir 操作次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Deletesnapshotops
SNAPSHOT操作_DeleteSnapshotOps 次/秒 每秒执行 DisallowSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Createsnapshotops
SNAPSHOT操作_CreateSnapshotOps 次/秒 每秒执行 DeleteSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Allowsnapshotops
SNAPSHOT操作_AllowSnapshotOps 次/秒 每秒执行 CreateSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Rxtx
Sentbytes
数据流量_SentBytes B/s 发送数据速率 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Rxtx
Receivedbytes
数据流量_ReceivedBytes B/s 接收数据速率 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007RtRpc
queuetimeavgtime
请求处理延迟_RpcQueueTimeAvgTime ms RPC 平均延迟时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007RtRpc
processingtimeavgtime
请求处理延迟_ RpcProcessingTimeAvgTime ms 请求处理延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Queue
LenCallqueuelength
RPC处理队列长度_CallQueueLength 次/秒 当前 RPC 处理队列长度 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007QpsRpc
queuetimenumops
QPS_RpcQueueTimeNumOps 次/秒 RPC 调用速率 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Settimesnumops
每秒调用次数_SetTimes 次/秒 SetTimes 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Setsafemodenumops
每秒调用次数_SetSafeMode 次/秒 SetSafeMode 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Setpermissionnumops
每秒调用次数_SetPermission 次/秒 SetPermission 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Mkdirsnumops
每秒调用次数_Mkdirs 次/秒 Mkdirs 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Listencryptionzonesnumops
每秒调用次数_ListEncryptionZones 次/秒 ListEncryptionZones 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops3
Getserverdefaultsnumops
每秒调用次数_GetServerDefaults 次/秒 GetServerDefaults 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops3
Getblocklocationsnumops
每秒调用次数_GetBlockLocations 次/秒 GetBlockLocations 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Versionrequestnumops
每秒调用次数_VersionRequest 次/秒 VersionRequest 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Renewleasenumops
每秒调用次数_RenewLease 次/秒 RenewLease 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Registerdatanodenumops
每秒调用次数_RegisterDatanode 次/秒 RegisterDatanode 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Fsyncnumops
每秒调用次数_Fsync 次/秒 Fsync 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Deletenumops
每秒调用次数_Delete 次/秒 Delete 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Blockreportnumops
每秒调用次数_BlockReport 次/秒 BlockReceivedAndDeleted 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Blockreceivedanddeletednumops
每秒调用次数_BlockReceivedAndDeleted 次/秒 SendHeartbeat 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Sendheartbeatnumops
每秒调用次数_SendHeartbeat 次/秒 Rename 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Renamenumops
每秒调用次数_Rename 次/秒 Rename 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Getlistingnumops
每秒调用次数_GetListing 次/秒 GetListing 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Getfileinfonumops
每秒调用次数_GetFileInfo 次/秒 GetFileInfo 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Createnumops
每秒调用次数_Create 次/秒 Create 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Completenumops
每秒调用次数_Complete 次/秒 Complete 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Addblocknumops
每秒调用次数_AddBlock 次/秒 AddBlock 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Connections
Numopenconnections
当前连接数_NumOpenConnections 当前链接数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime
3Settimesavgtime
请求平均延迟时间_SetTimes 毫秒 SetTimes 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Setsafemodeavgtime
请求平均延迟时间_SetSafeMode 毫秒 SetSafeMode 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Setpermissionavgtime
请求平均延迟时间_SetPermission 毫秒 SetPermission 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Mkdirsavgtime
请求平均延迟时间_Mkdirs 毫秒 Mkdirs 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Listencryptionzonesavgtime
请求平均延迟时间_ListEncryptionZones 毫秒 ListEncryptionZones 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Getserverdefaultsavgtime
请求平均延迟时间_GetServerDefaults 毫秒 GetServerDefaults 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Getblocklocationsavgtime
请求平均延迟时间_GetBlockLocations 毫秒 GetBlockLocations 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Versionrequestavgtime
请求平均延迟时间_VersionRequest 毫秒 VersionRequest 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Renewleaseavgtime
请求平均延迟时间_RenewLease 毫秒 RenewLease 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Registerdatanodeavgtime
请求平均延迟时间_RegisterDatanode 毫秒 RegisterDatanode 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Fsyncavgtime
请求平均延迟时间_Fsync 毫秒 Fsync 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Deleteavgtime
请求平均延迟时间_Delete 毫秒 Delete 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Blockreportavgtime
请求平均延迟时间_BlockReport 毫秒 BlockReceivedAndDeleted 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Blockreceivedanddeletedavgtime
请求平均延迟时间_BlockReceivedAndDeleted 毫秒 SendHeartbeat 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Sendheartbeatavgtime
请求平均延迟时间_SendHeartbeat 毫秒 Rename 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Renameavgtime
请求平均延迟时间_Rename 毫秒 Rename 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Getlistingavgtime
请求平均延迟时间_GetListing 毫秒 GetListing 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Getfileinfoavgtime
请求平均延迟时间_GetFileInfo 毫秒 GetFileInfo 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Createavgtime
请求平均延迟时间_Create 毫秒 Create 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Completeavgtime
请求平均延迟时间_Complete 毫秒 Complete 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Addblockavgtime
请求平均延迟时间_AddBlock 毫秒 AddBlock 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthorizationsuccesses
验证和授权_RpcAuthorizationSuccesses RPC 授权成功次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthorizationfailures
验证和授权_RpcAuthorizationFailures RPC 授权失败次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthenticationsuccesses
验证和授权_RpcAuthenticationSuccesses RPC 验证成功次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthenticationfailures
验证和授权_RpcAuthenticationFailures RPC 验证失败次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPendingDatanodeMessage
CountPendingdatanodemessagecou
备NN上挂起的与BLOCK相关操作的消息数量_PendingDataNodeMessageCount 个/秒 备NN上挂起的与BLOCK相关操作的消息数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnLockqueueLock
queuelength
等待文件锁的队列长度 次数总和 等待文件锁的队列长度 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMem
Memnonheapusedm
JVM内存_MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemnon
heapcommittedm
JVM内存_MemNonHeapCommittedM MB JVM 内存 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemmaxm JVM内存_MemMaxM MB JVM 运行时的可以使用的最大的内存的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemheapusedm JVM内存_MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemheapmaxm JVM内存_MemHeapMaxM MB JVM 配置的 HeapMemory 的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemheap
committedm
JVM内存_MemHeapCommittedM MB JVM HeapMemory 提交大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLogwarn JVM日志数量_LogWarn Warn 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLoginfo JVM日志数量_LogInfo Info 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLogfatal JVM日志数量_LogFatal Fatal 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLogerror JVM日志数量_LogError Error 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadswaiting
JVM线程数量_ThreadsWaiting 处于新建状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadstimedwaiting
JVM线程数量_ThreadsTimedWaiting 处于 WAITING 状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsterminated
JVM线程数量_ThreadsTerminated 处于 TIMED WAITING 状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsrunnable
JVM线程数量_ThreadsRunnable 处于 Terminated 状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsnew
JVM线程数量_ThreadsNew 处于可运行状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsblocked
JVM线程数量_ThreadsBlocked 处于阻塞状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageRt
Putimageavgtime
镜像操作延迟_PutImageAvgTime ms 写入镜像文件平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageRt
Getimageavgtime
镜像操作延迟_GetImageAvgTime ms 读取镜像文件平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageRt
Geteditavgtime
镜像操作延迟_GetEditAvgTime ms 读取 Edit 文件操作平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageOps
Putimagenumops
镜像操作_PutImageNumOps Count/s 每秒执行 PutImageNumOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageOps
Getimagenumops
镜像操作_GetImageNumOps Count/s 每秒执行 GetImageNumOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageOps
Geteditnumops
镜像操作_GetEditNumOps Count/s 每秒执行 GetEditNumOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcTimeYgct GC 时间_YGCT s Young GC 消耗时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcTimeGct GC 时间_GCT s 垃圾回收时间消耗 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcTimeFgct GC 时间_FGCT s Full GC 消耗时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcCountYgc GC 次数_YGC Count Young GC 次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcCountFgc GC 次数_FGC Count Full GC 次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsTotalfileops 文件操作_TotalFileOps Count/s 每秒执行 TotalFileOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsGetlistingops 文件操作_GetListingOps Count/s 每秒执行 GetListing 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsGetlinktargetops 文件操作_GetLinkTargetOps Count/s 每秒执行 GetLinkTarget 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsGetadditional
datanodeops
文件操作_GetAdditionalDatanodeOps Count/s 每秒执行 GetAdditionalDatanode 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsFilesingetlistingops 文件操作_FilesInGetListingOps Count/s 每秒执行 FilesInGetListing 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsFileinfoops 文件操作_FileInfoOps Count/s 每秒执行 FileInfo 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsDeletefileops 文件操作_DeleteFileOps Count/s 每秒执行 DeleteFile 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsCreatesymlinkops 文件操作_CreateSymlinkOps Count/s 每秒执行 CreateSymlink 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsCreatefileops 文件操作_CreateFileOps Count/s 每秒执行 CreateFile 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesFilesdeleted 文件数量_Filesdeleted 次数总和 删除文件数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesFilescreated 文件数量_Filescreated 次数总和 创建文件数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesFilesappended Appended文件数量 次数总和 Appended 文件数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnCheckpointtime
Lastcheckpoint
上次Checkpoint以来的时间 秒(s) 上次 Checkpoint 以来的时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnCacheReportRt
Cachereportavgtime
Cache汇报延迟_CacheReportAvgTime ms 缓存上报动作平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnCacheReportOps
Cachereportnumops
缓存汇报_CacheReportNumOps Count/s 每秒处理 CacheReport 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksOpsBlock
receivedanddeletedops
数据块操作_BlockReceivedAndDeletedOps Count/s 处理 DataNode Block 上报操作的延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksOps
Blockopsqueued
数据块操作_BlockOpsQueued Count/s 每秒执行 BlockReceivedAndDeletedOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksMissingNumberof
missingblockswithreplicationfacto
缺失块统计_NumberOfMissingBlocksWithReplicationFactorOne Count 缺失的数据库数量(rf = 1) host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksMissingNumberof
missingblocks
缺失块统计_NumberOfMissingBlocks Count 缺失的数据块数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlockReportRt
Blockreportavgtime
数据块汇报延迟_BlockReportAvgTime ms 每秒处理 DataNode Blcok 平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlockReportOps
Blockreportnumops
数据块汇报_BlockReportNumOps Count/s 每秒处理 DataNode Blcok 上报操作的次数 host4hdfsnamenode、
id4hdfsnamenode

HDFS-Journal Node

指标英文名 指标中文名 指标单位 指标含义
HdfsJnJvmMemMemnon
heapusedm
JVM 内存_MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMemnon
heapcommittedm
JVM 内存_MemNonHeapCommittedM MB JVM 内存 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMem
heapusedm
JVM 内存_MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMem
heapcommittedm
JVM 内存_MemHeapCommittedM MB JVM HeapMemory 提交大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMem
heapmaxm
JVM 内存_MemHeapMaxM MB JVM 配置的 HeapMemory 的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMemmaxm JVM 内存_MemMaxM MB JVM 运行时的可以使用的最大的内存的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsnew
JVM 线程数量_ThreadsNew 处于新建状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsrunnable
JVM 线程数量_ThreadsRunnable 处于可运行状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsblocked
JVM 线程数量_ThreadsBlocked 处于阻塞状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadswaiti
JVM 线程数量_ThreadsWaiting 处于 WAITING 状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadstimedwaiting
JVM 线程数量_ThreadsTimedWaiting 处于 TIMED WAITING 状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsterminated
JVM 线程数量_ThreadsTerminated 处于 Terminated 状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLogfatal JVM 日志数量_LogFatal Fatal 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLogerror JVM 日志数量_LogError Error 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLogwarn JVM 日志数量_LogWarn Warn 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLoginfo JVM 日志数量_LogInfo Info 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcCountFgc GC 次数_FGC Full GC 次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcCountYgc GC 次数_YGC Young GC 次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcTimeYgct GC 时间_YGCT s Young GC 消耗时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcTimeFgct GC 时间_FGCT s Full GC 消耗时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcTimeGct GC 时间_GC s 垃圾回收时间消耗 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005Rxtx
Receivedbytes
数据流量_ReceivedBytes Bytes/s 接收数据速率 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005Rxtx
Receivedbytes
数据流量_ReceivedBytes Bytes/s 发送数据速率 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005QpsRpc
queuetimenumops
QPS_RpcQueueTimeNumOps 次/s RPC 调用速率 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005RtRpc
queuetimeavgtime
请求处理延迟_RpcQueueTimeAvgTime ms RPC 平均延迟时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authenticationfailures
验证和授权_RpcAuthenticationFailures 次/s RPC 验证失败次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authorizationsuccesses
验证和授权_RpcAuthorizationSuccesses 次/s RPC 授权成功次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authenticationsuccesses
验证和授权_RpcAuthenticationSuccesses 次/s RPC 验证成功次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authorizationfailures
验证和授权_RpcAuthorizationFailures 次/s RPC 授权失败次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005Connections
Numopenconnections
当前连接数_NumOpenConnections 当前链接数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005QueueLen
Callqueuelength
RPC 处理队列长度_CallQueueLength 当前 RPC 处理队列长度 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadTimeCurrent
threadcputime
CPU 时间_CurrentThreadCpuTime ms CPU时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadTimeCurrent
threadusertime
CPU 时间_CurrentThreadUserTime ms 用户时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnStartTimeStarttime 启动时间_StartTime s 进程启动时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadCount
Threadcount
线程数量_ThreadCount 线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadCount
Peakthreadcount
线程数量_PeakThreadCount 峰值线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadCountDaemon
threadcount
线程数量_DaemonThreadCount 后台线程数量 host4hdfsjournalnode、
id4hdfsjournalnode

HDFS-ZKFC

指标英文名 指标中文名 指标单位 指标含义 维度
HdfsDfzkGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcCountFgc GC次数_FGC Full GC 次数 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcCountYgc GC次数_YGC Young GC 次数 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeYgct GC时间_YGCT s Young GC 消耗时间 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeFgct GC时间_FGCT s Full GC 消耗时间 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeGct GC时间_GCT s 垃圾回收时间消耗 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
说明:

每个指标的统计粒度(Period)可取值不一定相同,可通过 DescribeBaseMetrics 接口获取每个指标支持的统计粒度。

各维度对应参数总览

参数名称 维度名称 维度解释 格式
Instances.N.Dimensions.0.Name id4hdfsoverview EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsoverview
Instances.N.Dimensions.0.Value id4hdfsoverview EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsoverview EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsoverview
Instances.N.Dimensions.1.Value host4hdfsoverview EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfsnamenode EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsnamenode
Instances.N.Dimensions.0.Value id4hdfsnamenode EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsnamenode EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsnamenode
Instances.N.Dimensions.1.Value host4hdfsnamenode EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfsdatanode EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsdatanode
Instances.N.Dimensions.0.Value id4hdfsdatanode EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsdatanode EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsdatanode
Instances.N.Dimensions.1.Value host4hdfsdatanode EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfsjournalnode EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsjournalnode
Instances.N.Dimensions.0.Value id4hdfsjournalnode EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsjournalnode EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsjournalnode
Instances.N.Dimensions.1.Value host4hdfsjournalnode EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfszkfailovercontroller EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfszkfailovercontroller
Instances.N.Dimensions.0.Value id4hdfszkfailovercontroller EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfszkfailovercontroller EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfszkfailovercontroller
Instances.N.Dimensions.1.Value host4hdfszkfailovercontroller EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网IP。也可通过 查询节点信息 API 获取。

入参说明

弹性 MapReduce(HDFS)支持以下六种维度组合的查询方式,六种入参取值如下:

1. 查询 HDFS-OverviewAggregation 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID

2. 查询 HDFS-Overview 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsoverview
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP

3. 查询 HDFS-NameNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsnamenode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsnamenode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP

4. 查询 HDFS-DataNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsdatanode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsdatanode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP

5. 查询 HDFS-Journal Node 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsjournalnode
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfsjournalnode
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP

6. 查询 HDFS-ZKFC 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfszkfailovercontroller
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfszkfailovercontroller
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP## 命名空间

Namespace=QCE/TXMR_HDFS

监控指标

弹性 MapReduce(HDFS)提供 HDFS-OverviewHDFS-OverviewAggregationHDFS-NameNodeHDFS-DataNodeHDFS-Journal NodeHDFS-ZKFC 指标。

说明:

维度对应参数,请单击 各维度对应参数总览 查看。

HDFS-Overview

aa

指标英文名 指标中文名 指标单位 指标含义 维度
EmrHdfsOverviewHdfs
NnBlocksBlockstotal
BLOCKS数量_BlocksTotal 总 BLOCK 数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
BlocksCorruptblocks
BLOCKS数量_CorruptBlocks 坏块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
VolumeFailuresVolumefailurestotal
磁盘故障_VolumeFailuresTotal 所有 Datanodes 的全故障总数 id4hdfsoverview
EmrHdfsOverviewHdfsNn
FilesTotalFilestotal
集群文件总数量_FilesTotal 集群文件总数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
BlocksScheduledreplicationblocks
BLOCKS数量_ScheduledReplicationBlocks 安排要备份的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocks
Postponedmisreplicatedblocks
BLOCKS数量_PostponedMisreplicatedBlocks 被推迟处理的异常块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdecommissioningdatanodes
集群数据节点_NumDecommissioningDataNodes 正在下线的节点数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlock
CapacityBlockcapacity
BLOCK容量_BlockCapacity GB BLOCK 容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocks
Underreplicatedblocks
BLOCKS数量_UnderReplicatedBlocks 副本数不够的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacityusednondfs
集群存储容量_CapacityUsedNonDFS GB 集群非 HDFS 使用容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnLoadTotalload 集群负载_TotalLoad 集群负载数 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumstaledatanodes
集群数据节点_NumStaleDataNodes 由于心跳延迟而标记为过期的 DataNodes 当前数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnBlocks
Pendingreplicationblocks
BLOCKS数量_PendingReplicationBlocks 等待被备份的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdeaddatanodes
集群数据节点_NumDeadDataNodes 已经标记为 Dead 状态的数据节点数量 id4hdfsoverview
EmrHdfsOverviewHdfs
NnSnapshotsSnapshots
SNAPSHOT相关_Snapshots Snapshots 数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
BlocksPendingdeletionblocks
BLOCKS数量_PendingDeletionBlocks 等待被删除的块数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacityused
集群存储容量_CapacityUsed GB 集群储存已使用容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdecomlivedatanodes
集群数据节点_NumDecomLiveDataNodes 下线且 Live 的节点数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacitytotal
集群存储容量_CapacityTotal GB 集群存储总容量 id4hdfsoverview
EmrHdfsOverviewHdfsNnDatanodes
CountNumdecomdeaddatanodes
集群数据节点_NumDecomDeadDataNodes 下线且 Dead 的节点数量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
CapacityCapacityremaining
集群存储容量_CapacityRemaining GB 集群存储剩余容量 id4hdfsoverview
EmrHdfsOverviewHdfsNn
DatanodesCountNumlivedatanodes
集群数据节点_NumLiveDataNodes 个活的数据节点数量 id4hdfsoverview
EmrHdfsOverviewHdfs
NnBlocksExcessblocks
BLOCKS数量_ExcessBlocks 多余的块数量 id4hdfsoverview

HDFS-OverviewAggregation

指标英文名 指标中文名 指标单位 指标含义 维度
EmrHdfsOverviewAggregationHdfsNn
VolumeFailuresVolumefailurestotal
磁盘故障_VolumeFailuresTotal 所有 Datanodes 的全故障总数 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksPendingreplicationblocks
BLOCKS数量_PendingReplicationBlocks 等待被备份的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksPendingdeletionblocks
BLOCKS数量_PendingDeletionBlocks 等待被删除的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnCapacityCapacityused
集群存储容量_CapacityUsed GB 集群储存已使用容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnBlocksExcessblocks
BLOCKS数量_ExcessBlocks 多余的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnBlocksBlockstotal
BLOCKS数量_BlocksTotal 块总数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksPostponedmisreplicatedblocks
BLOCKS数量_PostponedMisreplicatedBlocks 被推迟处理的异常块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlockCapacityBlockcapacity
BLOCK容量_BlockCapacity BLOCK 容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
CapacityCapacitytotal
集群存储容量_CapacityTotal GB 集群存储总容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumstaledatanodes
集群数据节点_NumStaleDataNodes 由于心跳延迟而标记为过期的 DataNodes 当前数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksCorruptblocks
BLOCKS数量_CorruptBlocks 坏块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
SnapshotsSnapshots
SNAPSHOT相关_Snapshots Snapshots 数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumlivedatanodes
集群数据节点_NumLiveDataNodes 个活的数据节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdeaddatanodes
集群数据节点_NumDeadDataNodes 已经标记为 Dead 状态的数据节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
BlocksScheduledreplicationblocks
BLOCKS数量_ScheduledReplicationBlocks 安排要备份的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdecomlivedatanodes
集群数据节点_NumDecomLiveDataNodes 下线且 Live 的节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdecommissioningdatanodes
集群数据节点_NumDecommissioningDataNodes 正在下线的节点数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnFilesTotalFilestotal
集群文件总数量_FilesTotal 集群文件总数量_ id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
CapacityCapacityremaining
集群存储容量_CapacityRemaining GB 集群存储剩余容量 id4hdfsoverview
EmrHdfsOverviewAggregation
HdfsNnLoadTotalload
集群负载_TotalLoad - 集群负载 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnBlocksUnderreplicatedblocks
BLOCKS数量_UnderReplicatedBlocks 副本数不够的块数量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfs
NnCapacityCapacityusednondfs
集群存储容量_CapacityUsedNonDFS GB 集群非 HDFS 使用容量 id4hdfsoverview
EmrHdfsOverviewAggregationHdfsNn
DatanodesCountNumdecomdeaddatanodes
集群数据节点_NumDecomDeadDataNodes 下线且 Dead 的节点数量 id4hdfsoverview

HDFS-DataNode

指标英文名 指标中文名 指标单位 指标含义 维度
HdfsDnXceiverXceivercount XCEIVER 数量_XceiverCount Xceiver 数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesByteswrittenmb 数据读写速率_BytesReadMB B/s 写入 DN 的字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesBytesreadmb 数据读写速率_BytesReadMB B/s 读取 DN 的字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesRemotebytesreadmb 数据读写速率
_RemoteBytesReadMB
B/s 远程客户端读取字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBytesRemoteby
teswrittenmb
数据读写速率
_RemoteBytesWrittenMB
B/s 远程客户端写入字节速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientWritesfrom
remoteclient
客户端连接数
_WritesFromRemoteClient
来自远程客户端写操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientWritesfromlocalclient 客户端连接数
_WritesFromLocalClient
来自本地客户端写操作 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientReadsfrom
remoteclient
客户端连接数
_ReadsFromRemoteClient
来自远程客户端读操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnClientReadsfromlocalclient 客户端连接数
_ReadsFromLocalClient
来自本地客户端读操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksVerifiedFailures
Blockverificationfailures
Block 校验失败
_BlockVerificationFailures
次/s BLOCK 校验失败数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnVolumeFailures
Volumefailures
磁盘故障_VolumeFailures 次/s 磁盘故障次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnNetworkErrors
Datanodenetworkerrors
网络错误
_DatanodeNetworkErrors
次/s 网络错误统计 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnHbRtHeartbeatsavgtime 心跳延迟_HeartbeatsAvgTime ms 心跳接口平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnHbOpsHeartbeatsnumops 心跳 QPS_HeartbeatsNumOps 次/s 心跳接口 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnDatapacketAvgtimeSend
datapackettransfer
nanosavgtime
包传输操作
QPS_SendDataPacketTransfer
NanosAvgTime
ms 发送数据包平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsRead
blockopnumops
数据块操作
_ReadBlockOpNumOps
次/s 从 DataNode 读取 Block OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsWrite
blockopnumops
数据块操作
_WriteBlockOpNumOps
次/s 向 DataNode 写入 Block OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsBlock
checksumopnumops
数据块操作
_BlockChecksumOpNumOps
次/s DataNode 进行 Checksum 操作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsCopy
blockopnumops
数据块操作
_CopyBlockOpNumOps
次/s 复制 Block 操作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsReplace
blockopnumops
数据块操作
_ReplaceBlockOpNumOps
次/s Replace Block 操作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsBlock
reportsnumops
数据块操作
_BlockReportsNumOps
次/s BLOCK 汇报动作的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsIncremental
blockreports
numops
数据块操作
_IncrementalBlockReports
NumOps
次/s BLOCK 增量汇报的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsCache
reportsnumops
数据块操作
_CacheReportsNumOps
次/s 缓存汇报的 OPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksOpsPacketack
roundtriptimenanos
numops
数据块操作
_PacketAckRoundTripTimeNanos
NumOps
次/s 每秒处理 ACK ROUND TRIP 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFsyncOpsFsync
nanosnumops
FSYNC 操作
_FsyncNanosNumOps
次/s FSYNC 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFlushOpsFlush
nanosnumops
FLUSH 操作
_FlushNanosNumOps
次/s 每秒处理 Flush 操作次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtRead
blockopavgtime
数据块操作延迟统计
_ReadBlockOpAvgTime
ms 读取 Block 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtWrite
blockopavgtime
数据块操作延迟统计
_ReplaceBlockOpAvgTime
ms 写 Blcok 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtBlock
checksumopavgtime
数据块操作延迟统计_BlockChecksumOpAvgTime ms 块校验操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtCopy
blockopavgtime
数据块操作延迟统计
_CopyBlockOpAvgTime
ms 复制块操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRt
Replaceblockopavgtime
数据块操作延迟统计
_Replaceblockopavgtime
ms Replace Block 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtBlock
reportsavgtime
数据块操作延迟统计
_BlockReportsAvgTime
ms 块汇报平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtIncremental
blockreportsavgtime
数据块操作延迟统计
_IncrementalBlockReportsAvgTime
ms 增量块汇报平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtCache
reportsavgtime
数据块操作延迟统计
_CacheReportsAvgTime
ms 缓存汇报平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnBlocksRtPacketack
roundtriptimenanos
avgtime
数据块操作延迟统计
_PacketAckRoundTripTimeNanos
AvgTime
ms 处理 ACK ROUND TRIP 平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFlushRtFlushnanosavgtime FLUSH延迟_FlushNanosAvgTime ms Flush 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnFsyncRtFsyncnanosavgtime FSYNC延迟_FsyncNanosAvgTime ms Fsync 操作平均时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblockswrite
RAMDISKBlocks_Ram
DiskBlocksWrite
块/s 写入内存的块的总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblockswritefallback
RAMDISKBlocks_Ram
DiskBlocksWriteFallback
块/s 写入内存但未成功的块总数(故障转移到磁盘) id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOpRamdisk
blocksdeletedbeforelazypersisted
RAMDISKBlocks_RamDiskBlocks
DeletedBeforeLazyPersisted
块/s 应用程序在被保存到磁盘之前被删除的块的总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblocksreadhits
RAMDISKBlocks_Ram
DiskBlocksReadHits
块/s 内存中的块被读取的总次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblocksevicted
RAMDISKBlocks_Ram
DiskBlocksEvicted
块/s 内存中被清除的块总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOpRamdisk
blocksevictedwithoutread
RAMDISKBlocks_RamDiskBlocks
EvictedWithoutRead
块/s 从内存中取出的内存块总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskblockslazypersisted
RAMDISKBlocks_RamDisk
BlocksLazyPersisted
块/s 惰性写入器写入磁盘的总数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksOp
Ramdiskbyteslazypersisted
RAMDISKBlocks_Ram
DiskBytesLazyPersisted
B/s 由懒惰写入器写入磁盘的总字节数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRamBlocksBytes
Ramdiskbyteswrite
RAMDISK 写入速度_RamDiskBytesWrite B/s 写入内存的总字节数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMem
Memnonheapusedm
JVM 内存
_MemNonHeapUsedM
MB JVM 当前已经使用的 NonHeapMemory 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMem
Memnonheapcommittedm
JVM 内存
_MemNonHeapCommittedM
MB JVM 配置的 NonHeapCommittedM 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMemMemheapusedm JVM 内存
_MemHeapUsedM
MB JVM 当前已经使用的 HeapMemory 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMem
Memheapcommittedm
JVM 内存
_MemHeapCommittedM
MB JVM HeapMemory 提交大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMemMemheapmaxm JVM 内存
_MemHeapMaxM
MB JVM 配置的 HeapMemory 的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmMemMemmaxm JVM 内存
_MemMaxM
MB JVM 运行时的可以使用的最大的内存的大小 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreadsThreadsnew JVM 线程数量
_ThreadsNew
处于新建状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadsrunnable
JVM 线程数量
_ThreadsRunnable
处于可运行状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadsblocked
JVM线程数量
_ThreadsBlocked
处于阻塞状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadswaiting
JVM 线程数量
_ThreadsWaiting
处于 WAITING 状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadstimedwaiting
JVM 线程数量
_ThreadsTimedWaiting
处于 TIMED WAITING 状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmJavaThreads
Threadsterminated
JVM 线程数量
_ThreadsTerminated
处于 Terminated 状态的线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLogfatal JVM 日志数量_LogFatal Fatal 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLogerror JVM 日志数量_LogError Error 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLogwarn JVM 日志数量_LogWarn Warn 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnJvmLogTotalLoginfo JVM 日志数量_LogInfo Info 日志数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcCountFgc GC 次数_FGC Full GC 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcCountYgc GC 次数_YGC Young GC 次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcTimeYgct GC 时间_YGCT s Young GC 消耗时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcTimeFgct GC 时间_FGCT s Full GC 消耗时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnGcUtilGcTimeGct GC 时间_GCT s 垃圾回收时间消耗 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004RxtxReceivedbytes 数据流量_ReceivedBytes B/s 接收数据速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004RxtxSentbytes 数据流量_SentBytes B/s 发送数据速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004QpsRpc
queuetimenumops
QPS_RpcQueueTimeNumOps 次/秒 RPC 调用速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004RtRpc
queuetimeavgtime
请求处理延迟
_RpcQueueTimeAvgTime
ms RPC 平均延迟时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authenticationfailures
验证和授权
_RpcAuthenticationFailures
RPC 验证失败次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authenticationsuccesses
验证和授权
_RpcAuthenticationSuccesses
RPC 验证成功次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authorizationfailures
验证和授权
_RpcAuthorizationFailures
RPC 授权失败次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004AuthRpc
authorizationsuccesses
验证和授权
_RpcAuthorizationSuccesses
RPC 授权成功次数 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004Connections
Numopenconnections
当前连接数
_NumOpenConnections
当前链接数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnPort4004QueueLen
Callqueuelength
RPC 处理队列长度
_CallQueueLength
当前 RPC 处理队列长度 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadTimeCurrent
threadcputime
CPU 时间
_CurrentThreadCpuTime
ms CPU时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadTimeCurrent
threadusertime
CPU 时间
_CurrentThreadUserTime
ms 用户时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnStartTimeStarttime 线程数量
_DaemonThreadCount
s 进程启动时间 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadCount
Peakthreadcount
程数量_PeakThreadCount 峰值线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnThreadCount
Daemonthreadcount
线程数量_DaemonThreadCount 后台线程数量 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRtWrit 读写延迟_Write MB/s 磁盘写速率 id4hdfsdatanode、
host4hdfsdatanode
HdfsDnRtRead 读写延迟_Read 次/秒 读操作 QPS id4hdfsdatanode、
host4hdfsdatanode
HdfsDnDatapacketOps
Datapacketops
包传输操作 QPS_DataPacketOps 次/秒 包传输操作 QPS id4hdfsdatanode、
host4hdfsdatanode

HDFS-NameNode

指标英文名 指标中文名 指标单位 指标含义 维度
HdfsNnTransactions
Sincelastcheckpoint
总事务数_Sincelastcheckpoint 次数总和 总事务数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnTransaction
RtTransactionsavgtime
事务操作延迟_TransactionsAvgTime ms 处理 Journal transaction 操作的平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnTransactionOps
Transactionsnumops
事务操作_TransactionsNumOps 次/秒 每秒处理 Journal transaction 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnTransactionOps
Transactionsbatchedinsync
事务操作_TransactionsBatchedInSync 次/秒 每秒批量处理 Journal transaction 操作次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnThreadCount
Threadcount
线程数量_ThreadCount 线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnThreadCount
Peakthreadcount
线程数量_PeakThreadCount 峰值线程数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnThreadCount
Daemonthreadcount
线程数量_DaemonThreadCount 后台线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSyncsRtSyncsavgtime SYNCS操作延迟_SyncsAvgTime ms 处理 Journal syncs 操作的平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSyncsOpsSyncsnumops SYNC操作_SyncsNumOps 次/秒 每秒处理 Journal syncs 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnStateState 主备情况_State NN 状态 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnStartTimeStarttime 启动时间_StartTime ms 进程启动时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnStaleStorages
CountNumstalestorages
被标记为过期的存储的数量_NumStaleStorages 由于心跳延迟而标记为过期的 DataNodes 当前数目 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Snapshotdiffreportops
SNAPSHOT操作_SnapshotDiffReportOps 次/秒 每秒执行 AllowSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Renamesnapshotops
SNAPSHOT操作_RenameSnapshotOps 次/秒 每秒执行 SnapshotDiffReportOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Listsnapshottabledirops
SNAPSHOT操作_ListSnapshottableDirOps 次/秒 每秒执行 RenameSnapshotOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Disallowsnapshotops
SNAPSHOT操作_DisallowSnapshotOps 次/秒 每秒执行 ListSnapshottableDir 操作次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Deletesnapshotops
SNAPSHOT操作_DeleteSnapshotOps 次/秒 每秒执行 DisallowSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Createsnapshotops
SNAPSHOT操作_CreateSnapshotOps 次/秒 每秒执行 DeleteSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnSnapshotOps
Allowsnapshotops
SNAPSHOT操作_AllowSnapshotOps 次/秒 每秒执行 CreateSnapshot 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Rxtx
Sentbytes
数据流量_SentBytes B/s 发送数据速率 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Rxtx
Receivedbytes
数据流量_ReceivedBytes B/s 接收数据速率 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007RtRpc
queuetimeavgtime
请求处理延迟_RpcQueueTimeAvgTime ms RPC 平均延迟时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007RtRpc
processingtimeavgtime
请求处理延迟_ RpcProcessingTimeAvgTime ms 请求处理延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Queue
LenCallqueuelength
RPC处理队列长度_CallQueueLength 次/秒 当前 RPC 处理队列长度 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007QpsRpc
queuetimenumops
QPS_RpcQueueTimeNumOps 次/秒 RPC 调用速率 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Settimesnumops
每秒调用次数_SetTimes 次/秒 SetTimes 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Setsafemodenumops
每秒调用次数_SetSafeMode 次/秒 SetSafeMode 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Setpermissionnumops
每秒调用次数_SetPermission 次/秒 SetPermission 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Mkdirsnumops
每秒调用次数_Mkdirs 次/秒 Mkdirs 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops
3Listencryptionzonesnumops
每秒调用次数_ListEncryptionZones 次/秒 ListEncryptionZones 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops3
Getserverdefaultsnumops
每秒调用次数_GetServerDefaults 次/秒 GetServerDefaults 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops3
Getblocklocationsnumops
每秒调用次数_GetBlockLocations 次/秒 GetBlockLocations 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Versionrequestnumops
每秒调用次数_VersionRequest 次/秒 VersionRequest 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Renewleasenumops
每秒调用次数_RenewLease 次/秒 RenewLease 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Registerdatanodenumops
每秒调用次数_RegisterDatanode 次/秒 RegisterDatanode 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Fsyncnumops
每秒调用次数_Fsync 次/秒 Fsync 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Deletenumops
每秒调用次数_Delete 次/秒 Delete 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Blockreportnumops
每秒调用次数_BlockReport 次/秒 BlockReceivedAndDeleted 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops2
Blockreceivedanddeletednumops
每秒调用次数_BlockReceivedAndDeleted 次/秒 SendHeartbeat 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Sendheartbeatnumops
每秒调用次数_SendHeartbeat 次/秒 Rename 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Renamenumops
每秒调用次数_Rename 次/秒 Rename 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Getlistingnumops
每秒调用次数_GetListing 次/秒 GetListing 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Getfileinfonumops
每秒调用次数_GetFileInfo 次/秒 GetFileInfo 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Createnumops
每秒调用次数_Create 次/秒 Create 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Completenumops
每秒调用次数_Complete 次/秒 Complete 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Numops1
Addblocknumops
每秒调用次数_AddBlock 次/秒 AddBlock 每秒调用时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Connections
Numopenconnections
当前连接数_NumOpenConnections 当前链接数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime
3Settimesavgtime
请求平均延迟时间_SetTimes 毫秒 SetTimes 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Setsafemodeavgtime
请求平均延迟时间_SetSafeMode 毫秒 SetSafeMode 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Setpermissionavgtime
请求平均延迟时间_SetPermission 毫秒 SetPermission 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Mkdirsavgtime
请求平均延迟时间_Mkdirs 毫秒 Mkdirs 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Listencryptionzonesavgtime
请求平均延迟时间_ListEncryptionZones 毫秒 ListEncryptionZones 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Getserverdefaultsavgtime
请求平均延迟时间_GetServerDefaults 毫秒 GetServerDefaults 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime3
Getblocklocationsavgtime
请求平均延迟时间_GetBlockLocations 毫秒 GetBlockLocations 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Versionrequestavgtime
请求平均延迟时间_VersionRequest 毫秒 VersionRequest 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Renewleaseavgtime
请求平均延迟时间_RenewLease 毫秒 RenewLease 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Registerdatanodeavgtime
请求平均延迟时间_RegisterDatanode 毫秒 RegisterDatanode 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Fsyncavgtime
请求平均延迟时间_Fsync 毫秒 Fsync 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Deleteavgtime
请求平均延迟时间_Delete 毫秒 Delete 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Blockreportavgtime
请求平均延迟时间_BlockReport 毫秒 BlockReceivedAndDeleted 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime2
Blockreceivedanddeletedavgtime
请求平均延迟时间_BlockReceivedAndDeleted 毫秒 SendHeartbeat 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Sendheartbeatavgtime
请求平均延迟时间_SendHeartbeat 毫秒 Rename 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Renameavgtime
请求平均延迟时间_Rename 毫秒 Rename 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Getlistingavgtime
请求平均延迟时间_GetListing 毫秒 GetListing 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Getfileinfoavgtime
请求平均延迟时间_GetFileInfo 毫秒 GetFileInfo 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Createavgtime
请求平均延迟时间_Create 毫秒 Create 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Completeavgtime
请求平均延迟时间_Complete 毫秒 Complete 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Avgtime1
Addblockavgtime
请求平均延迟时间_AddBlock 毫秒 AddBlock 请求平均延时 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthorizationsuccesses
验证和授权_RpcAuthorizationSuccesses RPC 授权成功次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthorizationfailures
验证和授权_RpcAuthorizationFailures RPC 授权失败次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthenticationsuccesses
验证和授权_RpcAuthenticationSuccesses RPC 验证成功次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPort4007Auth
Rpcauthenticationfailures
验证和授权_RpcAuthenticationFailures RPC 验证失败次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnPendingDatanodeMessage
CountPendingdatanodemessagecou
备NN上挂起的与BLOCK相关操作的消息数量_PendingDataNodeMessageCount 个/秒 备NN上挂起的与BLOCK相关操作的消息数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnLockqueueLock
queuelength
等待文件锁的队列长度 次数总和 等待文件锁的队列长度 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMem
Memnonheapusedm
JVM内存_MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemnon
heapcommittedm
JVM内存_MemNonHeapCommittedM MB JVM 内存 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemmaxm JVM内存_MemMaxM MB JVM 运行时的可以使用的最大的内存的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemheapusedm JVM内存_MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemheapmaxm JVM内存_MemHeapMaxM MB JVM 配置的 HeapMemory 的大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmMemMemheap
committedm
JVM内存_MemHeapCommittedM MB JVM HeapMemory 提交大小 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLogwarn JVM日志数量_LogWarn Warn 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLoginfo JVM日志数量_LogInfo Info 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLogfatal JVM日志数量_LogFatal Fatal 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmLogTotalLogerror JVM日志数量_LogError Error 日志数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadswaiting
JVM线程数量_ThreadsWaiting 处于新建状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadstimedwaiting
JVM线程数量_ThreadsTimedWaiting 处于 WAITING 状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsterminated
JVM线程数量_ThreadsTerminated 处于 TIMED WAITING 状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsrunnable
JVM线程数量_ThreadsRunnable 处于 Terminated 状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsnew
JVM线程数量_ThreadsNew 处于可运行状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnJvmJavaThreads
Threadsblocked
JVM线程数量_ThreadsBlocked 处于阻塞状态的线程数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageRt
Putimageavgtime
镜像操作延迟_PutImageAvgTime ms 写入镜像文件平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageRt
Getimageavgtime
镜像操作延迟_GetImageAvgTime ms 读取镜像文件平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageRt
Geteditavgtime
镜像操作延迟_GetEditAvgTime ms 读取 Edit 文件操作平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageOps
Putimagenumops
镜像操作_PutImageNumOps 次/秒 每秒执行 PutImageNumOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageOps
Getimagenumops
镜像操作_GetImageNumOps 次/秒 每秒执行 GetImageNumOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnImageOps
Geteditnumops
镜像操作_GetEditNumOps 次/秒 每秒执行 GetEditNumOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcTimeYgct GC 时间_YGCT s Young GC 消耗时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcTimeGct GC 时间_GCT s 垃圾回收时间消耗 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcTimeFgct GC 时间_FGCT s Full GC 消耗时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcCountYgc GC 次数_YGC Young GC 次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnGcUtilGcCountFgc GC 次数_FGC Full GC 次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsTotalfileops 文件操作_TotalFileOps 次/秒 每秒执行 TotalFileOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsGetlistingops 文件操作_GetListingOps 次/秒 每秒执行 GetListing 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsGetlinktargetops 文件操作_GetLinkTargetOps 次/秒 每秒执行 GetLinkTarget 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsGetadditional
datanodeops
文件操作_GetAdditionalDatanodeOps 次/秒 每秒执行 GetAdditionalDatanode 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsFilesingetlistingops 文件操作_FilesInGetListingOps 次/秒 每秒执行 FilesInGetListing 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsFileinfoops 文件操作_FileInfoOps 次/秒 每秒执行 FileInfo 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsDeletefileops 文件操作_DeleteFileOps 次/秒 每秒执行 DeleteFile 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsCreatesymlinkops 文件操作_CreateSymlinkOps 次/秒 每秒执行 CreateSymlink 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesOpsCreatefileops 文件操作_CreateFileOps 次/秒 每秒执行 CreateFile 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesFilesdeleted 文件数量_Filesdeleted 次数总和 删除文件数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesFilescreated 文件数量_Filescreated 次数总和 创建文件数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnFilesFilesappended Appended文件数量 次数总和 Appended 文件数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnCheckpointtime
Lastcheckpoint
上次Checkpoint以来的时间 秒(s) 上次 Checkpoint 以来的时间 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnCacheReportRt
Cachereportavgtime
Cache汇报延迟_CacheReportAvgTime ms 缓存上报动作平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnCacheReportOps
Cachereportnumops
缓存汇报_CacheReportNumOps 次/秒 每秒处理 CacheReport 操作的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksOpsBlock
receivedanddeletedops
数据块操作_BlockReceivedAndDeletedOps 次/秒 处理 DataNode Block 上报操作的延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksOps
Blockopsqueued
数据块操作_BlockOpsQueued 次/秒 每秒执行 BlockReceivedAndDeletedOps 的次数 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksMissingNumberof
missingblockswithreplicationfacto
缺失块统计_NumberOfMissingBlocksWithReplicationFactorOne 缺失的数据库数量(rf = 1) host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlocksMissingNumberof
missingblocks
缺失块统计_NumberOfMissingBlocks 缺失的数据块数量 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlockReportRt
Blockreportavgtime
数据块汇报延迟_BlockReportAvgTime ms 每秒处理 DataNode Blcok 平均延迟 host4hdfsnamenode、
id4hdfsnamenode
HdfsNnBlockReportOps
Blockreportnumops
数据块汇报_BlockReportNumOps 次/秒 每秒处理 DataNode Blcok 上报操作的次数 host4hdfsnamenode、
id4hdfsnamenode

HDFS-Journal Node

指标英文名 指标中文名 指标单位 指标含义
HdfsJnJvmMemMemnon
heapusedm
JVM 内存_MemNonHeapUsedM MB JVM 当前已经使用的 NonHeapMemory 的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMemnon
heapcommittedm
JVM 内存_MemNonHeapCommittedM MB JVM 内存 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMem
heapusedm
JVM 内存_MemHeapUsedM MB JVM 当前已经使用的 HeapMemory 的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMem
heapcommittedm
JVM 内存_MemHeapCommittedM MB JVM HeapMemory 提交大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMem
heapmaxm
JVM 内存_MemHeapMaxM MB JVM 配置的 HeapMemory 的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmMemMemmaxm JVM 内存_MemMaxM MB JVM 运行时的可以使用的最大的内存的大小 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsnew
JVM 线程数量_ThreadsNew 处于新建状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsrunnable
JVM 线程数量_ThreadsRunnable 处于可运行状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsblocked
JVM 线程数量_ThreadsBlocked 处于阻塞状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadswaiti
JVM 线程数量_ThreadsWaiting 处于 WAITING 状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadstimedwaiting
JVM 线程数量_ThreadsTimedWaiting 处于 TIMED WAITING 状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmJavaThreads
Threadsterminated
JVM 线程数量_ThreadsTerminated 处于 Terminated 状态的线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLogfatal JVM 日志数量_LogFatal Fatal 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLogerror JVM 日志数量_LogError Error 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLogwarn JVM 日志数量_LogWarn Warn 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnJvmLogTotalLoginfo JVM 日志数量_LogInfo Info 日志数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcCountFgc GC 次数_FGC Full GC 次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcCountYgc GC 次数_YGC Young GC 次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcTimeYgct GC 时间_YGCT s Young GC 消耗时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcTimeFgct GC 时间_FGCT s Full GC 消耗时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnGcUtilGcTimeGct GC 时间_GC s 垃圾回收时间消耗 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005Rxtx
Receivedbytes
数据流量_ReceivedBytes B/s 接收数据速率 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005Rxtx
Receivedbytes
数据流量_ReceivedBytes B/s 发送数据速率 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005QpsRpc
queuetimenumops
QPS_RpcQueueTimeNumOps 次/s RPC 调用速率 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005RtRpc
queuetimeavgtime
请求处理延迟_RpcQueueTimeAvgTime ms RPC 平均延迟时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authenticationfailures
验证和授权_RpcAuthenticationFailures RPC 验证失败次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authorizationsuccesses
验证和授权_RpcAuthorizationSuccesses RPC 授权成功次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authenticationsuccesses
验证和授权_RpcAuthenticationSuccesses RPC 验证成功次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005AuthRpc
authorizationfailures
验证和授权_RpcAuthorizationFailures RPC 授权失败次数 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005Connections
Numopenconnections
当前连接数_NumOpenConnections 当前链接数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnPort4005QueueLen
Callqueuelength
RPC 处理队列长度_CallQueueLength 当前 RPC 处理队列长度 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadTimeCurrent
threadcputime
CPU 时间_CurrentThreadCpuTime ms CPU时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadTimeCurrent
threadusertime
CPU 时间_CurrentThreadUserTime ms 用户时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnStartTimeStarttime 启动时间_StartTime s 进程启动时间 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadCount
Threadcount
线程数量_ThreadCount 线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadCount
Peakthreadcount
线程数量_PeakThreadCount 峰值线程数量 host4hdfsjournalnode、
id4hdfsjournalnode
HdfsJnThreadCountDaemon
threadcount
线程数量_DaemonThreadCount 后台线程数量 host4hdfsjournalnode、
id4hdfsjournalnode

HDFS-ZKFC

指标英文名 指标中文名 指标单位 指标含义 维度
HdfsDfzkGcUtilMemoryS0 内存区域占比_S0 % Survivor 0区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryS1 内存区域占比_S1 % Survivor 1区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryE 内存区域占比_E % Eden 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryO 内存区域占比_O % Old 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryM 内存区域占比_M % Metaspace 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilMemoryCcs 内存区域占比_CCS % Compressed class space 区内存使用占比 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcCountFgc GC次数_FGC Full GC 次数 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcCountYgc GC次数_YGC Young GC 次数 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeYgct GC时间_YGCT s Young GC 消耗时间 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeFgct GC时间_FGCT s Full GC 消耗时间 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
HdfsDfzkGcUtilGcTimeGct GC时间_GCT s 垃圾回收时间消耗 host4hdfszkfailovercontroller、
id4hdfszkfailovercontroller
说明:

每个指标的统计粒度(Period)可取值不一定相同,可通过 DescribeBaseMetrics 接口获取每个指标支持的统计粒度。

各维度对应参数总览

参数名称 维度名称 维度解释 格式
Instances.N.Dimensions.0.Name id4hdfsoverview EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsoverview
Instances.N.Dimensions.0.Value id4hdfsoverview EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsoverview EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsoverview
Instances.N.Dimensions.1.Value host4hdfsoverview EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfsnamenode EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsnamenode
Instances.N.Dimensions.0.Value id4hdfsnamenode EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsnamenode EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsnamenode
Instances.N.Dimensions.1.Value host4hdfsnamenode EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfsdatanode EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsdatanode
Instances.N.Dimensions.0.Value id4hdfsdatanode EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsdatanode EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsdatanode
Instances.N.Dimensions.1.Value host4hdfsdatanode EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfsjournalnode EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfsjournalnode
Instances.N.Dimensions.0.Value id4hdfsjournalnode EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfsjournalnode EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfsjournalnode
Instances.N.Dimensions.1.Value host4hdfsjournalnode EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。
Instances.N.Dimensions.0.Name id4hdfszkfailovercontroller EMR 实例 ID 的维度名称 输入 String 类型维度名称:id4hdfszkfailovercontroller
Instances.N.Dimensions.0.Value id4hdfszkfailovercontroller EMR 实例具体 ID 输入 EMR 具体实例 ID,例如 :emr-mm8bs222
Instances.N.Dimensions.1.Name host4hdfszkfailovercontroller EMR 实例中节点 IP 的维度名称 输入String 类型维度名称:host4hdfszkfailovercontroller
Instances.N.Dimensions.1.Value host4hdfszkfailovercontroller EMR 实例中具体节点 IP 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网IP。也可通过 查询节点信息 API 获取。

入参说明

弹性 MapReduce(HDFS)支持以下六种维度组合的查询方式,六种入参取值如下:

1. 查询 HDFS-OverviewAggregation 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID

2. 查询 HDFS-Overview 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsoverview
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP

3. 查询 HDFS-NameNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsnamenode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsnamenode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP

4. 查询 HDFS-DataNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsdatanode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsdatanode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP

5. 查询 HDFS-Journal Node 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsjournalnode
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfsjournalnode
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP

6. 查询 HDFS-ZKFC 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfszkfailovercontroller
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfszkfailovercontroller
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP