命名空间
Namespace=QCE/TXMR_HDFS
监控指标
弹性 MapReduce(HDFS)提供 HDFS-Overview、HDFS-OverviewAggregation、HDFS-NameNode、HDFS-DataNode、HDFS-Journal Node 和 HDFS-ZKFC 指标。
说明:维度对应参数,请单击 各维度对应参数总览 查看。
HDFS-Overview
aa
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
EmrHdfsOverviewHdfs NnBlocksBlockstotal |
BLOCKS数量_BlocksTotal | 个 | 总 BLOCK 数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn BlocksCorruptblocks |
BLOCKS数量_CorruptBlocks | 个 | 坏块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn VolumeFailuresVolumefailurestotal |
磁盘故障_VolumeFailuresTotal | 个 | 所有 Datanodes 的全故障总数 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn FilesTotalFilestotal |
集群文件总数量_FilesTotal | 个 | 集群文件总数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn BlocksScheduledreplicationblocks |
BLOCKS数量_ScheduledReplicationBlocks | 个 | 安排要备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlocks Postponedmisreplicatedblocks |
BLOCKS数量_PostponedMisreplicatedBlocks | 个 | 被推迟处理的异常块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdecommissioningdatanodes |
集群数据节点_NumDecommissioningDataNodes | 个 | 正在下线的节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlock CapacityBlockcapacity |
BLOCK容量_BlockCapacity | GB | BLOCK 容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlocks Underreplicatedblocks |
BLOCKS数量_UnderReplicatedBlocks | 个 | 副本数不够的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacityusednondfs |
集群存储容量_CapacityUsedNonDFS | GB | 集群非 HDFS 使用容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnLoadTotalload | 集群负载_TotalLoad | 个 | 集群负载数 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumstaledatanodes |
集群数据节点_NumStaleDataNodes | 个 | 由于心跳延迟而标记为过期的 DataNodes 当前数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlocks Pendingreplicationblocks |
BLOCKS数量_PendingReplicationBlocks | 个 | 等待被备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdeaddatanodes |
集群数据节点_NumDeadDataNodes | 个 | 已经标记为 Dead 状态的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfs NnSnapshotsSnapshots |
SNAPSHOT相关_Snapshots | 个 | Snapshots 数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn BlocksPendingdeletionblocks |
BLOCKS数量_PendingDeletionBlocks | 个 | 等待被删除的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacityused |
集群存储容量_CapacityUsed | GB | 集群储存已使用容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdecomlivedatanodes |
集群数据节点_NumDecomLiveDataNodes | 个 | 下线且 Live 的节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacitytotal |
集群存储容量_CapacityTotal | GB | 集群存储总容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdecomdeaddatanodes |
集群数据节点_NumDecomDeadDataNodes | 个 | 下线且 Dead 的节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacityremaining |
集群存储容量_CapacityRemaining | GB | 集群存储剩余容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn DatanodesCountNumlivedatanodes |
集群数据节点_NumLiveDataNodes | 个 | 个活的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfs NnBlocksExcessblocks |
BLOCKS数量_ExcessBlocks | 个 | 多余的块数量 | id4hdfsoverview |
HDFS-OverviewAggregation
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
EmrHdfsOverviewAggregationHdfsNn VolumeFailuresVolumefailurestotal |
磁盘故障_VolumeFailuresTotal | 个 | 所有 Datanodes 的全故障总数 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksPendingreplicationblocks |
BLOCKS数量_PendingReplicationBlocks | 个 | 等待被备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksPendingdeletionblocks |
BLOCKS数量_PendingDeletionBlocks | 个 | 等待被删除的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnCapacityCapacityused |
集群存储容量_CapacityUsed | GB | 集群储存已使用容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnBlocksExcessblocks |
BLOCKS数量_ExcessBlocks | 个 | 多余的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnBlocksBlockstotal |
BLOCKS数量_BlocksTotal | 个 | 块总数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksPostponedmisreplicatedblocks |
BLOCKS数量_PostponedMisreplicatedBlocks | 个 | 被推迟处理的异常块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlockCapacityBlockcapacity |
BLOCK容量_BlockCapacity | 个 | BLOCK 容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn CapacityCapacitytotal |
集群存储容量_CapacityTotal | GB | 集群存储总容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumstaledatanodes |
集群数据节点_NumStaleDataNodes | 个 | 由于心跳延迟而标记为过期的 DataNodes 当前数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksCorruptblocks |
BLOCKS数量_CorruptBlocks | 个 | 坏块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn SnapshotsSnapshots |
SNAPSHOT相关_Snapshots | 个 | Snapshots 数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumlivedatanodes |
集群数据节点_NumLiveDataNodes | 个 | 个活的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdeaddatanodes |
集群数据节点_NumDeadDataNodes | 个 | 已经标记为 Dead 状态的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksScheduledreplicationblocks |
BLOCKS数量_ScheduledReplicationBlocks | 个 | 安排要备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdecomlivedatanodes |
集群数据节点_NumDecomLiveDataNodes | 个 | 下线且 Live 的节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdecommissioningdatanodes |
集群数据节点_NumDecommissioningDataNodes | 个 | 正在下线的节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnFilesTotalFilestotal |
集群文件总数量_FilesTotal | 个 | 集群文件总数量_ | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn CapacityCapacityremaining |
集群存储容量_CapacityRemaining | GB | 集群存储剩余容量 | id4hdfsoverview |
EmrHdfsOverviewAggregation HdfsNnLoadTotalload |
集群负载_TotalLoad | - | 集群负载 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnBlocksUnderreplicatedblocks |
BLOCKS数量_UnderReplicatedBlocks | 个 | 副本数不够的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnCapacityCapacityusednondfs |
集群存储容量_CapacityUsedNonDFS | GB | 集群非 HDFS 使用容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdecomdeaddatanodes |
集群数据节点_NumDecomDeadDataNodes | 个 | 下线且 Dead 的节点数量 | id4hdfsoverview |
HDFS-DataNode
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
HdfsDnXceiverXceivercount | XCEIVER 数量_XceiverCount | 个 | Xceiver 数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesByteswrittenmb | 数据读写速率_BytesReadMB | Bytes/s | 写入 DN 的字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesBytesreadmb | 数据读写速率_BytesReadMB | Bytes/s | 读取 DN 的字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesRemotebytesreadmb | 数据读写速率 _RemoteBytesReadMB |
Bytes/s | 远程客户端读取字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesRemoteby teswrittenmb |
数据读写速率 _RemoteBytesWrittenMB |
Bytes/s | 远程客户端写入字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientWritesfrom remoteclient |
客户端连接数 _WritesFromRemoteClient |
个 | 来自远程客户端写操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientWritesfromlocalclient | 客户端连接数 _WritesFromLocalClient |
个 | 来自本地客户端写操作 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientReadsfrom remoteclient |
客户端连接数 _ReadsFromRemoteClient |
个 | 来自远程客户端读操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientReadsfromlocalclient | 客户端连接数 _ReadsFromLocalClient |
个 | 来自本地客户端读操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksVerifiedFailures Blockverificationfailures |
Block 校验失败 _BlockVerificationFailures |
次/s | BLOCK 校验失败数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnVolumeFailures Volumefailures |
磁盘故障_VolumeFailures | 次/s | 磁盘故障次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnNetworkErrors Datanodenetworkerrors |
网络错误 _DatanodeNetworkErrors |
次/s | 网络错误统计 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnHbRtHeartbeatsavgtime | 心跳延迟_HeartbeatsAvgTime | ms | 心跳接口平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnHbOpsHeartbeatsnumops | 心跳 QPS_HeartbeatsNumOps | 次/s | 心跳接口 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnDatapacketAvgtimeSend datapackettransfer nanosavgtime |
包传输操作 QPS_SendDataPacketTransfer NanosAvgTime |
ms | 发送数据包平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsRead blockopnumops |
数据块操作 _ReadBlockOpNumOps |
次/s | 从 DataNode 读取 Block OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsWrite blockopnumops |
数据块操作 _WriteBlockOpNumOps |
次/s | 向 DataNode 写入 Block OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsBlock checksumopnumops |
数据块操作 _BlockChecksumOpNumOps |
次/s | DataNode 进行 Checksum 操作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsCopy blockopnumops |
数据块操作 _CopyBlockOpNumOps |
次/s | 复制 Block 操作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsReplace blockopnumops |
数据块操作 _ReplaceBlockOpNumOps |
次/s | Replace Block 操作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsBlock reportsnumops |
数据块操作 _BlockReportsNumOps |
次/s | BLOCK 汇报动作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsIncremental blockreports numops |
数据块操作 _IncrementalBlockReports NumOps |
次/s | BLOCK 增量汇报的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsCache reportsnumops |
数据块操作 _CacheReportsNumOps |
次/s | 缓存汇报的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsPacketack roundtriptimenanos numops |
数据块操作 _PacketAckRoundTripTimeNanos NumOps |
次/s | 每秒处理 ACK ROUND TRIP 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFsyncOpsFsync nanosnumops |
FSYNC 操作 _FsyncNanosNumOps |
次/s | FSYNC 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFlushOpsFlush nanosnumops |
FLUSH 操作 _FlushNanosNumOps |
次/s | 每秒处理 Flush 操作次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtRead blockopavgtime |
数据块操作延迟统计 _ReadBlockOpAvgTime |
ms | 读取 Block 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtWrite blockopavgtime |
数据块操作延迟统计 _ReplaceBlockOpAvgTime |
ms | 写 Blcok 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtBlock checksumopavgtime |
数据块操作延迟统计_BlockChecksumOpAvgTime | ms | 块校验操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtCopy blockopavgtime |
数据块操作延迟统计 _CopyBlockOpAvgTime |
ms | 复制块操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRt Replaceblockopavgtime |
数据块操作延迟统计 _Replaceblockopavgtime |
ms | Replace Block 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtBlock reportsavgtime |
数据块操作延迟统计 _BlockReportsAvgTime |
ms | 块汇报平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtIncremental blockreportsavgtime |
数据块操作延迟统计 _IncrementalBlockReportsAvgTime |
ms | 增量块汇报平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtCache reportsavgtime |
数据块操作延迟统计 _CacheReportsAvgTime |
ms | 缓存汇报平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtPacketack roundtriptimenanos avgtime |
数据块操作延迟统计 _PacketAckRoundTripTimeNanos AvgTime |
ms | 处理 ACK ROUND TRIP 平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFlushRtFlushnanosavgtime | FLUSH延迟_FlushNanosAvgTime | ms | Flush 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFsyncRtFsyncnanosavgtime | FSYNC延迟_FsyncNanosAvgTime | ms | Fsync 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblockswrite |
RAMDISKBlocks_Ram DiskBlocksWrite |
块/s | 写入内存的块的总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblockswritefallback |
RAMDISKBlocks_Ram DiskBlocksWriteFallback |
块/s | 写入内存但未成功的块总数(故障转移到磁盘) | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOpRamdisk blocksdeletedbeforelazypersisted |
RAMDISKBlocks_RamDiskBlocks DeletedBeforeLazyPersisted |
块/s | 应用程序在被保存到磁盘之前被删除的块的总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblocksreadhits |
RAMDISKBlocks_Ram DiskBlocksReadHits |
块/s | 内存中的块被读取的总次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblocksevicted |
RAMDISKBlocks_Ram DiskBlocksEvicted |
块/s | 内存中被清除的块总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOpRamdisk blocksevictedwithoutread |
RAMDISKBlocks_RamDiskBlocks EvictedWithoutRead |
块/s | 从内存中取出的内存块总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblockslazypersisted |
RAMDISKBlocks_RamDisk BlocksLazyPersisted |
块/s | 惰性写入器写入磁盘的总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskbyteslazypersisted |
RAMDISKBlocks_Ram DiskBytesLazyPersisted |
Bytes/s | 由懒惰写入器写入磁盘的总字节数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksBytes Ramdiskbyteswrite |
RAMDISK 写入速度_RamDiskBytesWrite | Bytes/s | 写入内存的总字节数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMem Memnonheapusedm |
JVM 内存 _MemNonHeapUsedM |
MB | JVM 当前已经使用的 NonHeapMemory 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMem Memnonheapcommittedm |
JVM 内存 _MemNonHeapCommittedM |
MB | JVM 配置的 NonHeapCommittedM 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMemMemheapusedm | JVM 内存 _MemHeapUsedM |
MB | JVM 当前已经使用的 HeapMemory 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMem Memheapcommittedm |
JVM 内存 _MemHeapCommittedM |
MB | JVM HeapMemory 提交大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMemMemheapmaxm | JVM 内存 _MemHeapMaxM |
MB | JVM 配置的 HeapMemory 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMemMemmaxm | JVM 内存 _MemMaxM |
MB | JVM 运行时的可以使用的最大的内存的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreadsThreadsnew | JVM 线程数量 _ThreadsNew |
个 | 处于新建状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadsrunnable |
JVM 线程数量 _ThreadsRunnable |
个 | 处于可运行状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadsblocked |
JVM线程数量 _ThreadsBlocked |
个 | 处于阻塞状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadswaiting |
JVM 线程数量 _ThreadsWaiting |
个 | 处于 WAITING 状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadstimedwaiting |
JVM 线程数量 _ThreadsTimedWaiting |
个 | 处于 TIMED WAITING 状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadsterminated |
JVM 线程数量 _ThreadsTerminated |
个 | 处于 Terminated 状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLogfatal | JVM 日志数量_LogFatal | 个 | Fatal 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLogerror | JVM 日志数量_LogError | 个 | Error 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLogwarn | JVM 日志数量_LogWarn | 个 | Warn 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLoginfo | JVM 日志数量_LogInfo | 个 | Info 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcCountFgc | GC 次数_FGC | 次 | Full GC 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcCountYgc | GC 次数_YGC | 次 | Young GC 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcTimeYgct | GC 时间_YGCT | s | Young GC 消耗时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcTimeFgct | GC 时间_FGCT | s | Full GC 消耗时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcTimeGct | GC 时间_GCT | s | 垃圾回收时间消耗 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004RxtxReceivedbytes | 数据流量_ReceivedBytes | Bytes/s | 接收数据速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004RxtxSentbytes | 数据流量_SentBytes | Bytes/s | 发送数据速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004QpsRpc queuetimenumops |
QPS_RpcQueueTimeNumOps | 次/s | RPC 调用速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004RtRpc queuetimeavgtime |
请求处理延迟 _RpcQueueTimeAvgTime |
ms | RPC 平均延迟时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authenticationfailures |
验证和授权 _RpcAuthenticationFailures |
次/s | RPC 验证失败次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authenticationsuccesses |
验证和授权 _RpcAuthenticationSuccesses |
次/s | RPC 验证成功次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authorizationfailures |
验证和授权 _RpcAuthorizationFailures |
次/s | RPC 授权失败次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authorizationsuccesses |
验证和授权 _RpcAuthorizationSuccesses |
次/s | RPC 授权成功次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004Connections Numopenconnections |
当前连接数 _NumOpenConnections |
个 | 当前链接数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004QueueLen Callqueuelength |
RPC 处理队列长度 _CallQueueLength |
个 | 当前 RPC 处理队列长度 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadTimeCurrent threadcputime |
CPU 时间 _CurrentThreadCpuTime |
ms | CPU时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadTimeCurrent threadusertime |
CPU 时间 _CurrentThreadUserTime |
ms | 用户时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnStartTimeStarttime | 线程数量 _DaemonThreadCount |
s | 进程启动时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadCount Peakthreadcount |
程数量_PeakThreadCount | 个 | 峰值线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadCount Daemonthreadcount |
线程数量_DaemonThreadCount | 个 | 后台线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRtWrit | 读写延迟_Write | MB/s | 磁盘写速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRtRead | 读写延迟_Read | 次/s | 读操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnDatapacketOps Datapacketops |
包传输操作 QPS_DataPacketOps | 次/s | 包传输操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HDFS-NameNode
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
HdfsNnTransactions Sincelastcheckpoint |
总事务数_Sincelastcheckpoint | 次数总和 | 总事务数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnTransaction RtTransactionsavgtime |
事务操作延迟_TransactionsAvgTime | ms | 处理 Journal transaction 操作的平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnTransactionOps Transactionsnumops |
事务操作_TransactionsNumOps | 次/秒 | 每秒处理 Journal transaction 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnTransactionOps Transactionsbatchedinsync |
事务操作_TransactionsBatchedInSync | 次/秒 | 每秒批量处理 Journal transaction 操作次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnThreadCount Threadcount |
线程数量_ThreadCount | 个 | 线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnThreadCount Peakthreadcount |
线程数量_PeakThreadCount | 个 | 峰值线程数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnThreadCount Daemonthreadcount |
线程数量_DaemonThreadCount | 个 | 后台线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSyncsRtSyncsavgtime | SYNCS操作延迟_SyncsAvgTime | ms | 处理 Journal syncs 操作的平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSyncsOpsSyncsnumops | SYNC操作_SyncsNumOps | 次/秒 | 每秒处理 Journal syncs 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnStateState | 主备情况_State | 个 | NN 状态 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnStartTimeStarttime | 启动时间_StartTime | ms | 进程启动时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnStaleStorages CountNumstalestorages |
被标记为过期的存储的数量_NumStaleStorages | 个 | 由于心跳延迟而标记为过期的 DataNodes 当前数目 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Snapshotdiffreportops |
SNAPSHOT操作_SnapshotDiffReportOps | 次/秒 | 每秒执行 AllowSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Renamesnapshotops |
SNAPSHOT操作_RenameSnapshotOps | 次/秒 | 每秒执行 SnapshotDiffReportOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Listsnapshottabledirops |
SNAPSHOT操作_ListSnapshottableDirOps | 次/秒 | 每秒执行 RenameSnapshotOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Disallowsnapshotops |
SNAPSHOT操作_DisallowSnapshotOps | 次/秒 | 每秒执行 ListSnapshottableDir 操作次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Deletesnapshotops |
SNAPSHOT操作_DeleteSnapshotOps | 次/秒 | 每秒执行 DisallowSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Createsnapshotops |
SNAPSHOT操作_CreateSnapshotOps | 次/秒 | 每秒执行 DeleteSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Allowsnapshotops |
SNAPSHOT操作_AllowSnapshotOps | 次/秒 | 每秒执行 CreateSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Rxtx Sentbytes |
数据流量_SentBytes | B/s | 发送数据速率 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Rxtx Receivedbytes |
数据流量_ReceivedBytes | B/s | 接收数据速率 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007RtRpc queuetimeavgtime |
请求处理延迟_RpcQueueTimeAvgTime | ms | RPC 平均延迟时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007RtRpc processingtimeavgtime |
请求处理延迟_ RpcProcessingTimeAvgTime | ms | 请求处理延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Queue LenCallqueuelength |
RPC处理队列长度_CallQueueLength | 次/秒 | 当前 RPC 处理队列长度 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007QpsRpc queuetimenumops |
QPS_RpcQueueTimeNumOps | 次/秒 | RPC 调用速率 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Settimesnumops |
每秒调用次数_SetTimes | 次/秒 | SetTimes 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Setsafemodenumops |
每秒调用次数_SetSafeMode | 次/秒 | SetSafeMode 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Setpermissionnumops |
每秒调用次数_SetPermission | 次/秒 | SetPermission 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Mkdirsnumops |
每秒调用次数_Mkdirs | 次/秒 | Mkdirs 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Listencryptionzonesnumops |
每秒调用次数_ListEncryptionZones | 次/秒 | ListEncryptionZones 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops3 Getserverdefaultsnumops |
每秒调用次数_GetServerDefaults | 次/秒 | GetServerDefaults 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops3 Getblocklocationsnumops |
每秒调用次数_GetBlockLocations | 次/秒 | GetBlockLocations 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Versionrequestnumops |
每秒调用次数_VersionRequest | 次/秒 | VersionRequest 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Renewleasenumops |
每秒调用次数_RenewLease | 次/秒 | RenewLease 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Registerdatanodenumops |
每秒调用次数_RegisterDatanode | 次/秒 | RegisterDatanode 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Fsyncnumops |
每秒调用次数_Fsync | 次/秒 | Fsync 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Deletenumops |
每秒调用次数_Delete | 次/秒 | Delete 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Blockreportnumops |
每秒调用次数_BlockReport | 次/秒 | BlockReceivedAndDeleted 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Blockreceivedanddeletednumops |
每秒调用次数_BlockReceivedAndDeleted | 次/秒 | SendHeartbeat 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Sendheartbeatnumops |
每秒调用次数_SendHeartbeat | 次/秒 | Rename 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Renamenumops |
每秒调用次数_Rename | 次/秒 | Rename 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Getlistingnumops |
每秒调用次数_GetListing | 次/秒 | GetListing 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Getfileinfonumops |
每秒调用次数_GetFileInfo | 次/秒 | GetFileInfo 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Createnumops |
每秒调用次数_Create | 次/秒 | Create 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Completenumops |
每秒调用次数_Complete | 次/秒 | Complete 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Addblocknumops |
每秒调用次数_AddBlock | 次/秒 | AddBlock 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Connections Numopenconnections |
当前连接数_NumOpenConnections | 个 | 当前链接数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime 3Settimesavgtime |
请求平均延迟时间_SetTimes | 毫秒 | SetTimes 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Setsafemodeavgtime |
请求平均延迟时间_SetSafeMode | 毫秒 | SetSafeMode 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Setpermissionavgtime |
请求平均延迟时间_SetPermission | 毫秒 | SetPermission 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Mkdirsavgtime |
请求平均延迟时间_Mkdirs | 毫秒 | Mkdirs 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Listencryptionzonesavgtime |
请求平均延迟时间_ListEncryptionZones | 毫秒 | ListEncryptionZones 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Getserverdefaultsavgtime |
请求平均延迟时间_GetServerDefaults | 毫秒 | GetServerDefaults 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Getblocklocationsavgtime |
请求平均延迟时间_GetBlockLocations | 毫秒 | GetBlockLocations 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Versionrequestavgtime |
请求平均延迟时间_VersionRequest | 毫秒 | VersionRequest 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Renewleaseavgtime |
请求平均延迟时间_RenewLease | 毫秒 | RenewLease 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Registerdatanodeavgtime |
请求平均延迟时间_RegisterDatanode | 毫秒 | RegisterDatanode 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Fsyncavgtime |
请求平均延迟时间_Fsync | 毫秒 | Fsync 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Deleteavgtime |
请求平均延迟时间_Delete | 毫秒 | Delete 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Blockreportavgtime |
请求平均延迟时间_BlockReport | 毫秒 | BlockReceivedAndDeleted 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Blockreceivedanddeletedavgtime |
请求平均延迟时间_BlockReceivedAndDeleted | 毫秒 | SendHeartbeat 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Sendheartbeatavgtime |
请求平均延迟时间_SendHeartbeat | 毫秒 | Rename 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Renameavgtime |
请求平均延迟时间_Rename | 毫秒 | Rename 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Getlistingavgtime |
请求平均延迟时间_GetListing | 毫秒 | GetListing 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Getfileinfoavgtime |
请求平均延迟时间_GetFileInfo | 毫秒 | GetFileInfo 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Createavgtime |
请求平均延迟时间_Create | 毫秒 | Create 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Completeavgtime |
请求平均延迟时间_Complete | 毫秒 | Complete 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Addblockavgtime |
请求平均延迟时间_AddBlock | 毫秒 | AddBlock 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthorizationsuccesses |
验证和授权_RpcAuthorizationSuccesses | 次 | RPC 授权成功次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthorizationfailures |
验证和授权_RpcAuthorizationFailures | 次 | RPC 授权失败次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthenticationsuccesses |
验证和授权_RpcAuthenticationSuccesses | 次 | RPC 验证成功次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthenticationfailures |
验证和授权_RpcAuthenticationFailures | 次 | RPC 验证失败次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPendingDatanodeMessage CountPendingdatanodemessagecou |
备NN上挂起的与BLOCK相关操作的消息数量_PendingDataNodeMessageCount | 个/秒 | 备NN上挂起的与BLOCK相关操作的消息数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnLockqueueLock queuelength |
等待文件锁的队列长度 | 次数总和 | 等待文件锁的队列长度 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMem Memnonheapusedm |
JVM内存_MemNonHeapUsedM | MB | JVM 当前已经使用的 NonHeapMemory 的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemnon heapcommittedm |
JVM内存_MemNonHeapCommittedM | MB | JVM 内存 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemmaxm | JVM内存_MemMaxM | MB | JVM 运行时的可以使用的最大的内存的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemheapusedm | JVM内存_MemHeapUsedM | MB | JVM 当前已经使用的 HeapMemory 的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemheapmaxm | JVM内存_MemHeapMaxM | MB | JVM 配置的 HeapMemory 的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemheap committedm |
JVM内存_MemHeapCommittedM | MB | JVM HeapMemory 提交大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLogwarn | JVM日志数量_LogWarn | 个 | Warn 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLoginfo | JVM日志数量_LogInfo | 个 | Info 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLogfatal | JVM日志数量_LogFatal | 个 | Fatal 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLogerror | JVM日志数量_LogError | 个 | Error 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadswaiting |
JVM线程数量_ThreadsWaiting | 个 | 处于新建状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadstimedwaiting |
JVM线程数量_ThreadsTimedWaiting | 个 | 处于 WAITING 状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsterminated |
JVM线程数量_ThreadsTerminated | 个 | 处于 TIMED WAITING 状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsrunnable |
JVM线程数量_ThreadsRunnable | 个 | 处于 Terminated 状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsnew |
JVM线程数量_ThreadsNew | 个 | 处于可运行状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsblocked |
JVM线程数量_ThreadsBlocked | 个 | 处于阻塞状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageRt Putimageavgtime |
镜像操作延迟_PutImageAvgTime | ms | 写入镜像文件平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageRt Getimageavgtime |
镜像操作延迟_GetImageAvgTime | ms | 读取镜像文件平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageRt Geteditavgtime |
镜像操作延迟_GetEditAvgTime | ms | 读取 Edit 文件操作平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageOps Putimagenumops |
镜像操作_PutImageNumOps | Count/s | 每秒执行 PutImageNumOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageOps Getimagenumops |
镜像操作_GetImageNumOps | Count/s | 每秒执行 GetImageNumOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageOps Geteditnumops |
镜像操作_GetEditNumOps | Count/s | 每秒执行 GetEditNumOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcTimeYgct | GC 时间_YGCT | s | Young GC 消耗时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcTimeGct | GC 时间_GCT | s | 垃圾回收时间消耗 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcTimeFgct | GC 时间_FGCT | s | Full GC 消耗时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcCountYgc | GC 次数_YGC | Count | Young GC 次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcCountFgc | GC 次数_FGC | Count | Full GC 次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsTotalfileops | 文件操作_TotalFileOps | Count/s | 每秒执行 TotalFileOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsGetlistingops | 文件操作_GetListingOps | Count/s | 每秒执行 GetListing 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsGetlinktargetops | 文件操作_GetLinkTargetOps | Count/s | 每秒执行 GetLinkTarget 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsGetadditional datanodeops |
文件操作_GetAdditionalDatanodeOps | Count/s | 每秒执行 GetAdditionalDatanode 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsFilesingetlistingops | 文件操作_FilesInGetListingOps | Count/s | 每秒执行 FilesInGetListing 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsFileinfoops | 文件操作_FileInfoOps | Count/s | 每秒执行 FileInfo 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsDeletefileops | 文件操作_DeleteFileOps | Count/s | 每秒执行 DeleteFile 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsCreatesymlinkops | 文件操作_CreateSymlinkOps | Count/s | 每秒执行 CreateSymlink 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsCreatefileops | 文件操作_CreateFileOps | Count/s | 每秒执行 CreateFile 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesFilesdeleted | 文件数量_Filesdeleted | 次数总和 | 删除文件数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesFilescreated | 文件数量_Filescreated | 次数总和 | 创建文件数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesFilesappended | Appended文件数量 | 次数总和 | Appended 文件数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnCheckpointtime Lastcheckpoint |
上次Checkpoint以来的时间 | 秒(s) | 上次 Checkpoint 以来的时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnCacheReportRt Cachereportavgtime |
Cache汇报延迟_CacheReportAvgTime | ms | 缓存上报动作平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnCacheReportOps Cachereportnumops |
缓存汇报_CacheReportNumOps | Count/s | 每秒处理 CacheReport 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksOpsBlock receivedanddeletedops |
数据块操作_BlockReceivedAndDeletedOps | Count/s | 处理 DataNode Block 上报操作的延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksOps Blockopsqueued |
数据块操作_BlockOpsQueued | Count/s | 每秒执行 BlockReceivedAndDeletedOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksMissingNumberof missingblockswithreplicationfacto |
缺失块统计_NumberOfMissingBlocksWithReplicationFactorOne | Count | 缺失的数据库数量(rf = 1) | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksMissingNumberof missingblocks |
缺失块统计_NumberOfMissingBlocks | Count | 缺失的数据块数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlockReportRt Blockreportavgtime |
数据块汇报延迟_BlockReportAvgTime | ms | 每秒处理 DataNode Blcok 平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlockReportOps Blockreportnumops |
数据块汇报_BlockReportNumOps | Count/s | 每秒处理 DataNode Blcok 上报操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HDFS-Journal Node
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | |
---|---|---|---|---|
HdfsJnJvmMemMemnon heapusedm |
JVM 内存_MemNonHeapUsedM | MB | JVM 当前已经使用的 NonHeapMemory 的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMemnon heapcommittedm |
JVM 内存_MemNonHeapCommittedM | MB | JVM 内存 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMem heapusedm |
JVM 内存_MemHeapUsedM | MB | JVM 当前已经使用的 HeapMemory 的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMem heapcommittedm |
JVM 内存_MemHeapCommittedM | MB | JVM HeapMemory 提交大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMem heapmaxm |
JVM 内存_MemHeapMaxM | MB | JVM 配置的 HeapMemory 的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMemmaxm | JVM 内存_MemMaxM | MB | JVM 运行时的可以使用的最大的内存的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsnew |
JVM 线程数量_ThreadsNew | 个 | 处于新建状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsrunnable |
JVM 线程数量_ThreadsRunnable | 个 | 处于可运行状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsblocked |
JVM 线程数量_ThreadsBlocked | 个 | 处于阻塞状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadswaiti |
JVM 线程数量_ThreadsWaiting | 个 | 处于 WAITING 状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadstimedwaiting |
JVM 线程数量_ThreadsTimedWaiting | 个 | 处于 TIMED WAITING 状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsterminated |
JVM 线程数量_ThreadsTerminated | 个 | 处于 Terminated 状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLogfatal | JVM 日志数量_LogFatal | 个 | Fatal 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLogerror | JVM 日志数量_LogError | 个 | Error 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLogwarn | JVM 日志数量_LogWarn | 个 | Warn 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLoginfo | JVM 日志数量_LogInfo | 个 | Info 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcCountFgc | GC 次数_FGC | 次 | Full GC 次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcCountYgc | GC 次数_YGC | 次 | Young GC 次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcTimeYgct | GC 时间_YGCT | s | Young GC 消耗时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcTimeFgct | GC 时间_FGCT | s | Full GC 消耗时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcTimeGct | GC 时间_GC | s | 垃圾回收时间消耗 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005Rxtx Receivedbytes |
数据流量_ReceivedBytes | Bytes/s | 接收数据速率 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005Rxtx Receivedbytes |
数据流量_ReceivedBytes | Bytes/s | 发送数据速率 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005QpsRpc queuetimenumops |
QPS_RpcQueueTimeNumOps | 次/s | RPC 调用速率 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005RtRpc queuetimeavgtime |
请求处理延迟_RpcQueueTimeAvgTime | ms | RPC 平均延迟时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authenticationfailures |
验证和授权_RpcAuthenticationFailures | 次/s | RPC 验证失败次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authorizationsuccesses |
验证和授权_RpcAuthorizationSuccesses | 次/s | RPC 授权成功次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authenticationsuccesses |
验证和授权_RpcAuthenticationSuccesses | 次/s | RPC 验证成功次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authorizationfailures |
验证和授权_RpcAuthorizationFailures | 次/s | RPC 授权失败次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005Connections Numopenconnections |
当前连接数_NumOpenConnections | 个 | 当前链接数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005QueueLen Callqueuelength |
RPC 处理队列长度_CallQueueLength | 个 | 当前 RPC 处理队列长度 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadTimeCurrent threadcputime |
CPU 时间_CurrentThreadCpuTime | ms | CPU时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadTimeCurrent threadusertime |
CPU 时间_CurrentThreadUserTime | ms | 用户时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnStartTimeStarttime | 启动时间_StartTime | s | 进程启动时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadCount Threadcount |
线程数量_ThreadCount | 个 | 线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadCount Peakthreadcount |
线程数量_PeakThreadCount | 个 | 峰值线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadCountDaemon threadcount |
线程数量_DaemonThreadCount | 个 | 后台线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HDFS-ZKFC
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
HdfsDfzkGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcCountFgc | GC次数_FGC | 次 | Full GC 次数 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcCountYgc | GC次数_YGC | 次 | Young GC 次数 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcTimeYgct | GC时间_YGCT | s | Young GC 消耗时间 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcTimeFgct | GC时间_FGCT | s | Full GC 消耗时间 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcTimeGct | GC时间_GCT | s | 垃圾回收时间消耗 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
说明:每个指标的统计粒度(Period)可取值不一定相同,可通过 DescribeBaseMetrics 接口获取每个指标支持的统计粒度。
各维度对应参数总览
参数名称 | 维度名称 | 维度解释 | 格式 |
---|---|---|---|
Instances.N.Dimensions.0.Name | id4hdfsoverview | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsoverview |
Instances.N.Dimensions.0.Value | id4hdfsoverview | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsoverview | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsoverview |
Instances.N.Dimensions.1.Value | host4hdfsoverview | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfsnamenode | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsnamenode |
Instances.N.Dimensions.0.Value | id4hdfsnamenode | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsnamenode | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsnamenode |
Instances.N.Dimensions.1.Value | host4hdfsnamenode | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfsdatanode | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsdatanode |
Instances.N.Dimensions.0.Value | id4hdfsdatanode | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsdatanode | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsdatanode |
Instances.N.Dimensions.1.Value | host4hdfsdatanode | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfsjournalnode | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsjournalnode |
Instances.N.Dimensions.0.Value | id4hdfsjournalnode | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsjournalnode | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsjournalnode |
Instances.N.Dimensions.1.Value | host4hdfsjournalnode | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfszkfailovercontroller | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfszkfailovercontroller |
Instances.N.Dimensions.0.Value | id4hdfszkfailovercontroller | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfszkfailovercontroller | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfszkfailovercontroller |
Instances.N.Dimensions.1.Value | host4hdfszkfailovercontroller | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网IP。也可通过 查询节点信息 API 获取。 |
入参说明
弹性 MapReduce(HDFS)支持以下六种维度组合的查询方式,六种入参取值如下:
1. 查询 HDFS-OverviewAggregation 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID
2. 查询 HDFS-Overview 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsoverview
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP
3. 查询 HDFS-NameNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsnamenode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsnamenode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP
4. 查询 HDFS-DataNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsdatanode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsdatanode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP
5. 查询 HDFS-Journal Node 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsjournalnode
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfsjournalnode
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP
6. 查询 HDFS-ZKFC 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfszkfailovercontroller
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfszkfailovercontroller
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP## 命名空间
Namespace=QCE/TXMR_HDFS
监控指标
弹性 MapReduce(HDFS)提供 HDFS-Overview、HDFS-OverviewAggregation、HDFS-NameNode、HDFS-DataNode、HDFS-Journal Node 和 HDFS-ZKFC 指标。
说明:维度对应参数,请单击 各维度对应参数总览 查看。
HDFS-Overview
aa
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
EmrHdfsOverviewHdfs NnBlocksBlockstotal |
BLOCKS数量_BlocksTotal | 个 | 总 BLOCK 数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn BlocksCorruptblocks |
BLOCKS数量_CorruptBlocks | 个 | 坏块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn VolumeFailuresVolumefailurestotal |
磁盘故障_VolumeFailuresTotal | 个 | 所有 Datanodes 的全故障总数 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn FilesTotalFilestotal |
集群文件总数量_FilesTotal | 个 | 集群文件总数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn BlocksScheduledreplicationblocks |
BLOCKS数量_ScheduledReplicationBlocks | 个 | 安排要备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlocks Postponedmisreplicatedblocks |
BLOCKS数量_PostponedMisreplicatedBlocks | 个 | 被推迟处理的异常块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdecommissioningdatanodes |
集群数据节点_NumDecommissioningDataNodes | 个 | 正在下线的节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlock CapacityBlockcapacity |
BLOCK容量_BlockCapacity | GB | BLOCK 容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlocks Underreplicatedblocks |
BLOCKS数量_UnderReplicatedBlocks | 个 | 副本数不够的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacityusednondfs |
集群存储容量_CapacityUsedNonDFS | GB | 集群非 HDFS 使用容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnLoadTotalload | 集群负载_TotalLoad | 个 | 集群负载数 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumstaledatanodes |
集群数据节点_NumStaleDataNodes | 个 | 由于心跳延迟而标记为过期的 DataNodes 当前数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnBlocks Pendingreplicationblocks |
BLOCKS数量_PendingReplicationBlocks | 个 | 等待被备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdeaddatanodes |
集群数据节点_NumDeadDataNodes | 个 | 已经标记为 Dead 状态的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfs NnSnapshotsSnapshots |
SNAPSHOT相关_Snapshots | 个 | Snapshots 数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn BlocksPendingdeletionblocks |
BLOCKS数量_PendingDeletionBlocks | 个 | 等待被删除的块数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacityused |
集群存储容量_CapacityUsed | GB | 集群储存已使用容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdecomlivedatanodes |
集群数据节点_NumDecomLiveDataNodes | 个 | 下线且 Live 的节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacitytotal |
集群存储容量_CapacityTotal | GB | 集群存储总容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNnDatanodes CountNumdecomdeaddatanodes |
集群数据节点_NumDecomDeadDataNodes | 个 | 下线且 Dead 的节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn CapacityCapacityremaining |
集群存储容量_CapacityRemaining | GB | 集群存储剩余容量 | id4hdfsoverview |
EmrHdfsOverviewHdfsNn DatanodesCountNumlivedatanodes |
集群数据节点_NumLiveDataNodes | 个 | 个活的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewHdfs NnBlocksExcessblocks |
BLOCKS数量_ExcessBlocks | 个 | 多余的块数量 | id4hdfsoverview |
HDFS-OverviewAggregation
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
EmrHdfsOverviewAggregationHdfsNn VolumeFailuresVolumefailurestotal |
磁盘故障_VolumeFailuresTotal | 个 | 所有 Datanodes 的全故障总数 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksPendingreplicationblocks |
BLOCKS数量_PendingReplicationBlocks | 个 | 等待被备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksPendingdeletionblocks |
BLOCKS数量_PendingDeletionBlocks | 个 | 等待被删除的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnCapacityCapacityused |
集群存储容量_CapacityUsed | GB | 集群储存已使用容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnBlocksExcessblocks |
BLOCKS数量_ExcessBlocks | 个 | 多余的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnBlocksBlockstotal |
BLOCKS数量_BlocksTotal | 个 | 块总数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksPostponedmisreplicatedblocks |
BLOCKS数量_PostponedMisreplicatedBlocks | 个 | 被推迟处理的异常块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlockCapacityBlockcapacity |
BLOCK容量_BlockCapacity | 个 | BLOCK 容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn CapacityCapacitytotal |
集群存储容量_CapacityTotal | GB | 集群存储总容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumstaledatanodes |
集群数据节点_NumStaleDataNodes | 个 | 由于心跳延迟而标记为过期的 DataNodes 当前数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksCorruptblocks |
BLOCKS数量_CorruptBlocks | 个 | 坏块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn SnapshotsSnapshots |
SNAPSHOT相关_Snapshots | 个 | Snapshots 数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumlivedatanodes |
集群数据节点_NumLiveDataNodes | 个 | 个活的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdeaddatanodes |
集群数据节点_NumDeadDataNodes | 个 | 已经标记为 Dead 状态的数据节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn BlocksScheduledreplicationblocks |
BLOCKS数量_ScheduledReplicationBlocks | 个 | 安排要备份的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdecomlivedatanodes |
集群数据节点_NumDecomLiveDataNodes | 个 | 下线且 Live 的节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdecommissioningdatanodes |
集群数据节点_NumDecommissioningDataNodes | 个 | 正在下线的节点数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnFilesTotalFilestotal |
集群文件总数量_FilesTotal | 个 | 集群文件总数量_ | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn CapacityCapacityremaining |
集群存储容量_CapacityRemaining | GB | 集群存储剩余容量 | id4hdfsoverview |
EmrHdfsOverviewAggregation HdfsNnLoadTotalload |
集群负载_TotalLoad | - | 集群负载 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnBlocksUnderreplicatedblocks |
BLOCKS数量_UnderReplicatedBlocks | 个 | 副本数不够的块数量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfs NnCapacityCapacityusednondfs |
集群存储容量_CapacityUsedNonDFS | GB | 集群非 HDFS 使用容量 | id4hdfsoverview |
EmrHdfsOverviewAggregationHdfsNn DatanodesCountNumdecomdeaddatanodes |
集群数据节点_NumDecomDeadDataNodes | 个 | 下线且 Dead 的节点数量 | id4hdfsoverview |
HDFS-DataNode
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
HdfsDnXceiverXceivercount | XCEIVER 数量_XceiverCount | 个 | Xceiver 数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesByteswrittenmb | 数据读写速率_BytesReadMB | B/s | 写入 DN 的字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesBytesreadmb | 数据读写速率_BytesReadMB | B/s | 读取 DN 的字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesRemotebytesreadmb | 数据读写速率 _RemoteBytesReadMB |
B/s | 远程客户端读取字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBytesRemoteby teswrittenmb |
数据读写速率 _RemoteBytesWrittenMB |
B/s | 远程客户端写入字节速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientWritesfrom remoteclient |
客户端连接数 _WritesFromRemoteClient |
个 | 来自远程客户端写操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientWritesfromlocalclient | 客户端连接数 _WritesFromLocalClient |
个 | 来自本地客户端写操作 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientReadsfrom remoteclient |
客户端连接数 _ReadsFromRemoteClient |
个 | 来自远程客户端读操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnClientReadsfromlocalclient | 客户端连接数 _ReadsFromLocalClient |
个 | 来自本地客户端读操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksVerifiedFailures Blockverificationfailures |
Block 校验失败 _BlockVerificationFailures |
次/s | BLOCK 校验失败数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnVolumeFailures Volumefailures |
磁盘故障_VolumeFailures | 次/s | 磁盘故障次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnNetworkErrors Datanodenetworkerrors |
网络错误 _DatanodeNetworkErrors |
次/s | 网络错误统计 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnHbRtHeartbeatsavgtime | 心跳延迟_HeartbeatsAvgTime | ms | 心跳接口平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnHbOpsHeartbeatsnumops | 心跳 QPS_HeartbeatsNumOps | 次/s | 心跳接口 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnDatapacketAvgtimeSend datapackettransfer nanosavgtime |
包传输操作 QPS_SendDataPacketTransfer NanosAvgTime |
ms | 发送数据包平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsRead blockopnumops |
数据块操作 _ReadBlockOpNumOps |
次/s | 从 DataNode 读取 Block OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsWrite blockopnumops |
数据块操作 _WriteBlockOpNumOps |
次/s | 向 DataNode 写入 Block OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsBlock checksumopnumops |
数据块操作 _BlockChecksumOpNumOps |
次/s | DataNode 进行 Checksum 操作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsCopy blockopnumops |
数据块操作 _CopyBlockOpNumOps |
次/s | 复制 Block 操作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsReplace blockopnumops |
数据块操作 _ReplaceBlockOpNumOps |
次/s | Replace Block 操作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsBlock reportsnumops |
数据块操作 _BlockReportsNumOps |
次/s | BLOCK 汇报动作的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsIncremental blockreports numops |
数据块操作 _IncrementalBlockReports NumOps |
次/s | BLOCK 增量汇报的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsCache reportsnumops |
数据块操作 _CacheReportsNumOps |
次/s | 缓存汇报的 OPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksOpsPacketack roundtriptimenanos numops |
数据块操作 _PacketAckRoundTripTimeNanos NumOps |
次/s | 每秒处理 ACK ROUND TRIP 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFsyncOpsFsync nanosnumops |
FSYNC 操作 _FsyncNanosNumOps |
次/s | FSYNC 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFlushOpsFlush nanosnumops |
FLUSH 操作 _FlushNanosNumOps |
次/s | 每秒处理 Flush 操作次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtRead blockopavgtime |
数据块操作延迟统计 _ReadBlockOpAvgTime |
ms | 读取 Block 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtWrite blockopavgtime |
数据块操作延迟统计 _ReplaceBlockOpAvgTime |
ms | 写 Blcok 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtBlock checksumopavgtime |
数据块操作延迟统计_BlockChecksumOpAvgTime | ms | 块校验操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtCopy blockopavgtime |
数据块操作延迟统计 _CopyBlockOpAvgTime |
ms | 复制块操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRt Replaceblockopavgtime |
数据块操作延迟统计 _Replaceblockopavgtime |
ms | Replace Block 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtBlock reportsavgtime |
数据块操作延迟统计 _BlockReportsAvgTime |
ms | 块汇报平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtIncremental blockreportsavgtime |
数据块操作延迟统计 _IncrementalBlockReportsAvgTime |
ms | 增量块汇报平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtCache reportsavgtime |
数据块操作延迟统计 _CacheReportsAvgTime |
ms | 缓存汇报平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnBlocksRtPacketack roundtriptimenanos avgtime |
数据块操作延迟统计 _PacketAckRoundTripTimeNanos AvgTime |
ms | 处理 ACK ROUND TRIP 平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFlushRtFlushnanosavgtime | FLUSH延迟_FlushNanosAvgTime | ms | Flush 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnFsyncRtFsyncnanosavgtime | FSYNC延迟_FsyncNanosAvgTime | ms | Fsync 操作平均时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblockswrite |
RAMDISKBlocks_Ram DiskBlocksWrite |
块/s | 写入内存的块的总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblockswritefallback |
RAMDISKBlocks_Ram DiskBlocksWriteFallback |
块/s | 写入内存但未成功的块总数(故障转移到磁盘) | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOpRamdisk blocksdeletedbeforelazypersisted |
RAMDISKBlocks_RamDiskBlocks DeletedBeforeLazyPersisted |
块/s | 应用程序在被保存到磁盘之前被删除的块的总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblocksreadhits |
RAMDISKBlocks_Ram DiskBlocksReadHits |
块/s | 内存中的块被读取的总次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblocksevicted |
RAMDISKBlocks_Ram DiskBlocksEvicted |
块/s | 内存中被清除的块总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOpRamdisk blocksevictedwithoutread |
RAMDISKBlocks_RamDiskBlocks EvictedWithoutRead |
块/s | 从内存中取出的内存块总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskblockslazypersisted |
RAMDISKBlocks_RamDisk BlocksLazyPersisted |
块/s | 惰性写入器写入磁盘的总数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksOp Ramdiskbyteslazypersisted |
RAMDISKBlocks_Ram DiskBytesLazyPersisted |
B/s | 由懒惰写入器写入磁盘的总字节数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRamBlocksBytes Ramdiskbyteswrite |
RAMDISK 写入速度_RamDiskBytesWrite | B/s | 写入内存的总字节数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMem Memnonheapusedm |
JVM 内存 _MemNonHeapUsedM |
MB | JVM 当前已经使用的 NonHeapMemory 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMem Memnonheapcommittedm |
JVM 内存 _MemNonHeapCommittedM |
MB | JVM 配置的 NonHeapCommittedM 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMemMemheapusedm | JVM 内存 _MemHeapUsedM |
MB | JVM 当前已经使用的 HeapMemory 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMem Memheapcommittedm |
JVM 内存 _MemHeapCommittedM |
MB | JVM HeapMemory 提交大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMemMemheapmaxm | JVM 内存 _MemHeapMaxM |
MB | JVM 配置的 HeapMemory 的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmMemMemmaxm | JVM 内存 _MemMaxM |
MB | JVM 运行时的可以使用的最大的内存的大小 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreadsThreadsnew | JVM 线程数量 _ThreadsNew |
个 | 处于新建状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadsrunnable |
JVM 线程数量 _ThreadsRunnable |
个 | 处于可运行状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadsblocked |
JVM线程数量 _ThreadsBlocked |
个 | 处于阻塞状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadswaiting |
JVM 线程数量 _ThreadsWaiting |
个 | 处于 WAITING 状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadstimedwaiting |
JVM 线程数量 _ThreadsTimedWaiting |
个 | 处于 TIMED WAITING 状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmJavaThreads Threadsterminated |
JVM 线程数量 _ThreadsTerminated |
个 | 处于 Terminated 状态的线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLogfatal | JVM 日志数量_LogFatal | 个 | Fatal 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLogerror | JVM 日志数量_LogError | 个 | Error 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLogwarn | JVM 日志数量_LogWarn | 个 | Warn 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnJvmLogTotalLoginfo | JVM 日志数量_LogInfo | 个 | Info 日志数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcCountFgc | GC 次数_FGC | 次 | Full GC 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcCountYgc | GC 次数_YGC | 次 | Young GC 次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcTimeYgct | GC 时间_YGCT | s | Young GC 消耗时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcTimeFgct | GC 时间_FGCT | s | Full GC 消耗时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnGcUtilGcTimeGct | GC 时间_GCT | s | 垃圾回收时间消耗 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004RxtxReceivedbytes | 数据流量_ReceivedBytes | B/s | 接收数据速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004RxtxSentbytes | 数据流量_SentBytes | B/s | 发送数据速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004QpsRpc queuetimenumops |
QPS_RpcQueueTimeNumOps | 次/秒 | RPC 调用速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004RtRpc queuetimeavgtime |
请求处理延迟 _RpcQueueTimeAvgTime |
ms | RPC 平均延迟时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authenticationfailures |
验证和授权 _RpcAuthenticationFailures |
次 | RPC 验证失败次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authenticationsuccesses |
验证和授权 _RpcAuthenticationSuccesses |
次 | RPC 验证成功次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authorizationfailures |
验证和授权 _RpcAuthorizationFailures |
次 | RPC 授权失败次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004AuthRpc authorizationsuccesses |
验证和授权 _RpcAuthorizationSuccesses |
次 | RPC 授权成功次数 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004Connections Numopenconnections |
当前连接数 _NumOpenConnections |
个 | 当前链接数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnPort4004QueueLen Callqueuelength |
RPC 处理队列长度 _CallQueueLength |
个 | 当前 RPC 处理队列长度 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadTimeCurrent threadcputime |
CPU 时间 _CurrentThreadCpuTime |
ms | CPU时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadTimeCurrent threadusertime |
CPU 时间 _CurrentThreadUserTime |
ms | 用户时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnStartTimeStarttime | 线程数量 _DaemonThreadCount |
s | 进程启动时间 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadCount Peakthreadcount |
程数量_PeakThreadCount | 个 | 峰值线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnThreadCount Daemonthreadcount |
线程数量_DaemonThreadCount | 个 | 后台线程数量 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRtWrit | 读写延迟_Write | MB/s | 磁盘写速率 | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnRtRead | 读写延迟_Read | 次/秒 | 读操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HdfsDnDatapacketOps Datapacketops |
包传输操作 QPS_DataPacketOps | 次/秒 | 包传输操作 QPS | id4hdfsdatanode、 host4hdfsdatanode |
HDFS-NameNode
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
HdfsNnTransactions Sincelastcheckpoint |
总事务数_Sincelastcheckpoint | 次数总和 | 总事务数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnTransaction RtTransactionsavgtime |
事务操作延迟_TransactionsAvgTime | ms | 处理 Journal transaction 操作的平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnTransactionOps Transactionsnumops |
事务操作_TransactionsNumOps | 次/秒 | 每秒处理 Journal transaction 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnTransactionOps Transactionsbatchedinsync |
事务操作_TransactionsBatchedInSync | 次/秒 | 每秒批量处理 Journal transaction 操作次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnThreadCount Threadcount |
线程数量_ThreadCount | 个 | 线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnThreadCount Peakthreadcount |
线程数量_PeakThreadCount | 个 | 峰值线程数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnThreadCount Daemonthreadcount |
线程数量_DaemonThreadCount | 个 | 后台线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSyncsRtSyncsavgtime | SYNCS操作延迟_SyncsAvgTime | ms | 处理 Journal syncs 操作的平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSyncsOpsSyncsnumops | SYNC操作_SyncsNumOps | 次/秒 | 每秒处理 Journal syncs 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnStateState | 主备情况_State | 个 | NN 状态 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnStartTimeStarttime | 启动时间_StartTime | ms | 进程启动时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnStaleStorages CountNumstalestorages |
被标记为过期的存储的数量_NumStaleStorages | 个 | 由于心跳延迟而标记为过期的 DataNodes 当前数目 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Snapshotdiffreportops |
SNAPSHOT操作_SnapshotDiffReportOps | 次/秒 | 每秒执行 AllowSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Renamesnapshotops |
SNAPSHOT操作_RenameSnapshotOps | 次/秒 | 每秒执行 SnapshotDiffReportOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Listsnapshottabledirops |
SNAPSHOT操作_ListSnapshottableDirOps | 次/秒 | 每秒执行 RenameSnapshotOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Disallowsnapshotops |
SNAPSHOT操作_DisallowSnapshotOps | 次/秒 | 每秒执行 ListSnapshottableDir 操作次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Deletesnapshotops |
SNAPSHOT操作_DeleteSnapshotOps | 次/秒 | 每秒执行 DisallowSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Createsnapshotops |
SNAPSHOT操作_CreateSnapshotOps | 次/秒 | 每秒执行 DeleteSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnSnapshotOps Allowsnapshotops |
SNAPSHOT操作_AllowSnapshotOps | 次/秒 | 每秒执行 CreateSnapshot 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Rxtx Sentbytes |
数据流量_SentBytes | B/s | 发送数据速率 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Rxtx Receivedbytes |
数据流量_ReceivedBytes | B/s | 接收数据速率 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007RtRpc queuetimeavgtime |
请求处理延迟_RpcQueueTimeAvgTime | ms | RPC 平均延迟时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007RtRpc processingtimeavgtime |
请求处理延迟_ RpcProcessingTimeAvgTime | ms | 请求处理延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Queue LenCallqueuelength |
RPC处理队列长度_CallQueueLength | 次/秒 | 当前 RPC 处理队列长度 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007QpsRpc queuetimenumops |
QPS_RpcQueueTimeNumOps | 次/秒 | RPC 调用速率 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Settimesnumops |
每秒调用次数_SetTimes | 次/秒 | SetTimes 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Setsafemodenumops |
每秒调用次数_SetSafeMode | 次/秒 | SetSafeMode 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Setpermissionnumops |
每秒调用次数_SetPermission | 次/秒 | SetPermission 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Mkdirsnumops |
每秒调用次数_Mkdirs | 次/秒 | Mkdirs 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops 3Listencryptionzonesnumops |
每秒调用次数_ListEncryptionZones | 次/秒 | ListEncryptionZones 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops3 Getserverdefaultsnumops |
每秒调用次数_GetServerDefaults | 次/秒 | GetServerDefaults 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops3 Getblocklocationsnumops |
每秒调用次数_GetBlockLocations | 次/秒 | GetBlockLocations 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Versionrequestnumops |
每秒调用次数_VersionRequest | 次/秒 | VersionRequest 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Renewleasenumops |
每秒调用次数_RenewLease | 次/秒 | RenewLease 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Registerdatanodenumops |
每秒调用次数_RegisterDatanode | 次/秒 | RegisterDatanode 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Fsyncnumops |
每秒调用次数_Fsync | 次/秒 | Fsync 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Deletenumops |
每秒调用次数_Delete | 次/秒 | Delete 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Blockreportnumops |
每秒调用次数_BlockReport | 次/秒 | BlockReceivedAndDeleted 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops2 Blockreceivedanddeletednumops |
每秒调用次数_BlockReceivedAndDeleted | 次/秒 | SendHeartbeat 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Sendheartbeatnumops |
每秒调用次数_SendHeartbeat | 次/秒 | Rename 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Renamenumops |
每秒调用次数_Rename | 次/秒 | Rename 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Getlistingnumops |
每秒调用次数_GetListing | 次/秒 | GetListing 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Getfileinfonumops |
每秒调用次数_GetFileInfo | 次/秒 | GetFileInfo 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Createnumops |
每秒调用次数_Create | 次/秒 | Create 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Completenumops |
每秒调用次数_Complete | 次/秒 | Complete 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Numops1 Addblocknumops |
每秒调用次数_AddBlock | 次/秒 | AddBlock 每秒调用时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Connections Numopenconnections |
当前连接数_NumOpenConnections | 个 | 当前链接数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime 3Settimesavgtime |
请求平均延迟时间_SetTimes | 毫秒 | SetTimes 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Setsafemodeavgtime |
请求平均延迟时间_SetSafeMode | 毫秒 | SetSafeMode 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Setpermissionavgtime |
请求平均延迟时间_SetPermission | 毫秒 | SetPermission 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Mkdirsavgtime |
请求平均延迟时间_Mkdirs | 毫秒 | Mkdirs 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Listencryptionzonesavgtime |
请求平均延迟时间_ListEncryptionZones | 毫秒 | ListEncryptionZones 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Getserverdefaultsavgtime |
请求平均延迟时间_GetServerDefaults | 毫秒 | GetServerDefaults 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime3 Getblocklocationsavgtime |
请求平均延迟时间_GetBlockLocations | 毫秒 | GetBlockLocations 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Versionrequestavgtime |
请求平均延迟时间_VersionRequest | 毫秒 | VersionRequest 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Renewleaseavgtime |
请求平均延迟时间_RenewLease | 毫秒 | RenewLease 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Registerdatanodeavgtime |
请求平均延迟时间_RegisterDatanode | 毫秒 | RegisterDatanode 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Fsyncavgtime |
请求平均延迟时间_Fsync | 毫秒 | Fsync 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Deleteavgtime |
请求平均延迟时间_Delete | 毫秒 | Delete 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Blockreportavgtime |
请求平均延迟时间_BlockReport | 毫秒 | BlockReceivedAndDeleted 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime2 Blockreceivedanddeletedavgtime |
请求平均延迟时间_BlockReceivedAndDeleted | 毫秒 | SendHeartbeat 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Sendheartbeatavgtime |
请求平均延迟时间_SendHeartbeat | 毫秒 | Rename 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Renameavgtime |
请求平均延迟时间_Rename | 毫秒 | Rename 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Getlistingavgtime |
请求平均延迟时间_GetListing | 毫秒 | GetListing 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Getfileinfoavgtime |
请求平均延迟时间_GetFileInfo | 毫秒 | GetFileInfo 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Createavgtime |
请求平均延迟时间_Create | 毫秒 | Create 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Completeavgtime |
请求平均延迟时间_Complete | 毫秒 | Complete 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Avgtime1 Addblockavgtime |
请求平均延迟时间_AddBlock | 毫秒 | AddBlock 请求平均延时 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthorizationsuccesses |
验证和授权_RpcAuthorizationSuccesses | 次 | RPC 授权成功次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthorizationfailures |
验证和授权_RpcAuthorizationFailures | 次 | RPC 授权失败次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthenticationsuccesses |
验证和授权_RpcAuthenticationSuccesses | 次 | RPC 验证成功次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPort4007Auth Rpcauthenticationfailures |
验证和授权_RpcAuthenticationFailures | 次 | RPC 验证失败次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnPendingDatanodeMessage CountPendingdatanodemessagecou |
备NN上挂起的与BLOCK相关操作的消息数量_PendingDataNodeMessageCount | 个/秒 | 备NN上挂起的与BLOCK相关操作的消息数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnLockqueueLock queuelength |
等待文件锁的队列长度 | 次数总和 | 等待文件锁的队列长度 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMem Memnonheapusedm |
JVM内存_MemNonHeapUsedM | MB | JVM 当前已经使用的 NonHeapMemory 的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemnon heapcommittedm |
JVM内存_MemNonHeapCommittedM | MB | JVM 内存 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemmaxm | JVM内存_MemMaxM | MB | JVM 运行时的可以使用的最大的内存的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemheapusedm | JVM内存_MemHeapUsedM | MB | JVM 当前已经使用的 HeapMemory 的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemheapmaxm | JVM内存_MemHeapMaxM | MB | JVM 配置的 HeapMemory 的大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmMemMemheap committedm |
JVM内存_MemHeapCommittedM | MB | JVM HeapMemory 提交大小 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLogwarn | JVM日志数量_LogWarn | 个 | Warn 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLoginfo | JVM日志数量_LogInfo | 个 | Info 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLogfatal | JVM日志数量_LogFatal | 个 | Fatal 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmLogTotalLogerror | JVM日志数量_LogError | 个 | Error 日志数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadswaiting |
JVM线程数量_ThreadsWaiting | 个 | 处于新建状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadstimedwaiting |
JVM线程数量_ThreadsTimedWaiting | 个 | 处于 WAITING 状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsterminated |
JVM线程数量_ThreadsTerminated | 个 | 处于 TIMED WAITING 状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsrunnable |
JVM线程数量_ThreadsRunnable | 个 | 处于 Terminated 状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsnew |
JVM线程数量_ThreadsNew | 个 | 处于可运行状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnJvmJavaThreads Threadsblocked |
JVM线程数量_ThreadsBlocked | 个 | 处于阻塞状态的线程数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageRt Putimageavgtime |
镜像操作延迟_PutImageAvgTime | ms | 写入镜像文件平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageRt Getimageavgtime |
镜像操作延迟_GetImageAvgTime | ms | 读取镜像文件平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageRt Geteditavgtime |
镜像操作延迟_GetEditAvgTime | ms | 读取 Edit 文件操作平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageOps Putimagenumops |
镜像操作_PutImageNumOps | 次/秒 | 每秒执行 PutImageNumOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageOps Getimagenumops |
镜像操作_GetImageNumOps | 次/秒 | 每秒执行 GetImageNumOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnImageOps Geteditnumops |
镜像操作_GetEditNumOps | 次/秒 | 每秒执行 GetEditNumOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcTimeYgct | GC 时间_YGCT | s | Young GC 消耗时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcTimeGct | GC 时间_GCT | s | 垃圾回收时间消耗 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcTimeFgct | GC 时间_FGCT | s | Full GC 消耗时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcCountYgc | GC 次数_YGC | 次 | Young GC 次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnGcUtilGcCountFgc | GC 次数_FGC | 次 | Full GC 次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsTotalfileops | 文件操作_TotalFileOps | 次/秒 | 每秒执行 TotalFileOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsGetlistingops | 文件操作_GetListingOps | 次/秒 | 每秒执行 GetListing 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsGetlinktargetops | 文件操作_GetLinkTargetOps | 次/秒 | 每秒执行 GetLinkTarget 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsGetadditional datanodeops |
文件操作_GetAdditionalDatanodeOps | 次/秒 | 每秒执行 GetAdditionalDatanode 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsFilesingetlistingops | 文件操作_FilesInGetListingOps | 次/秒 | 每秒执行 FilesInGetListing 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsFileinfoops | 文件操作_FileInfoOps | 次/秒 | 每秒执行 FileInfo 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsDeletefileops | 文件操作_DeleteFileOps | 次/秒 | 每秒执行 DeleteFile 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsCreatesymlinkops | 文件操作_CreateSymlinkOps | 次/秒 | 每秒执行 CreateSymlink 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesOpsCreatefileops | 文件操作_CreateFileOps | 次/秒 | 每秒执行 CreateFile 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesFilesdeleted | 文件数量_Filesdeleted | 次数总和 | 删除文件数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesFilescreated | 文件数量_Filescreated | 次数总和 | 创建文件数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnFilesFilesappended | Appended文件数量 | 次数总和 | Appended 文件数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnCheckpointtime Lastcheckpoint |
上次Checkpoint以来的时间 | 秒(s) | 上次 Checkpoint 以来的时间 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnCacheReportRt Cachereportavgtime |
Cache汇报延迟_CacheReportAvgTime | ms | 缓存上报动作平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnCacheReportOps Cachereportnumops |
缓存汇报_CacheReportNumOps | 次/秒 | 每秒处理 CacheReport 操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksOpsBlock receivedanddeletedops |
数据块操作_BlockReceivedAndDeletedOps | 次/秒 | 处理 DataNode Block 上报操作的延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksOps Blockopsqueued |
数据块操作_BlockOpsQueued | 次/秒 | 每秒执行 BlockReceivedAndDeletedOps 的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksMissingNumberof missingblockswithreplicationfacto |
缺失块统计_NumberOfMissingBlocksWithReplicationFactorOne | 个 | 缺失的数据库数量(rf = 1) | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlocksMissingNumberof missingblocks |
缺失块统计_NumberOfMissingBlocks | 个 | 缺失的数据块数量 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlockReportRt Blockreportavgtime |
数据块汇报延迟_BlockReportAvgTime | ms | 每秒处理 DataNode Blcok 平均延迟 | host4hdfsnamenode、 id4hdfsnamenode |
HdfsNnBlockReportOps Blockreportnumops |
数据块汇报_BlockReportNumOps | 次/秒 | 每秒处理 DataNode Blcok 上报操作的次数 | host4hdfsnamenode、 id4hdfsnamenode |
HDFS-Journal Node
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | |
---|---|---|---|---|
HdfsJnJvmMemMemnon heapusedm |
JVM 内存_MemNonHeapUsedM | MB | JVM 当前已经使用的 NonHeapMemory 的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMemnon heapcommittedm |
JVM 内存_MemNonHeapCommittedM | MB | JVM 内存 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMem heapusedm |
JVM 内存_MemHeapUsedM | MB | JVM 当前已经使用的 HeapMemory 的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMem heapcommittedm |
JVM 内存_MemHeapCommittedM | MB | JVM HeapMemory 提交大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMem heapmaxm |
JVM 内存_MemHeapMaxM | MB | JVM 配置的 HeapMemory 的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmMemMemmaxm | JVM 内存_MemMaxM | MB | JVM 运行时的可以使用的最大的内存的大小 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsnew |
JVM 线程数量_ThreadsNew | 个 | 处于新建状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsrunnable |
JVM 线程数量_ThreadsRunnable | 个 | 处于可运行状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsblocked |
JVM 线程数量_ThreadsBlocked | 个 | 处于阻塞状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadswaiti |
JVM 线程数量_ThreadsWaiting | 个 | 处于 WAITING 状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadstimedwaiting |
JVM 线程数量_ThreadsTimedWaiting | 个 | 处于 TIMED WAITING 状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmJavaThreads Threadsterminated |
JVM 线程数量_ThreadsTerminated | 个 | 处于 Terminated 状态的线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLogfatal | JVM 日志数量_LogFatal | 个 | Fatal 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLogerror | JVM 日志数量_LogError | 个 | Error 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLogwarn | JVM 日志数量_LogWarn | 个 | Warn 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnJvmLogTotalLoginfo | JVM 日志数量_LogInfo | 个 | Info 日志数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcCountFgc | GC 次数_FGC | 次 | Full GC 次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcCountYgc | GC 次数_YGC | 次 | Young GC 次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcTimeYgct | GC 时间_YGCT | s | Young GC 消耗时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcTimeFgct | GC 时间_FGCT | s | Full GC 消耗时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnGcUtilGcTimeGct | GC 时间_GC | s | 垃圾回收时间消耗 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005Rxtx Receivedbytes |
数据流量_ReceivedBytes | B/s | 接收数据速率 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005Rxtx Receivedbytes |
数据流量_ReceivedBytes | B/s | 发送数据速率 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005QpsRpc queuetimenumops |
QPS_RpcQueueTimeNumOps | 次/s | RPC 调用速率 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005RtRpc queuetimeavgtime |
请求处理延迟_RpcQueueTimeAvgTime | ms | RPC 平均延迟时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authenticationfailures |
验证和授权_RpcAuthenticationFailures | 次 | RPC 验证失败次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authorizationsuccesses |
验证和授权_RpcAuthorizationSuccesses | 次 | RPC 授权成功次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authenticationsuccesses |
验证和授权_RpcAuthenticationSuccesses | 次 | RPC 验证成功次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005AuthRpc authorizationfailures |
验证和授权_RpcAuthorizationFailures | 次 | RPC 授权失败次数 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005Connections Numopenconnections |
当前连接数_NumOpenConnections | 个 | 当前链接数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnPort4005QueueLen Callqueuelength |
RPC 处理队列长度_CallQueueLength | 个 | 当前 RPC 处理队列长度 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadTimeCurrent threadcputime |
CPU 时间_CurrentThreadCpuTime | ms | CPU时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadTimeCurrent threadusertime |
CPU 时间_CurrentThreadUserTime | ms | 用户时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnStartTimeStarttime | 启动时间_StartTime | s | 进程启动时间 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadCount Threadcount |
线程数量_ThreadCount | 个 | 线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadCount Peakthreadcount |
线程数量_PeakThreadCount | 个 | 峰值线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HdfsJnThreadCountDaemon threadcount |
线程数量_DaemonThreadCount | 个 | 后台线程数量 | host4hdfsjournalnode、 id4hdfsjournalnode |
HDFS-ZKFC
指标英文名 | 指标中文名 | 指标单位 | 指标含义 | 维度 |
---|---|---|---|---|
HdfsDfzkGcUtilMemoryS0 | 内存区域占比_S0 | % | Survivor 0区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryS1 | 内存区域占比_S1 | % | Survivor 1区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryE | 内存区域占比_E | % | Eden 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryO | 内存区域占比_O | % | Old 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryM | 内存区域占比_M | % | Metaspace 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilMemoryCcs | 内存区域占比_CCS | % | Compressed class space 区内存使用占比 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcCountFgc | GC次数_FGC | 次 | Full GC 次数 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcCountYgc | GC次数_YGC | 次 | Young GC 次数 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcTimeYgct | GC时间_YGCT | s | Young GC 消耗时间 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcTimeFgct | GC时间_FGCT | s | Full GC 消耗时间 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
HdfsDfzkGcUtilGcTimeGct | GC时间_GCT | s | 垃圾回收时间消耗 | host4hdfszkfailovercontroller、 id4hdfszkfailovercontroller |
说明:每个指标的统计粒度(Period)可取值不一定相同,可通过 DescribeBaseMetrics 接口获取每个指标支持的统计粒度。
各维度对应参数总览
参数名称 | 维度名称 | 维度解释 | 格式 |
---|---|---|---|
Instances.N.Dimensions.0.Name | id4hdfsoverview | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsoverview |
Instances.N.Dimensions.0.Value | id4hdfsoverview | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsoverview | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsoverview |
Instances.N.Dimensions.1.Value | host4hdfsoverview | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfsnamenode | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsnamenode |
Instances.N.Dimensions.0.Value | id4hdfsnamenode | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsnamenode | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsnamenode |
Instances.N.Dimensions.1.Value | host4hdfsnamenode | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfsdatanode | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsdatanode |
Instances.N.Dimensions.0.Value | id4hdfsdatanode | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsdatanode | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsdatanode |
Instances.N.Dimensions.1.Value | host4hdfsdatanode | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfsjournalnode | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfsjournalnode |
Instances.N.Dimensions.0.Value | id4hdfsjournalnode | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfsjournalnode | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfsjournalnode |
Instances.N.Dimensions.1.Value | host4hdfsjournalnode | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网 IP。也可通过 查询节点信息 API 获取。 |
Instances.N.Dimensions.0.Name | id4hdfszkfailovercontroller | EMR 实例 ID 的维度名称 | 输入 String 类型维度名称:id4hdfszkfailovercontroller |
Instances.N.Dimensions.0.Value | id4hdfszkfailovercontroller | EMR 实例具体 ID | 输入 EMR 具体实例 ID,例如 :emr-mm8bs222 |
Instances.N.Dimensions.1.Name | host4hdfszkfailovercontroller | EMR 实例中节点 IP 的维度名称 | 输入String 类型维度名称:host4hdfszkfailovercontroller |
Instances.N.Dimensions.1.Value | host4hdfszkfailovercontroller | EMR 实例中具体节点 IP | 输入具体节点 IP ,可从控制台获取,登录 腾讯云 MapReduce 控制台 > 单击实例 > 集群资源 > 资源管理 > 节点内网IP。也可通过 查询节点信息 API 获取。 |
入参说明
弹性 MapReduce(HDFS)支持以下六种维度组合的查询方式,六种入参取值如下:
1. 查询 HDFS-OverviewAggregation 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID
2. 查询 HDFS-Overview 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsoverview
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsoverview
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP
3. 查询 HDFS-NameNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsnamenode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsnamenode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP
4. 查询 HDFS-DataNode 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsdatanode
&Instances.N.Dimensions.0.Value=EMR 实例 ID
&Instances.N.Dimensions.1.Name=host4hdfsdatanode
&Instances.N.Dimensions.1.Value=EMR实例中具体节点 IP
5. 查询 HDFS-Journal Node 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfsjournalnode
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfsjournalnode
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP
6. 查询 HDFS-ZKFC 的指标监控数据,入参取值如下:
&Namespace=QCE/TXMR_HDFS
&Instances.N.Dimensions.0.Name=id4hdfszkfailovercontroller
&Instances.N.Dimensions.0.Value=EMR 实例具体 ID
&Instances.N.Dimensions.1.Name=host4hdfszkfailovercontroller
&Instances.N.Dimensions.1.Value=EMR 实例中具体节点 IP