StarRocks 监控指标

最近更新时间:2024-07-05 10:45:41

我的收藏

StarRocks-BE

标题
指标名称
指标单位
指标含义
COMPACTION DELTAS 数据量
Cumulative
rowsets
Cumulative compaction deltas 的数据量
Base
rowsets
Base compaction deltas 的数据量
Update
rowsets
Update compaction deltas 的数据量
COMPACTION 数据量
Cumulative
bytes
Cumulative compaction bytes 的数据量
Base
bytes
Base compaction bytes 的数据量
Update
bytes
Update compaction bytes 的数据量
TABLET COMPACTIO 最高分
CumulativeMax
score
tablet 中最大的 base compaction score
BaseMax
score
tablet base 最大 compaction 分数
ENGINE 请求失败统计(1)
base_compaction
count
engine 失败请求,类型为 base_compaction 的数量
clone
count
engine 失败请求,类型为 clonE 的数量
create_rollup
count
engine 失败请求,类型为 create_rollup的数量
create_tablet
count
engine 失败请求,类型为 create_tablet 的数量
cumulative_compaction
count
engine 失败请求,类型为 cumulative_compaction 的数量
delete
count
engine 失败请求,类型为 deletE 的数量
finish_task
count
engine 失败请求,类型为 finish_task的数量
ENGINE 请求失败统计(2)
publish
count
engine 失败请求,类型为 publish的数量
report_all_tablets
count
engine 失败请求,类型为 report_all_tablets的数量
report_disk
count
engine 失败请求,类型为 report_disk的数量
report_tablet
count
engine 失败请求,类型为 report_tablet 的数量
report_task
count
engine 失败请求,类型为 report_task的数量
schema_change
count
engine 失败请求,类型为 schema_changE 的数量
ENGINE 请求统计(1)
base_compaction
count
engine 失败请求,类型为 base_compaction 的数量
clone
count
engine 失败请求,类型为 clonE 的数量
create_rollup
count
engine 失败请求,类型为 create_rollup的数量
create_tablet
count
engine 失败请求,类型为 create_tablet 的数量
cumulative_compaction
count
engine 失败请求,类型为 cumulative_compaction 的数量
delete
count
engine 失败请求,类型为 deletE 的数量
drop_tablet
count
engine 失败请求,类型为 drop_tablet 的数量
finish_task
count
engine 失败请求,类型为 finish_task的数量
ENGINE 请求统计(2)
publish
count
engine 失败请求,类型为 publish 的数量
report_all_tablets
count
engine 失败请求,类型为 report_all_tablets的数量
report_disk
count
engine 失败请求,类型为 report_disk的数量
report_tablet
count
engine 失败请求,类型为 report_tablet 的数量
report_task
count
engine 失败请求,类型为 report_task的数量
schema_change
count
engine 失败请求,类型为 schema_changE 的数量
storage_migrate
count
engine 失败请求,类型为 Storage_migratE 的数量
FRAGMENT 统计
PlanFragment
count
plan fragment 数量
Endpoint
count
DataStream 的数量
FRAGMENT 请求时间
Duration
微秒
fragment 的请求时间
TXN 请求统计
begin
count
txn 类型为 begin 的请求数量
commit
count
txn 类型为 commit 的请求数量
exec
count
txn 类型为 exec 的请求数量
rollback
count
txn 类型为 rollback 的请求数量
STREAMING LOAD 数据量
LoadTotal
bytes
stream load导入的数据大小
STREAMING LOAD 统计
CurrentProcessing
count
streaming load 现有进程数
PipeCount
count
streaming load Pipe数量
STREAMING LOAD 时间
Duration
ms
streaming load 持续时间
BE 内存
Total
bytes
BE memory pool大小
Allocated
bytes
BE memory allocated 大小
进程文件句柄数
Used
count
BE 进程使用文件句柄数量
SoftLimit
count
BE 进程文件句柄 soft 限制数量
HardLimit
count
BE 进程文件句柄 hard 限制数量
进程运行线程数
Thread
count
BE 进程运行的线程个数
THRIFT 使用数量
Broker
count
Broker 使用 thrift 的数量
Backend
count
BE 使用 thrift 的数量
Frontend
count
FE 使用 thrift 的数量
TABLET 写统计
Writer
count
BE TABLET 写统计
TABLET COMPACTION 最高分
UpdateMax
score
tablet update 最大compaction 分数
增删 vector 总字节量
update_del_vector_bytes
byte
增删 vector 总字节量
当前增删 vector 数量
update_del_vector_num
count
当前增删 vector 数量
更新主键索引总字节量
update_primary_index_bytes
byte
更新主键索引总字节量
更新主键索引数量
update_primary_index_num
count
更新主键索引数量
删除 vector 总数量
vector_deletes_total
count
删除 vector 总数量
更新 rowset 提交请求
failed
count
更新 rowset 提交失败请求量
total
count
更新 rowset 提交总请求量
更新 rowset 提交应用持续时间
duration
us
更新 rowset 提交应用持续时间
更新 rowset 提交应用总量
total
count
更新 rowset 提交应用总量
BE 内存分配统计(1)
chunk_allocator_mem
byte
chunk_allocator_mem 大小
clone_mem
byte
clone_mem 大小
column_pool_mem
byte
column_pool_mem 大小
compaction_mem
byte
compaction_mem 大小
consistency_mem
byte
consistency_mem 大小
load_mem
byte
load_mem 大小
BE 内存分配统计(2)
query_mem
byte
query_mem 大小
schema_change_mem
byte
schema_change_mem 大小
storage_page_cache_mem
byte
storage_page_cache_mem 大小
metadata_mem
byte
metadata_mem 大小
update_mem
byte
update_mem 大小
pip 执行线程队列长度
pip_exe_driver
byte
pip_exe_driver 队列长度
pip_exe_poller_block
byte
pip_exe_poller_block 队列长度
wg_pip_exe_driver
byte
wg_pip_exe_driver 队列长度
wg_pip_exe_poller_block
byte
wg_pip_exe_poller_block 队列长度
扫描累计总行数
rows
count
扫描累计总行数
STREAM LOAD 数据量
load_rows
count
load_rows 数据量
每秒扫描字节数
query_scan_bytes
byte
每秒扫描字节数
meta 请求次数
write
count
写 meta 请求次数
read
读 meta 请求次数
meta 请求时长
write
us
写 meta 请求时长
read
读 meta 请求时长
请求推送次数
success
count
成功请求推送次数
fail
失败请求推送次数
磁盘使用量(disks data used capacity)
used_capacity
byte
磁盘使用量
磁盘状态(disks state)
disks_state
1:正常 0:异常
磁盘状态

StarRocks-FE

标题
指标名称
指标单位
指标含义
ALTER 任务统计
RollupRunning
count
运行中的 alter job,类型为 ROLLUP 的数量
SchemaChangeRunning
count
运行中的 alter job,类型为 SCHEMA_CHANGE 的数量
IMAGE 统计
Write
count
FE image write 的数量
Push
count
FE image push 的数量
SCHEDULED_TABLET 数量
ScheduledTablet
count
FE 中 scheduled tablet 数量
TRANSACTION 状态统计
Reject
count
FE 被拒绝的 transaction 数量
Begin
count
FE 开始 的 transaction 数量
Success
count
FE 成功 的 transaction 数量
Failed
count
FE 失败 的 transaction 数量
JVM 内存_HEAP
max
bytes
最大 heap 内存
committed
bytes
已提交 heap 内存
used
bytes
已使用 heap 内存
JVM 内存_NONHEAP
committed
bytes
已提交 non heap 内存
used
bytes
已使用 non heap 内存
JVM 内存_OLD
used
bytes
已使用 old 内存
peak_used
bytes
最大使用 old 内存
max
bytes
最大 old 内存
JVM 内存_YOUNG
used
bytes
已使用 young 内存
peak_used
bytes
最大使用 young 内存
max
bytes
最大 young 内存
ROUTINE LOAD QUEUE 大小
report queue
count
FE report queuE 的大小
ROUTINE_LOAD 行数
TotalRows
count
FE routine load 的行数
ErrorRows
count
FE routine load 错误的行数
ROUTINE LOAD 大小
Receive
bytes
FE routine load 的大小
TABLET_COMPACTION 最高分
MAX
score
FE tablet 进行 compaction 时 compaction score 最大值
EDITLOG 写延时
Quantile75
ms
FE editlog 写延时的75分位数
Quantile95
ms
FE editlog写延时的95分位数
Quantile98
ms
FE editlog写延时的98分位数
Quantile99
ms
FE editlog写延时的99分位数
Quantile999
ms
FE editlog写延时的99.9分位数
GC 次数
YoungGC
count
FE 节点 JVM Young GC 次数
OldGC
count
FE 节点 JVM Old GC 次数
GC 时间
YoungGC
ms
FE 节点 JVM Young GC 时间
OldGC
ms
FE 节点 JVM Old GC 时间
JVM 线程数
Total
count
FE 节点 JVM 中线程总数
Peak
count
FE 节点 JVM 线程峰值
BROKER_LOAD 任务统计
UNKNOWN
count
类型为 BROKER,状态为 UNKNOWN 的 load job 数量
PENDING
count
类型为 BROKER,状态为 pENDING 的 load job 数量
ETL
count
类型为 BROKER,状态为 eTL 的 load job 数量
LOADING
count
类型为 BROKER,状态为 LOADING 的 load job 数量
COMMITTED
count
类型为 BROKER,状态为 cOMMITTED 的 load job 数量
FINISHED
count
类型为 BROKER,状态为 fINISHED 的 load job 数量
CANCELLED
count
类型为 BROKER,状态为 cANCELLED 的 load job 数量
DELETE_LOAD 任务统计
UNKNOWN
count
类型为 DELETE,状态为 UNKNOWN 的 load job 数量
PENDING
count
类型为 DELETE,状态为 pENDING 的 load job 数量
ETL
count
类型为 DELETE,状态为 eTL 的 load job 数量
LOADING
count
类型为 DELETE,状态为 LOADING 的 load job 数量
COMMITTED
count
类型为 DELETE,状态为 cOMMITTED 的 load job 数量
FINISHED
count
类型为 DELETE,状态为 fINISHED 的 load job 数量
CANCELLED
count
类型为 DELETE,状态为 cANCELLED 的 load job 数量
HADOOP_LOAD 任务统计
UNKNOWN
count
类型为 HADOOP,状态为 UNKNOWN 的 load job 数量
PENDING
count
类型为 HADOOP,状态为 pENDING 的 load job 数量
ETL
count
类型为 HADOOP,状态为 eTL 的 load job 数量
LOADING
count
类型为 HADOOP,状态为 LOADING 的 load job 数量
COMMITTED
count
类型为 HADOOP,状态为 cOMMITTED 的 load job 数量
FINISHED
count
类型为 HADOOP,状态为 fINISHED 的 load job 数量
CANCELLED
count
类型为 HADOOP,状态为 cANCELLED 的 load job 数量
INSERT_LOAD 任务统计
UNKNOWN
count
类型为 INSERT,状态为 UNKNOWN 的 load job 数量
PENDING
count
类型为 INSERT,状态为 pENDING 的 load job 数量
ETL
count
类型为 INSERT,状态为 eTL 的 load job 数量
LOADING
count
类型为 INSERT,状态为 LOADING 的 load job 数量
COMMITTED
count
类型为 INSERT,状态为 cOMMITTED 的 load job 数量
FINISHED
count
类型为 INSERT,状态为 fINISHED 的 load job 数量
CANCELLED
count
类型为 INSERT,状态为 cANCELLED 的 load job 数量
ROUTINE_LOAD 任务统计
NEED_SCHEDULE
count
routine load jobs 统计,state=NEED_SCHEDULE
RUNNING
count
routine load jobs 统计,state=RUNNING
PAUSED
count
routine load jobs 统计,state=PAUSED
STOPPED
count
routine load jobs 统计,state=STOPPED
CANCELLED
count
routine load jobs 统计,state=CANCELLED
SPARK_LOAD 任务统计
UNKNOWN
count
类型为 SPARK,状态为 UNKNOWN 的 load job 数量
PENDING
count
类型为 SPARK,状态为 pENDING 的 load job 数量
ETL
count
类型为 SPARK,状态为 eTL 的 load job 数量
LOADING
count
类型为 SPARK,状态为 LOADING 的 load job 数量
COMMITTED
count
类型为 SPARK,状态为 cOMMITTED 的 load job 数量
FINISHED
count
类型为 SPARK,状态为 fINISHED 的 load job 数量
CANCELLED
count
类型为 SPARK,状态为 cANCELLED 的 load job 数量
FE MASTER
FE Master
count
是否为 FE Master;1 Master, 0 Fellower
节点信息
FeNodeNum
count
FE 总节点数
BeNodeNum
count
BE 总节点数
BeAliveNum
count
BE 活动节点数
BeDecommissionedNum
count
BE 活动节点数
BkDeadNum
count
Broker 死亡节点数
请求响应
QPS
count/s
每秒查询率
RPS
count/s
每秒能处理的请求数目
FE 查询统计
total
count
FE 查询总数
err
count
FE 查询错误总数
timeout
count
FE 查询超时数
success
count
FE 查询成功总数
slow
count
FE 慢查询总数
查询失败率
ErrRate
%
查询错误率
FE 查询延时
Quantile75
ms
FE 查询延时的75分位数
Quantile95
ms
FE 查询延时的95分位数
Quantile99
ms
FE 查询延时的99分位数
Quantile999
ms
FE 查询延时的99.9分位数
CONNECTION 数量
Num
count
FE 节点 connection 数量
最大 journal id
id
count
最大 journal id
Edit Log 写入次数
write
count
Edit Log 写入次数

StarRocks-Broker

标题
指标名称
指标单位
指标含义
CPU 利用率
ProcessCpuLoad
%
进程 CPU 利用率
CPU 使用时间
ProcessCpuTime
ms
CPU 累计使用时间
GC 次数
YGC
Young GC 次数
FGC
Full GC 次数
GC 时间
GCT
s
垃圾回收时间消耗
FGCT
s
Full GC 消耗时间
YGCT
s
Young GC 消耗时间
内存区域占比
O
%
Old 区内存使用占比
M
%
Metaspace 区内存使用占比
CCS
%
Compressed class space 区内存使用占比
S0
%
Survivor 0区内存使用占比
S1
%
Survivor 1区内存使用占比
E
%
Eden 区内存使用占比
JVM 内存
MemHeapInitM
MB
JVM 初始 HeapMemory的数量
MemNonHeapInitM
MB
JVM 初始 NonHeapMemory 的数量
MemHeapMaxM
MB
JVM 配置的 HeapMemory 的数量
MemHeapCommittedM
MB
JVM 当前已经提交的 HeapMemory 的数量
MemHeapUsedM
MB
JVM 当前已经使用的 HeapMemory 的数量
MemNonHeapCommittedM
MB
JVM 当前已经提交的 NonHeapMemory 的数量
MemNonHeapUsedM
MB
JVM 当前已经使用的 NonHeapMemory 的数量
文件句柄数
OpenFileDescriptorCount
count
已打开文件描述符数
MaxFileDescriptorCount
count
最大文件描述符数
进程运行时间
Uptime
s
进程运行时间
工作线程数
PeakThreadCount
count
峰值线程数
ThreadCount
count
总线程数量
DaemonThreadCount
count
Daemon 线程数量