pt-kill 输出信息优化

保持热爱奔赴山海

发布于 2022-11-14 16:47:04

4580

发布于 2022-11-14 16:47:04

文章被收录于专栏：数据库相关数据库相关

默认情况下，pt-kill （3.3.1版本）的执行记录如果是输出到log文件的话，日志里面是不会带上库名、客户端地址的，类似如下：

我们可以简单修改下代码，让其支持该属性的输出。

$ cd /usr/bin/

$ pt-kill --version
pt-kill 3.3.1

$ cp pt-kill pt-kill_20221028_bak

修改前：
         foreach my $query ( @queries ) {
            if ( $o->get('print') ) {
               printf "# %s %s %d (%s %d sec) %s\n",
                  ts(time), $o->get('kill-query') ? 'KILL QUERY' : 'KILL',
                  $query->{Id}, ($query->{Command} || 'NULL'), $query->{Time},
                  ($query->{Info} || 'NULL');
            }    
            if ( $o->get('query-id') ) {
                  my $fp = $qr->fingerprint($query->{'Info'});
                  my $chksm = Transformers::make_checksum($fp);
                  print "Query ID: 0x$chksm\n";
            } 



修改后：
            if ( $o->get('print') ) {
                printf "# 检测时间: %s ,操作类型: %s ,Query_Id: %d ,用户名: %s ,客户端地址: %s ,库名: %s (%s %d sec) ,SQL明细: %s\n",
                    ts(time), ($o->get('kill-query') ||$o->get('kill')) ? 'KILL QUERY OR KILL' : 'ONLY_PRINT',
                    $query->{Id},$query->{User},$query->{Host},($query->{db} ? $query->{db} :'none'),($query->{Command} || 'NULL'), $query->{Time},
                   ($query->{Info} || 'NULL');
             }    
            if ( $o->get('query-id') ) {
                  my $fp = $qr->fingerprint($query->{'Info'});
                  my $chksm = Transformers::make_checksum($fp);
                  print "Query ID: 0x$chksm\n";
            }

修改完成后，我们执行下pt-kill命令，如下（演示的过滤条件很暴力）：

pt-kill u=dts,h=192.168.31.181,p='dts' --match-info "^(select)" --victims=all --busy-time 1 --interval 1 --no-version-check --print --kill --match-user "dts"

在控制台的日志大致如下：

生产上，我们通常还会把kill的记录存到表里面，只要额外配置个库表，加点配置如下：

pt-kill u=dts,h=192.168.31.181,p='dts' --match-info "^(select)" --victims=all --busy-time 1 --interval 1 --no-version-check --print --kill --log-dsn=h=192.168.31.181,u=dts,p='dts',P=3306,D=percona,t=kill_log --match-user "dts"

需要确保这个dsn上的kill_log表是存在的，建表语句如下：

 create database percona;
 
 use percona;
 
 CREATE TABLE `kill_log` (
  `kill_id` int unsigned NOT NULL AUTO_INCREMENT,
  `server_id` bigint NOT NULL DEFAULT '0',
  `timestamp` datetime DEFAULT NULL,
  `reason` text,
  `kill_error` text,
  `Id` bigint NOT NULL DEFAULT '0',
  `User` varchar(16) NOT NULL DEFAULT '',
  `Host` varchar(64) NOT NULL DEFAULT '',
  `db` varchar(64) DEFAULT NULL,
  `Command` varchar(16) NOT NULL DEFAULT '',
  `Time` int NOT NULL DEFAULT '0',
  `State` varchar(64) DEFAULT NULL,
  `Info` longtext,
  `Time_ms` bigint DEFAULT '0',
  PRIMARY KEY (`kill_id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4;

kill_log表里面记录类似如下：

经测试，发现只有当存在 --kill 参数的情况下（即 --print --kill 或者单独的--kill），记录才会存到kill_log数据表里面。但是只要存在--print参数，不管是否有--kill参数，巡检记录都会输出到控制台日志。

对此，我们可以再修改下代码，在print的里面加上log的逻辑，如下（我把eval_error这个置为了ONLY_PRINT，便于数据库里查找）：


修改后：
            if ( $o->get('print') ) {
               if ( $log ) {
                  log_to_table(
                     log        => $log,
                     query      => $query,
                     proclist   => $pl, 
                     columns    => \@processlist_columns,
                     eval_error => "ONLY_PRINT",
                  );   
               } 
            
                printf "# 检测时间: %s ,操作类型: %s ,Query_Id: %d ,用户名: %s ,客户端地址: %s ,库名: %s (%s %d sec) ,SQL明细: %s\n",
                    ts(time), ($o->get('kill-query') ||$o->get('kill')) ? 'KILL QUERY OR KILL' : 'ONLY_PRINT',
                    $query->{Id},$query->{User},$query->{Host},($query->{db} ? $query->{db} :'none'),($query->{Command} || 'NULL'), $query->{Time},
                   ($query->{Info} || 'NULL');
             }    
            if ( $o->get('query-id') ) {
                  my $fp = $qr->fingerprint($query->{'Info'});
                  my $chksm = Transformers::make_checksum($fp);
                  print "Query ID: 0x$chksm\n";
            }

有了数据后，我们就可以容易绘制grafana看板。

只print不查杀的记录：
SELECT
  -- a.timestamp,
  date_add( a.TIMESTAMP  , INTERVAL -8 hour) as "采样时间",
  a.server_id,
  a.user,
  a.db,
  a.host,
  a.info,
  a.`Time`,
  a.id,
  a.reason,
  a.State
FROM
  pt_kill_log AS a,
  pt_kill_log AS b
WHERE a.time =
  (SELECT
    MAX(`Time`)
  FROM
    pt_kill_log b
  WHERE a.id = b.id
    AND  a.`timestamp` BETWEEN DATE_FORMAT("$day", '%Y-%m-%d 00:00:00') AND DATE_FORMAT("$day", '%Y-%m-%d 23:59:59')
    AND a.kill_error = 'ONLY_PRINT'
    AND a.user != 'bi'
    )
GROUP BY a.id
ORDER BY a.`timestamp` DESC
-- LIMIT 1000




自动查杀的记录：

SELECT
  -- a.timestamp,
  date_add( a.TIMESTAMP  , INTERVAL -8 hour) as "采样时间",
  a.server_id,
  a.user,
  a.db,
  a.host,
  a.info,
  a.`Time`,
  a.id,
  a.reason,
  a.State
FROM
  pt_kill_log AS a,
  pt_kill_log AS b
WHERE a.time =
  (SELECT
    MAX(`Time`)
  FROM
    pt_kill_log b
  WHERE a.id = b.id
    AND  a.`timestamp` BETWEEN DATE_FORMAT("$day", '%Y-%m-%d 00:00:00') AND DATE_FORMAT("$day", '%Y-%m-%d 23:59:59')
    AND a.kill_error != 'ONLY_PRINT'
    AND a.user != 'bi'
    )
GROUP BY a.id
ORDER BY a.`timestamp` DESC
-- LIMIT 1000