专栏首页东隅已逝zabbix-server添加了网络设备模板导致boot.log占满根目录不能ssh登陆

zabbix-server添加了网络设备模板导致boot.log占满根目录不能ssh登陆

现象

今天上午准备登陆下测试环境的zabbix-server服务器查个东西,发现ssh一直连接不上报错"No space left on device"。

[C:\~]$ ssh 172.16.131.142
Last login: Fri Nov  1 11:28:19 2019 from 10.16.75.35
/root/.pyenv/libexec/pyenv-init: line 131: cannot create temp file for here-document: No space left on device

于是使用ansible跳过去,查看磁盘空间发现根目录已经100%了。

[root@ansible ~]# ssh 172.16.131.142
[root@zabbix1 ~]# df -h
Filesystem            Size  Used Avail Use% Mounted on
/dev/vda1              50G   50G     0 100% /
/dev/mapper/datavg-home_lv
                      343G  178G  148G  55% /home
/dev/mapper/datavg-swap_lv
                      976M  490M  436M  53% /swap

因为之前遇到过类似情况,所以我猜想还是boot.log满了,去看一下果然41个G。

[root@zabbix1 ~]# cd /var/log/
[root@zabbix1 log]# du -sh *
26M  audit
41G  boot.log
4.0K  dmesg
4.0K  dmesg.old
4.0K  dracut.log
50M  httpd
824M  messages
4.0K  tallylog
224K  wtmp
4.0K  yum.log
21M  zabbix

查看日志里面的内容,日志在疯狂的写入,只截取部分。

[root@zabbix1 log]# tail -f boot.log 
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   RtrPriority 1"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   RtrDeadInterval 12"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   DRouter 0.0.0.0"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   BDRouter 0.0.0.0"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:   # Neighbors 1"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF:     Neighbor 172.16.44.18"
Nov  1 11:33:22 172.16.32.2 date=2019-11-01 time=11:33:22 devname=BJ-YZ-CO-FW1 devid=FG5H0E5818903326 logid=0103020301 type=event subtype=router level=information vd=root logdesc="Routing log" msg="OSPF: NFSM[Vlanif105:172.16.44.18-172.16.46.1]: Full (HelloReceived)"
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/DrvDebug: -DevIP=172.16.32.5-Slot=2; Many Parity Errors have been detected in last 10s.  
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error. 
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error. 
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error. 
Nov  1 11:24:02 2019 BJ-YZ-DS-SW1&2 %%10DRVPLAT/4/Log Info: -DevIP=172.16.32.5-Slot=2; Slot 2,unit 0 DLB_HGT_FLOWSET_TIMESTAMP_PAGE_X entry 693 parity error.

很明显日志里面有172.16.32.5和172.16.32.2的信息,去zabbix上看了一下发现是网络设备,但是zabbix显示的是已经挂掉了,但是可以查看,应该是缓存。

先备份下这个日志,再清空释放空间,因为根下已经没空间了,所以压缩到/home下。

[root@zabbix1 log]# tar zcvf /home/2019-11-1-boot.log.tar.gz  boot.log
[root@zabbix1 log]# cat /dev/null > boot.log

查看zabbix发现server的10051端口已经没有了,只有agent的10050端口

[root@zabbix1 ~]# netstat -tnlp | grep zabbix
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 :::10050                    :::*                        LISTEN      15271/zabbix_agentd

重启zabbix-server

[root@zabbix1 ~]# service zabbix-server restart
Shutting down Zabbix server:                               [FAILED]
Starting Zabbix server:                                    [  OK  ]
[root@zabbix1 ~]# netstat -tnlp | grep zabbix
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name      
tcp        0      0 :::10050                    :::*                        LISTEN      15271/zabbix_agentd 
tcp        0      0 :::10051                    :::*                        LISTEN      1283/zabbix_server

原因

172.16.32.5这台网络设备一直报错,导致不停的刷日志,zabbix-server上配置了网络设备的rsyslog,所以有大量的报错日志写入到boot.log。

解决办法

注释掉rsyslog中的/var/log/boot.log。

[root@zabbix1 rsyslog.d]# vim /etc/rsyslog.conf
#local7.*             /var/log/boot.log

本文分享自微信公众号 - 有暗香盈袖c(Born--To_Die),作者:Cool Wo

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-11-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • zabbix的boot.log占满根目录不能ssh连接

    今天上午准备登陆下测试环境的zabbix-server服务器查个东西,发现ssh连接不上,报"No space left on device"。

    有暗香盈袖
  • Linux下安装DB2数据库

    有暗香盈袖
  • Linux下监控用户操作轨迹

    在实际工作当中,都会碰到误删除、误修改配置文件等事件。如果没有堡垒机,要在linux系统上查看到底谁对配置文件做了误操作,特别是遇到删库跑路的事件,当然可以通过...

    有暗香盈袖
  • [日常] nginx记录post数据

    server { access_log /var/log/nginx/default.access.log 日志名; }

    陶士涵
  • Python_列表解析【i for循环 if i】

    瑞新
  • Android 功耗(4)---MTK平台待机功耗分析流程

    1、关闭 WIFI/BT/GPS,关闭数据连接,设置飞行模式。 (根据具体测试场景设置)

    233333
  • 2015百度一道面试题引发的思考(shell脚本和网络)

    原文    http://blog.csdn.net/chhuach2005/article/details/40044863

    bear_fish
  • Golang之beego读取配置信息,输出log模块

    超蛋lhy
  • Harbor介绍与企业级私有Docker镜像仓库搭建

    Harbor,是一个英文单词,意思是港湾,港湾是干什么的呢,就是停放货物的,而货物呢,是装在集装箱中的,说到集装箱,就不得不提到Docker容器,因为docke...

    踏歌行

扫码关注云+社区

领取腾讯云代金券