Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
社区首页 >专栏 >Python提取log参数生成图表

Python提取log参数生成图表

作者头像
summerking
发布于 2022-09-16 04:03:14
发布于 2022-09-16 04:03:14
33100
代码可运行
举报
文章被收录于专栏:summerking的专栏summerking的专栏
运行总次数:0
代码可运行

目标:根据ceph集群的mon日志,以其中的时间为横坐标,对象迁移速度为纵坐标,利用python的matplotlib生成图表

# 日志格式

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
2021-04-22 14:00:20.687685 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31413: 3578 pgs: 1795 active+clean, 1518 active+recovery_wait+degraded, 265 active+recovering+degraded; 13709 GB data, 37462 GB used, 216 TB / 253 TB avail; 25963 B/s rd, 101 MB/s wr, 40 op/s; 3635096/10530407 objects degraded (34.520%); 231 MB/s, 57 objects/s recovering
2021-04-22 14:00:21.404638 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1226651' entity='client.admin' cmd=[{"prefix": "status"}]: dispatch
2021-04-22 14:00:22.064304 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31414: 3578 pgs: 1795 active+clean, 1518 active+recovery_wait+degraded, 265 active+recovering+degraded; 13710 GB data, 37465 GB used, 216 TB / 253 TB avail; 202 MB/s wr, 66 op/s; 3634943/10530710 objects degraded (34.518%); 491 MB/s, 122 objects/s recovering
2021-04-22 14:00:22.899451 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1226758' entity='client.admin' cmd=[{"prefix": "status"}]: dispatch
2021-04-22 14:00:23.117601 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31415: 3578 pgs: 1795 active+clean, 1518 active+recovery_wait+degraded, 265 active+recovering+degraded; 13710 GB data, 37466 GB used, 216 TB / 253 TB avail; 278 MB/s wr, 89 op/s; 3634877/10530920 objects degraded (34.516%); 656 MB/s, 164 objects/s recovering
2021-04-22 14:00:24.168534 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31416: 3578 pgs: 1795 active+clean, 1518 active+recovery_wait+degraded, 265 active+recovering+degraded; 13710 GB data, 37467 GB used, 216 TB / 253 TB avail; 46501 B/s rd, 156 MB/s wr, 54 op/s; 3634844/10530971 objects degraded (34.516%); 351 MB/s, 87 objects/s recovering
2021-04-22 14:00:24.310858 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1226862' entity='client.admin' cmd=[{"prefix": "df"}]: dispatch
2021-04-22 14:00:25.182928 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31417: 3578 pgs: 1796 active+clean, 1518 active+recovery_wait+degraded, 264 active+recovering+degraded; 13710 GB data, 37467 GB used, 216 TB / 253 TB avail; 50826 B/s rd, 73402 kB/s wr, 28 op/s; 3633653/10531025 objects degraded (34.504%); 272 MB/s, 68 objects/s recovering
2021-04-22 14:00:25.706503 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227016' entity='client.admin' cmd=[{"prefix": "df"}]: dispatch
2021-04-22 14:00:26.211983 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31418: 3578 pgs: 1796 active+clean, 1518 active+recovery_wait+degraded, 264 active+recovering+degraded; 13710 GB data, 37468 GB used, 216 TB / 253 TB avail; 95139 kB/s wr, 30 op/s; 3633573/10531100 objects degraded (34.503%); 381 MB/s, 95 objects/s recovering
2021-04-22 14:00:27.264925 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31419: 3578 pgs: 1796 active+clean, 1518 active+recovery_wait+degraded, 264 active+recovering+degraded; 13711 GB data, 37471 GB used, 216 TB / 253 TB avail; 326 MB/s wr, 103 op/s; 3633320/10531484 objects degraded (34.500%); 947 MB/s, 236 objects/s recovering
2021-04-22 14:00:27.524231 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227171' entity='client.admin' cmd=[{"prefix": "osd perf"}]: dispatch
2021-04-22 14:00:27.635542 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227155' entity='client.admin' cmd=[{"prefix": "status"}]: dispatch
2021-04-22 14:00:27.957661 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.2:0/4594454' entity='client.admin' cmd=[{"prefix": "health"}]: dispatch
2021-04-22 14:00:28.162358 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.2:0/4594460' entity='client.admin' cmd=[{"prefix": "health"}]: dispatch
2021-04-22 14:00:28.292117 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31420: 3578 pgs: 1797 active+clean, 1518 active+recovery_wait+degraded, 263 active+recovering+degraded; 13711 GB data, 37471 GB used, 216 TB / 253 TB avail; 320 MB/s wr, 101 op/s; 3632295/10531565 objects degraded (34.490%); 803 MB/s, 200 objects/s recovering
2021-04-22 14:00:29.490974 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31421: 3578 pgs: 1797 active+clean, 1518 active+recovery_wait+degraded, 263 active+recovering+degraded; 13711 GB data, 37472 GB used, 216 TB / 253 TB avail; 58531 B/s rd, 107 MB/s wr, 50 op/s; 3632272/10531658 objects degraded (34.489%); 165 MB/s, 41 objects/s recovering
2021-04-22 14:00:30.560615 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31422: 3578 pgs: 1797 active+clean, 1517 active+recovery_wait+degraded, 264 active+recovering+degraded; 13711 GB data, 37472 GB used, 216 TB / 253 TB avail; 57007 B/s rd, 86775 kB/s wr, 42 op/s; 3632246/10531712 objects degraded (34.489%); 166 MB/s, 41 objects/s recovering
2021-04-22 14:00:30.935797 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227362' entity='client.admin' cmd=[{"prefix": "df"}]: dispatch
2021-04-22 14:00:31.620008 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227476' entity='client.admin' cmd=[{"prefix": "health"}]: dispatch
2021-04-22 14:00:31.627203 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227460' entity='client.admin' cmd=[{"prefix": "health"}]: dispatch
2021-04-22 14:00:31.671392 7f97234a6700  0 log_channel(cluster) log [INF] : pgmap v31423: 3578 pgs: 1799 active+clean, 1517 active+recovery_wait+degraded, 262 active+recovering+degraded; 13711 GB data, 37474 GB used, 216 TB / 253 TB avail; 138 MB/s wr, 42 op/s; 3629994/10531892 objects degraded (34.467%); 337 MB/s, 84 objects/s recovering
2021-04-22 14:00:32.125331 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.3:0/4429248' entity='client.admin' cmd=[{"prefix": "health"}]: dispatch
2021-04-22 14:00:32.229556 7f971d7fe700  0 log_channel(audit) log [INF] : from='client.? 10.10.10.1:0/1227374' entity='client.admin' cmd=[{"prefix": "health"}]: dispatch

# python代码实现

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import pylab
import matplotlib.pyplot as plt
from matplotlib.pyplot import MultipleLocator

def get_number():
    y1 = []
    x1 = []
    Syslog = "C:/Users/summer/Desktop/ceph-mon.log"
    with open(Syslog,'r')as f:
        for i in f.readlines():
            try:
                if ';' not in i or 'kB/s' in i:
                    continue
                else:
                    info = i.split(';')
                    x1.append(info[0][11:19]) 
                    y1.append(float(i[i.rfind("MB/s"):][5:9])) 
                    
                    # print(x1 + y1)

            except:
                print('erro')

    
        pylab.figure(figsize=(21, 7))
        pylab.plot(x1,y1,'r')
        plt.xticks(rotation=90,fontsize=11) 
        x_major_locator=MultipleLocator(50)
        ax=plt.gca()
        ax.xaxis.set_major_locator(x_major_locator)
        # plt.tight_layout()
        pylab.show()


if __name__ == '__main__':
    get_number()

# 生成的图表展示

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2021-05-12,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
ceph分布式存储-常见 PG 故障处理
创建一个新集群后,PG 的状态一直处于 active , active + remapped 或 active + degraded 状态, 而无法达到 active + clean 状态 ,那很可能是你的配置有问题。
Lucien168
2020/07/20
3.6K0
ceph 运维常用命令总结
    cluster be1756f2-54f7-4d8f-8790-820c82721f17
DevinGeng
2019/04/09
5.5K0
由OSD class配置引发的PG异常状态修复
ceph版本12.2.8,一个PG卡在remapped状态,但是集群状态是OK的,为了修复这个remapped状态,才有了下面的操作。
用户1260683
2018/10/25
3.3K0
分布式存储Ceph之PG状态详解
继上次分享的《Ceph介绍及原理架构分享》,这次主要来分享Ceph中的PG各种状态详解,PG是最复杂和难于理解的概念之一,PG的复杂如下:
Lucien168
2020/07/20
3.5K0
ceph分布式存储-检查集群健康状态
元数据服务器为 Ceph 文件系统提供元数据服务,不过在当前生产环境中并未部署 MDS 。
Lucien168
2020/07/20
1.2K0
Ceph,health HEALTH_ERR错误
本来头一天晚上还是正常的ceph存储集群,经历了一个不明真相的夜晚之后启动机器发现集群的健康检查状态已经是HEALTH_ERR了:
肓己
2021/08/12
7320
如何从 Ceph (Luminous) 集群中安全移除 OSD
工作中需要从 Ceph 的集群中移除一台存储服务器,挪作他用。Ceph 存储空间即使在移除该存储服务器后依旧够用,所以操作是可行的,但集群已经运行了很长时间,每个服务器上都存储了很多数据,在数据无损的情况下移除,看起来也不简单。
用户2443625
2018/08/27
3.1K0
如何从 Ceph (Luminous) 集群中安全移除 OSD
模拟ceph集群ERROR状态
模拟pg inconsistent集群ERROR处理 # 1. 查看集群状态 root 🌐 summer133-112 in ~ ♥ 10:37 > summer -s cluster 0be48747-efac-4ece-8cbe-9a5d06baccab health HEALTH_OK monmap e5: 3 mons at {summer133-112=192.168.133.112:6789/0,summer133-113=192.168.133.113:67
summerking
2023/02/18
4850
Ceph 快速部署 ( Centos7 + Jewel )
作者:徐凯 这篇文章主要介绍了如何用三台虚拟机搭建一套Ceph分布式系统,步骤简洁但不失准确性。环境清理一小节可以解决绝大多数部署不成功的问题,最后一节介绍了常用的Ceph操作,希望能给刚搭建环境的
腾讯云TStack
2017/09/21
1.9K0
Ceph 故障排查笔记 | 万字经验总结
删除当前 osd 的所有数据,并且重新加载 osd,此操作一定要保证有冗余可用的 osd,否则会造成整个 osd 数据损坏。
米开朗基杨
2021/05/11
7.9K0
从hammer到jewel的RGW升级实战-by秦牧羊
本篇来自秦牧羊的一篇分享,讲述的是从hammer升级到jewel的过程,以及其中的一些故障的处理,是一篇非常详细的实战分享
用户2772802
2018/08/06
6380
查看ceph集群被哪些客户端连接
我们在使用集群的时候,一般来说比较关注的是后台的集群的状态,但是在做一些更人性化的管理功能的时候,就需要考虑到更多的细节
用户2772802
2018/08/06
2.4K0
Ceph分布式存储日常运维管理手册
nearfull osd(s) or pool(s) nearfull 此时说明部分osd的存储已经超过阈值,mon会监控ceph集群中OSD空间使用情况。如果要消除WARN,可以修改这两个参数,提高阈值,但是通过实践发现并不能解决问题,可以通过观察osd的数据分布情况来分析原因。
民工哥
2020/09/15
2.5K0
Ceph分布式存储日常运维管理手册
《大话 Ceph》 之 RBD 那点事儿
腾讯云TStack
2017/11/03
14.3K0
Ceph 集群整体迁移方案
场景介绍:在我们的IDC中,存在着运行了3-6年的Ceph集群的服务器,这些服务器性能和容量等都已经无法满足当前业务的需求,在购入一批高性能机器后,希望将旧机器上的集群整体迁移到新机器上,当然,是保证业务不中断的前提下,再将旧机器下架回收。本文就介绍了一种实现业务不中断的数据迁移方案,并已经在多个生产环境执行。 本文的环境均为:Openstack+Ceph 运行虚拟机的场景,即主要使用RBD,不包含RGW,MDS。虚机的系统盘(Nova),云硬盘(Cinder),镜像盘(Glance)的块均保存在共享存储C
腾讯云TStack
2018/04/02
4.1K0
centos 7.3 快速安装ceph
Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
yaohong
2019/09/11
1.1K0
centos 7.3 快速安装ceph
CephFS: No space left on device
这是一篇旧闻,由于用cephfs的人还不是很多,所以比较少发关于cephfs相关的东西,最近看到有人开始使用,并且遇到了问题,这个就是其中一个比较容易出的问题,需要进行参数的调整
用户2772802
2018/08/06
1.9K0
ceph osd full故障 原
资料(传送门)[http://bbs.ceph.org.cn/question/363]
domain0
2018/08/02
1.5K0
快速部署Ceph分布式高可用集群
Ceph是一个PB,EB级别的分布式存储系统,可以提供文件存储,对象存储、和块存储,它可靠性高,易扩展,管理简便,其中对象存储和块存储可以和其他云平台集成。一个Ceph集群中有Monitor节点、MDS节点(用于文件存储)、OSD守护进程。
小陈运维
2022/06/15
2.3K0
Ceph理解
- 图虽然很复杂,但如果理解了几个基本操作的含义就很好读下来了,这里是三个操作的伪代码,take和emit很好理解,select主要是遍历当前bucket,如果出现重复、失败或者超载就跳过,其中稍微复杂的“first n”部分是一旦遇到失败,第一种情况是直接使用多备份,第二种情况是使用erasing code基本可以忽略。看着下面的图就更好理解具体的算法了
ZHaos
2019/02/27
2.3K0
相关推荐
ceph分布式存储-常见 PG 故障处理
更多 >
领券
社区富文本编辑器全新改版!诚邀体验~
全新交互,全新视觉,新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能,全面提升创作效率和体验
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
查看详情【社区公告】 技术创作特训营有奖征文
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验