最近处理的几个小问题_20160311 (r8笔记第35天)

最近处理的小问题很多,我就拿出来几个,简单和大家说一说。我就分为三个方面,硬件问题,Oracle表空间迁移,MySQL断电恢复 首先是硬件问题。 如果看到下面的系统日志,就会发现早在2014年就出现了一些警告和问题,随后看似已经修复了部分,但是实际情况是这台服务器的电源已经坏了一个,另外一 个已经快扛不住了。但是通过这些信息就很难读到之前的问题,因为问题已经过去了好久,一直没有问题,应该就是没有问题吧,或者之前的人已经处理了吧,如果 这样想,是一种乐观的方式。 最好还是做一些确认,我就是那么想的,然后在某一天一台备库的服务器就突然殉职了。究其原因就是电源问题。

打开系统的ILO界面,才突然发现只识别了一个电源,而且已经无法正常开启电源了。 对于这类问题,还有一个想法就是,机器过就过老,更新换代如此频繁,还是有好的硬件配置就用上,很多时候都是感觉舍不得,动不得,如果你要迁移某个服务 器,去和各个部门协调,总会有这个不能动,那个不能改的顾虑,但是服务器可不会讲这些情面,有时候**还是有道理的,这些问题也能够反应出来我们对待问题 的态度,都是被动接受,而不是主动改进。出了问题之后发现这些必须得动,必须得改,感觉那个时候就有些匆忙,仓促了。 然后第二个问题,是一个表空间的迁移问题。 之前帮助开发的同事处理了一个表空间无法扩展的小case,然后建议他们后续进行硬盘扩容,从根本上解决这个问题,开发同事还真听进去了,申请了一块较大的硬盘,但是还是希望我来帮助他们来迁移这个表空间,这个问题其实很简单。 可以使用常规的方法即可,唯一的不同在于这个表空间是个bigfile tablespace,所以心里还是存在一点小小的顾虑,是否对于能够100%成功。 因为这个表空间的设置,里面只有一个数据文件,新的磁盘分区在/data下面。 在迁移的时候,开发的同事还是希望能够在线迁移,从我的大量实践来说,这些也都不是大的问题,然后使用了下面的脚本。 alter tablespace CYTJ_DATA offline; !cp '/home/oracle/tablespace/cytj_data.dbf' '/data/cytj/datafile/cytj_data.dbf'; alter tablespace CYTJ_DATA rename datafile '/home/oracle/tablespace/cytj_data.dbf' to '/data/cytj/datafile/cytj_data.dbf'; alter tablespace CYTJ_DATA online; 当然拷贝大的文件,第二步花费了一些时间,其它步骤都是秒级完成。 迁移完了,还是有一些后续的补充工作的。 首先要删除原有的文件,再三确认之后,就可以删除了。 但是使用df -h发现,空间却压根没有释放,应该能够释放50多G才对。 #df -h Filesystem Size Used Avail Use% Mounted on /dev/sda5 4.0G 359M 3.4G 10% / /dev/sda11 106G 96G 5.5G 95% /home /dev/sdb1 551G 61G 463G 12% /data 对于这个问题,解决方法也比较简单,就是查看句柄的使用情况。 通过下面的命令可以看到迁移前和迁移后都存在一些句柄关联,哪些迁移前的文件已然被标示为deleted #lsof |grep cytj_data.dbf oracle 1536 oracle 263u REG 8,11 64424517632 2490413 /home/oracle/tablespace/cytj_data.dbf (deleted) oracle 5427 oracle 262uW REG 8,17 64424517632 31719427 /data/cytj/datafile/cytj_data.dbf oracle 5431 oracle 262u REG 8,17 64424517632 31719427 /data/cytj/datafile/cytj_data.dbf oracle 5433 oracle 260u REG 8,17 64424517632 31719427 /data/cytj/datafile/cytj_data.dbf oracle 6393 oracle 257u REG 8,17 64424517632 31719427 /data/cytj/datafile/cytj_data.dbf oracle 8729 oracle 257u REG 8,11 64424517632 2490413 /home/oracle/tablespace/cytj_data.dbf (deleted) oracle 8971 oracle 256u REG 8,11 64424517632 2490413 /home/oracle/tablespace/cytj_data.dbf (deleted) oracle 9358 oracle 256u REG 8,11 64424517632 2490413 /home/oracle/tablespace/cytj_data.dbf (deleted) 以其中的一个进程为例,发现是一个应用连接。 #ps -ef|grep 1536 oracle 1536 1 0 18:07 ? 00:00:00 oraclecytj (LOCAL=NO) root 6321 5715 0 22:48 pts/0 00:00:00 grep 1536 所以这些session还是对这个迁移造成了潜移默化的影响,我们需要释放这些句柄来,就可以kill掉了。 清理掉这些进程之后,再次查看就没有问题了。 #df -h Filesystem Size Used Avail Use% Mounted on /dev/sda11 106G 52G 50G 52% /home /dev/sdb1 551G 61G 463G 12% /data 问题解决完了,还需要注意什么呢,需要设置这个数据文件的maxsize,这个分区目前有500G左右,所以大可以放心把它置为500G以内。原来的maxsize值是50G,差的还很远呢。 第三个问题是关于MySQL的从库问题。 因为之前有一台服务器因为硬件问题掉电,在补充了新的电源之后又开始正常工作了,但是查看从库的状态发现显示为: > show slave status\G *************************** 1. row *************************** Slave_IO_State: Waiting for master to send event Master_Host: 10.127.0.91 Master_User: repl Master_Port: 3306 Connect_Retry: 60 Master_Log_File: mysql-bin.000226 Read_Master_Log_Pos: 506545322 Relay_Log_File: mysql-relay.000023 Relay_Log_Pos: 884805415 Relay_Master_Log_File: mysql-bin.000225 Slave_IO_Running: Yes Slave_SQL_Running: No Last_Error: Relay log read failure: Could not parse relay log event entry. The possible reasons are: the master's Skip_Counter: 0 Exec_Master_Log_Pos: 884805205 Relay_Log_Space: 1580224534 Last_SQL_Errno: 1594 Last_SQL_Error: Relay log read failure: Could not parse relay log event entry. The possible reasons are: the master's Master_Server_Id: 200 Master_UUID: 170281bc-1957-11e4-ad6e-842b2b4841e9 Master_Info_File: /U01/app/mysql_3306/master.info Slave_SQL_Running_State: Master_Retry_Count: 86400 对于这个问题,stop slave,start slave是不会自动修复的。 可以使用change master来修复。 > stop slave; Query OK, 0 rows affected (0.02 sec) 如果以前修复可以手工对应下标和日志来指定修复,但是在gtid的场景里,还是不需要这样了。 > change master to Master_Log_File='mysql-bin.000226', Master_Log_Pos=884805205; ERROR 1776 (HY000): Parameters MASTER_LOG_FILE, MASTER_LOG_POS, RELAY_LOG_FILE and RELAY_LOG_POS cannot be set when MASTER_AUTO_POSITION is active. > change master to master_host='10.127.0.xxx',master_port =3306,master_user='repl',master_password='xxxx',master_auto_position=1; Query OK, 0 rows affected, 2 warnings (0.51 sec) 然后再次查看发现就开始缩小了日志差距,大概等了十几分钟之后,就追平了日志gap. 同一件事情总是会碰到这样许许多多的小问题,总是让人很操心,不过不总结不会进步啊。

原文发布于微信公众号 - 杨建荣的学习笔记(jianrong-notes)

原文发表时间:2016-03-11

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏C/C++基础

CUDA编译器nvcc的用法用例与问题简答

本文使用nvcc版本:Cuda compilation tools, release 5.5, V5.5.0

15320
来自专栏「3306 Pai」社区

深入理解MySQL 5.7 GTID系列(九):实际案例一

https://mp.weixin.qq.com/s/XSnFkuYzIlGWMaXIl-oPeQ

16400
来自专栏FreeBuf

远程RPC溢出EXP编写实战之MS06-040

0x01 前言 MS06-040算是个比较老的洞了,在当年影响十分之广,基本上Microsoft大部分操作系统都受到了影响,威力不亚于17年爆出的”永恒之蓝”漏...

327100
来自专栏杨建荣的学习笔记

一天内碰到的3个rac节点问题 (r6笔记第36天)

说到问题,真是层出不穷,自己也算搭建了也不少的rac环境的,但是在本地试验的时候总是会碰到一些问题,昨晚铲掉旧环境,搭建了两遍rac环境,终于在凌晨搭建好了环境...

35170
来自专栏Golang语言社区

阅读源代码的姿势:以 go-restful 为例

一般初学者确定一个方向,比如web 后端、前端等,会选择一门编程语言深入下去,比如后端java、python、go等。通过项目不断练习编程语言和编程思维,知道如...

18130
来自专栏大魏分享(微信公众号:david-share)

通过Swagger管理API:API Management学习第一篇

3 Scale有个很好的功能,它提供ActiveDocs实时文档。它基于Swagger框架,提供了一种记录API的方法,并包含在Developer Portal...

13830
来自专栏吉浦迅科技

DAY72:阅读Toolkit Support for Dynamic Parallelism

我们正带领大家开始阅读英文的《CUDA C Programming Guide》,今天是第72天,我们正在讲解CUDA 动态并行,希望在接下来的28天里,您可以...

9310
来自专栏JackieZheng

Spring实战——XML和JavaConfig的混合配置

前言 看了园龄已经两年多了,再不能写完内容直接点击发布,留下一片密密麻麻的文字让别人看的头昏脑涨。所以现在每次写完主要内容后,还需要对于格式稍稍调整下。那么有没...

34260
来自专栏辣子鸡的技术分享

Mybatis自动代码生成器的实现

原博地址https://laboo.top/2018/11/26/a-db/#more

12960
来自专栏游戏杂谈

xcode中嵌入framework(接入快用最新SDK遇到的问题)

但xcode设置中并没有找到Embed Frameworks这个选项,使用以下方式添加

15040

扫码关注云+社区

领取腾讯云代金券