前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >磁盘dismount,导致crs无法启动

磁盘dismount,导致crs无法启动

作者头像
企鹅号小编
发布2018-01-08 14:38:09
8740
发布2018-01-08 14:38:09
举报
文章被收录于专栏:数据库

一、故障现象

无法连接rac数据库,客户端连接提示无监听程序,进入主机查看集群状态crsctl stat res –t命令无法使用,提示

CRS-4535: Cannot communicate with ClusterReady Services

CRS-4000: Command Status failed, orcompleted with errors.

两个节点都提示这个错误

二、解决过程

查看上边的报错,基本可以判断是oracle的集群服务出现了问题

1、 查看alert日志

发现两个节点的日志都提示有与磁盘的同步I/O操作失败,初步判断是asm磁盘问题

alert_ehr1.log

alert_ehr2.log

2、查看asm日志

发现两个节点中都提示有arch_dg磁盘组被强制dismount了,arch_dg磁盘组放置了归档日志,flashback空间(存储了控制文件,在线日志的镜像),没有了共享磁盘,导致数据库异常

alert_+ASM1.log

alert_+ASM2.log

alertwsptrac1.log

alertwsptrac2.log

3、处理问题

磁盘组dismount了,那就手工mount

使用grid用户登录系统

sqlplus / as sysasm

select name, state, total_mb, free_mb fromv$asm_diskgroup;

都是dismount状态的

手工mount

alter diskgroup xxx mount;

select name, state, total_mb, free_mb fromv$asm_diskgroup;

磁盘组状态都是mount的了,然后重启crs

使用root用户

crsctl start crs

无法启动此命令,使用如下命令

crsctl start res ora.crsd -init

提示已经在节点上启动成功,但是使用crsctl stat res –t命令还是提示

CRS-4535: Cannot communicate with ClusterReady Services

CRS-4000: Command Status failed, orcompleted with errors

尝试关闭crs,重新启动

crsctl stop crs

crsctl start res ora.crsd -init

关闭正常,启动正常,但是使用crsctl stat res –t命令还是提示上边问题,尝试强制停止,重新启动

crsctl stop crs –f

crsctl start res ora.crsd -init

还是提示上边问题,重新整理思路,重新过一遍看还是否有遗漏的地方,检查是否是asm磁盘组没有mount好,造成的crs无法启动,然后查看资源状态

crsctl stat res –t –init

可以查看所有资源除了ora.crsd状态是offline的,其他都是online的,判断crs还有其他问题

4、检查crs的日志

检查crs的日志发现如下提示,检查ocr信息

ocrcheck

发现检查失败,至此原因清楚了,是crs信息异常,造成了crs启动异常

crsd.log

5、恢复crs

在2节点的grid的$ORACLE_HOME/cdata/目录下边,找到最新一次的备份进行还原

ocrconfig –restore

还原后重启crs,启动正常,数据库恢复正常

三、总结

1.备份重于一切

2.OCR记录的是节点成员的配置信息,如数据库、ASM、实例、监听器、VIP等CRS资源的配置信息。CRS进程管理的信息来自OCR的内容。Oracle自动4个小时,1天,1周备份

3.造成arch_dg磁盘组dismount的原因还在查找,初步怀疑是磁盘空间不足造成了问题,这个库前一天归档日志满了,arch_dg磁盘组还剩1G大小,手工删除了归档日志,可用容增加到300G

4.手工删除归档日志

grid用户登录系统,使用asmcmd工具管理磁盘

asmcmd

lsdg

cd到归档日志目录

rm –rf 日志

使用rman验证一下归档日志是否可用,否则rman备份有可能无法正常备份

rman target /

crosscheck archivelog all

list expired archivelog all

本文来自企鹅号 - abaoDiary媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文来自企鹅号 - abaoDiary媒体

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
对象存储
对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档