Shell Limits设置问题导致用户不能登录

|  故障现象

前几天,突然间某数据库主机不能su切换到grid用户。

发生故障的环境为:RHEL 6.7,ORACLE 11gR2 RAC,其中集群节点1发生此故障,而节点2状态正常。

故障现象如下:

本地节点从oracle用户su到grid用户,错误如下:
[oracle@node1 /home/oracle]$su - grid
su: cannot set user id: Resource temporarily unavailable
通过集群中的另外一个节点错误提示如下:
[grid@node2:/home/grid]$ssh node1
Write failed: Broken pipe
[oracle@node2:/home/oracle]$ssh node1
Last login: Thu May 10 12:28:22 CST 2018
而oracle用户正常
通过远程连接工具使用grid用户登录错误提示如下:
Connection closed by foreign host.
/var/log/secure报错如下:
su: pam_keyinit(su-l:session): Unable to change UID to 500 temporarily
su: pam_keyinit(su-l:session): Unable to change UID to 500 temporarily

| 故障分析

参考MOS文档号:1174073.1,可能是limits设置不合理导致的,而Shell Limits会限制用户资源的使用。

同时根据文档788064.1,进行如下步骤诊断:

1. 查看集群状态,数据库状态以及相关日志信息。

检查结果:除了上述现象外,集群状态正常,数据库告警日志此段时间内没有任何错误,数据库中也没有发现异常的等待,客户的业务也正常。

2. 查看用户的进程数。

[oracle@node1 /home/oracle]#ps -u grid -L |wc -l
1560

3. 查看用户打开文件数。

[oracle@node1 /home/oracle]$ lsof -u grid | wc -l
4000

上述结果表明:当前环境中打开文件数较多,而通过检查用户的进程,并没有发现有异常的程序。那极有可能就是设置的limits过小导致。

4. 检查/etc/security/limits.conf,查看grid用户的nproc和nofile设置。

[grid@node1 /home/oracle]$cat /etc/security/limits.conf
# /etc/security/limits.conf
#
#Each line describes a limit for a user in the form:
#
#<domain>        <type>  <item>  <value>
#
#Where:
#<domain> can be:
#        - an user name
#        - a group name, with @group syntax
#        - the wildcard *, for default entry
#        - the wildcard %, can be also used with %group syntax,
#                 for maxlogin limit
#
#<type> can have the two values:
#        - "soft" for enforcing the soft limits
#        - "hard" for enforcing hard limits
#
#<item> can be one of the following:
#        - core - limits the core file size (KB)
#        - data - max data size (KB)
#        - fsize - maximum filesize (KB)
#        - memlock - max locked-in-memory address space (KB)
#        - nofile - max number of open files
#        - rss - max resident set size (KB)
#        - stack - max stack size (KB)
#        - cpu - max CPU time (MIN)
#        - nproc - max number of processes
#        - as - address space limit (KB)
#        - maxlogins - max number of logins for this user
#        - maxsyslogins - max number of logins on the system
#        - priority - the priority to run user process with
#        - locks - max number of file locks the user can hold
#        - sigpending - max number of pending signals
#        - msgqueue - max memory used by POSIX message queues (bytes)
#        - nice - max nice priority allowed to raise to values: [-20, 19]
#        - rtprio - max realtime priority
#
#<domain>      <type>  <item>         <value>
grid        soft        nproc   2048
grid        hard    nproc   4096
grid        soft        nofile  2048
grid        hard    nofile  4096
……

/etc/security/limits.conf文件为每个用户设置系统资源的限制。从以上输出:从该设置和结合之前查询结果来看,当前nproc和nofile这两个值设置得太小。这两个参数设置除需参照Oracle建议值外还需考虑是否符合实际环境。

|  解决方案

根据上述分析中得出:由于设置的nproc和nofile值太小而导致,因此需要修改这两个值。

1.手动修改/etc/security/limits.conf中的设置。

这两个值设置参考系统本身的资源情况以及业务情况。因此暂定该环境修改值如下:

[grid@node1 /home/oracle]$cat /etc/security/limits.conf
grid        soft        nproc   16384
grid        hard    nproc   16384
grid        soft        nofile  16384
grid        hard    nofile  16384

注:可以使用官方提供的oracle-validated包来修改/etc/security/limits.conf,这个包提供修改内核参数,用户limits等。该RPM包可以从http://oss.oracle.com网站获取。如果是运行在OL6/RHEL6中的Oracle database 11gR2该包名被替换为 oracle-rdbms-server-11gR2-preinstall。

2.检查故障是否存在。

[oreacl@node1 /home/oracle]#su – grid
Password:
Last login: Thu May 10 13:28:22 CST 2018

通过oracle用户再次切换到grid用户时恢复正常。

3.查看用户limits。

[grid@node1:/home/grid] $ ulimit -Su
16384
[grid@node1:/home/grid] $ ulimit -Hu
16384
[grid@node1:/home/grid] $ ulimit –Sn
16384
[grid@node1:/home/grid] $ ulimit -Hn
16384

修改之后grid用户的nproc和nofile为最新值。

4.附录:当达到其他limits设置时出现的不同错误。

 A. 当达到’open files’限制时错误。

[oracle@node1 /home/oracle]$ssh node1
oracle@node1's password:
-bash: ulimit: max user processes: cannot modify limit: Operation not permitted
-bash: /home/oracle/.bash_profile: Too many open files

B.当达到’max user processes’限制时错误。

[oracle@node1 /home/oracle]$ssh oracle@node1
oracle@node1's password:
-bash: ulimit: open files: cannot modify limit: Operation not permitted
-bash: fork: Resource temporarily unavailable

|  作者简介

杨波,沃趣科技数据库技术专家 主要参与公司产品实施、测试、维护以及优化。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏郭霖

Android Studio新功能解析,你真的了解Instant Run吗?

本篇文章首发于我的微信公众号,由于网上讲解Android Studio中Instant Run功能的文章实在是太少了,为了让更多人可以了解这个技术,我将这篇文...

2048
来自专栏lgp20151222

傻瓜式的go modules的讲解和代码

国内关于gomod的文章,哪怕是使用了百度 -csdn,依然全是理论,虽然golang的使用者大多是大神但是也有像我这样的的弱鸡是不是?

3812
来自专栏杨建荣的学习笔记

MySQL 5.6, 5.7并行复制测试(r12笔记第9天)

对于主从延迟,其实一直以来就是一个颇有争议的话题,在MySQL阵营中,如果容忍一定的延迟的场景,通过主从来达到读写分离是个很不错的方案,但是延迟率到底有多...

4008
来自专栏EAWorld

微服务之服务调用与安全控制

近年来,大多数企业IT软件均在向微服务架构转型,由于微服务架构采用了更细粒度的分布式拆分,对于服务调用安全方面的问题更复杂,更需要重视,需要整体的系统化解决方案...

963
来自专栏CSDN技术头条

Java 程序如何正确地打日志

我们 Java 程序员在开发项目时都是依赖 Eclipse/ Idea 等开发工具的 Debug 调试功能来跟踪解决 Bug,在开发环境可以这么做,但项目发布到...

1073
来自专栏磨磨谈

如何避免Cephfs被完全毁掉

一套系统的最低要求是可恢复,也就是数据不丢失,但是在各种各样的原因下,整套系统都有被毁掉的可能,一直以来有个观点就是存储是需要两套的,一般情况下很难实现,但是如...

2011
来自专栏做全栈攻城狮

Python教程:操作数据库,MySql的安装详解

本教程是基于Python语言的深入学习。本次主要介绍MySql数据库软件的安装。不限制语言语法,对MySql数据库安装有疑惑的各位同仁都可以查看一下。

1032
来自专栏架构师小秘圈

微服务架构实施原理

2243
来自专栏ChaMd5安全团队

【荐】Web Application Penetration Testing中文译作

(英文原版地址:https://www.exploit-db.com/docs/english/44319-web-application-security-t...

1314
来自专栏企鹅号快讯

MITM6:用IPv6攻陷IPv4网络的工具

随着IPv6概念的提出,互联网上针对IPv6协议的使用也日渐增多,但即便如此IPv6在公司内部却并不受欢迎,很少会有公司使用IPv6。然而,大多数公司可能都忽略...

3167

扫码关注云+社区