Linux进程数超过了设置的最大进程数。会对系统进行资源限制，所以分配给ssh进程的资源时有时无，一些命令的bash进程会被杀调，以保证系统进程不超过设置的最大进程数，无法正常执行。即下面的第一个输出要远远小与第二个和第三个输出。如果有些接近就会出现这种问题
前阵子，Infra报告无法透过putty以及SecureCRT连接到数据库服务器，提示的错误为Resource temporarily unavailable。由于该服务器上有差不多有20个nstance，应该是超出了系统当前设置的值。关于超出资源限制的事之前有碰到过，只不过不是这个错误，而是open files: cannot modify limit: Operation not permitted。下面描述一下关于Resource temporarily unavailable这个错误及其相关信息。
执行命令：ulimit -a即可查看当前Linux操作系统的最大进程数、最大文件数 示例：
说明： 这篇是网上看到的有关修改 max user processes limits，觉得还可以，就保留了下来！稍微加了点东西 具体： 最近新上了一批服务器，内核升级到了 2.6.32 版本，部署完 MySQL 实例后上到线上，直接负载冲到 15，cpu 使用达到 700%。
在Linux上面kettle-spoon启动问题 文件大小限制问题 修改此文件 /etc/security/limits.conf * soft nofile 327680 * hard nofil
本文解决的是Dubbo的线程模型中Linux 用户线程数限制导致的 java.lang.OutOfMemoryError: unable to create new native thread 异常。
运维系统调优的过程中，必然会遇到的一个问题就是资源限制，在linux中，ulimit命令是用于控制shell程序的资源限制，它是linux的shell内建指令(可以用type命令查看命令是内建还是外部)
本文介绍了如何使用 Elasticsearch、Logstash、Kibana（ELK）技术栈进行日志搜索和分析。首先介绍了 ELK 技术栈的基本概念，然后通过一个简单的实例展示了如何使用 ELK 进行日志搜索和分析。最后，提供了一些常见问题和解决方案。
日常我们开发时，我们会遇到各种各样的奇奇怪怪的问题（踩坑o(╯□╰)o），这个常见问题系列就是我日常遇到的一些问题的记录文章系列，这里整理汇总后分享给大家，让其还在深坑中的小伙伴有绳索能爬出来。 同时在这里也欢迎大家把自己遇到的问题留言或私信给我，我看看其能否给大家解决。
最近测试环境的连接数老是不够用，session/process 都相应的从5000提到了8000，但还是不够，而且还是不断有新环境需要增加。最后根据评估，session数需要50000左右 根据粗略的计算来说,process也需要调整，按照如下的公式. sessions=(1.1*process+5) 把semmns做了大幅度的调整,从32000调到了70000 > cat /proc/sys/kernel/sem 250 32000 100 256 > sysctl -a |grep
为了优化linux性能，可能需要修改这个最大值。临时修改的话ulimit -n 204800就可以了，重启后失效。
Elasticsearch官网： https://www.elastic.co/products/elasticsearch
结合上面的异常信息，我们可以知道dispatcher的默认配置值为all（AllChannelHandler来处理消息请求），因为测试环境上部署了好几个应用，如果每个应用都占用了500个线程，那Linux机器中默认配置的线程数是不够用的，所以就导致java.lang.OutOfMemoryError: unable to create new native thread
hs_err_pid这种文件，是JVM出现错误时dump下来的。记录了错误发生当时： 1）JVM的状态参数 2）Linux的状态参数 就以下面的文件为例： # # There is insufficient memory for the Java Runtime Environment to continue. # Cannot create GC thread. Out of system resources. # Possible reasons: # The system is out of p
首先需要安装交叉编译工具链，可以用apt安装riscv64的gcc编译工具链。我是自己编译了一个musl-gcc,下载：
linux 中为了防止进程恶意使用资源，系统使用 ulimit 来限制进程的资源使用情况（包括文件描述符，线程数，内存大小等）。同样地在容器化场景中，需要限制其系统资源的使用量。
对于第二条错误同意需要切换到root用户，进入limits.d目录下修改配置文件。
将es的安装包下载并上传到服务器的/user/local/es路径下，然后进行解压 使用tlbaiqi用户来执行以下操作，将es安装包上传到指定服务器，并使用es用户执行以下命令解压。
Elasticsearch 就不过多介绍了，可以自行百度或者查看上一篇文章《windows10安装ElasticSearch》
本文主要描述了在Oracle Linux 6.3下安装Oracle 11gR2(11.2.0.3)。从Oracle 11g开始，Oracle官方网站不再提供其Patch的下载链接，需要使用Meatlink账户才可以进行下载。童鞋们不要着急，没有Metalink账户的也可以自己百度一下，网上有很多下载链接，迅雷就可以搞定了。Oracle 11.2.0.3整合为7个zip压缩包，如果仅仅是安装Oracle Database，下载1至2.zip包即可。下面是其安装步骤。
在上一章节中，我们在一个节点上快速构建了一个ES集群，方便我们快速入门。但是实际生产应用中，我们都会根据公司实际的生产情况，比如公司业务日志的数据量、平台的数据访问量去选择我们服务器节点的配置。那么关于节点的配置这块，这里先不做过多讲解。腾云ES服务提供了各种场景下的套餐，用户可以非常方便的选择适合自己的产品。后续我将陆续给出我的建议。
JAVA_HOME=/usr/javajdk1.8.0_151 JRE_HOME=/usr/java/jdk1.8.0_151/jre CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作，ulimit 是我们在处理这些问题时，经常使用的一种简单手段。ulimit 是一种 linux 系统的内键功能，它具有一套参数集，用于为由它生成的 shell 进程及其子进程的资源使用设置限制。
passwd 密码。如给刚才创建esuser创建密码为123456.命令：passwd 123456
下载Elasticsearch-7.3.2-linux-x86_64.tar.gz Elasticsearch下载地址： https://www.elastic.co/cn/downloads/elasticsearch Elasticsearch-head+node+grunt下载地址： https://download.csdn.net/download/zhengzaifeidelushang/11851790
原文标题：Setting up a Deep Learning Machine from Scratch (Software) 原文链接：https://github.com/saiprashanths/dl-setup 译者：刘翔宇 审校：赵屹华 责编：周建丁（zhoujd@csdn.net） 这是一篇为机器搭建深度学习研究环境的详细指南，包括驱动程序、工具和各种深度学习框架的安装指导。在64位Ubuntu 14.04的机器上使用Nvidia Titan X进行测试。 还有一些有类似目的的指南。一些内
新特性 支持lucence 6.x：索引性能提升 新增sliced scroll类型：并发遍历 新增profile API：查询优化 新增reindex：对数据进行重建 新增ingest节点 磁盘空间少一半；索引时间少一半；查询性能提升25%；IPV6也支持了 为什么快，底层使用的是Block k-d trees，核心思想是将数字类型编码成定长的字节数组，对定长的字节数组内容进行编码排序，然后来构建二叉树，然后依次递归构建，目前底层支持8个维度和最多每个维度16个字节，基本满足大部分场景。 等等 安装j
这时候applications目录里会多个elasticsearch-7.8.0文件夹，如果嫌名字长，可以改了：
下载地址：https://www.elastic.co/cn/downloads/elasticsearch
某日，朋友跟我讨论他巡检oracle数据库时遇到的一个情况，在使用root用户切换grid用户时报错-bash: fork: retry: Resource temporarily unavailable，一般这个报错都是因为/etc/security/limits.conf或/etc/security/limits.d/下相关用户nproc设置过小导致，但是定位一波三折，最终了解清楚了nproc参数生成、限制，将案例详细分享，供大家参考。
1. 下载 ES 安装包 地址：https://www.elastic.co/cn/downloads/elasticsearch（以 7.8.1 为例） 2. 解压安装包 tar -zxvf ./elasticsearch-7.8.1.tar.gz 3. 修改 Linux 系统限制配置，将文件创建数修改为65536个。 1. 修改系统中允许应用最多创建多少文件等的限制权限。Linux默认来说，一般限制应用最多创建的文件是65535个。但是ES至少需要65536的文件创建数的权限。 2. 修改系统中允许用户
1、threads-max (/proc/sys/kernel/threads_max)
方法 1 - 检查 CPU 信息使用 `lscpu` 方法 2 - 在 Linux 中使用`/proc/cpuinfo`文件查找 CPU 信息 方法 3 - 查看处理器信息使用 `lshw` 方法 4 - 使用获取处理器详细信息 `dmidecode` 方法 5 - 查看 CPU 信息使用 `inxi` 方法 6 - 使用打印 CPU 信息 `hardinfo` 方法 7 - 使用 `hwinfo` 方法 8 - 使用 `cpuid` 方法 9 - 使用 `nproc` 方法 10 - 使用 `hwloc`
链接: https://pan.baidu.com/s/1W1Bc6GYuwgzNG0uW6i2__w
无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优：
修改最大连接数 6、配置开机启动项 保留5个必须：sshd|rsyslog|network|crond|sysstat sshd 远程连接Linux服务器时需要用到这个服务器程序,所以必须要开启,否则将无法连接Linux服务器。 rsyslog 是操作系统提供的一种机制,系统的守护程序通常会使用rsyslog将各种信息记录系统日志文件中,Centos6以前服务器的名字为syslog network 系统启动时,若想激活/关闭各个网络接口,则应(必须)考虑开启。 crond 该服务用于周期性地执行系统及用户配置的任务计划。有要周期性执行的任务，任要开启,此服务几乎是生产场景必须要用的一个软件。 sysstat sysstat是一个软件包,包含检测系统性能及效率的一组工具,这些工具对于系统性能数据很有帮助,比如CPU使用率,硬盘和网络吞吐数据等,这些数据的分析,有利于判断系统运行是否正常,所以它是提高系统运行效率、安全运行服务器的助手。 [root@localhost ~]# for i in `chkconfig --list|grep 3:on|grep -Ev "sysstat|sshd|rsyslog|crond|network"|awk '{print
（一）准备工作 1、准备几台机器 10.1.51.100 ambariserver 本地mirrorserver及ambari server都在这一台机器 10.1.51.10 master 10.1.51.11 slave1 10.1.51.12 slave2 2、都创建管理用户hadoop 3、做ssh免密码登录(ambariserver到其他机器的，hadoop用户) ssh-keygen cd .ssh cat id_rsa.pub >> authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys 注意，免密码一定要互相登陆一次，让他记住密码 4、设置sudo免密码(hadoop用户)---后续所有操作都在hadoop用户下去做 在各节点上进入root: visudo 加入如下内容： hadoop ALL=(ALL) NOPASSWD: ALL 5、Maximum Open File Descriptors(10000) 检查语句 ulimit -Sn ulimit -Hn sudo vi /etc/security/limits.conf @hadoop soft nproc 262144 @hadoop hard nproc 262144 @hadoop soft nofile 262144 @hadoop hard nofile 262144 sudo vi /etc/security/limits.d/90-nproc.conf @hadoop soft nproc 262144 以上改动重启才能生效，最好同时执行ulimit -u 10240 命令，是其立即生效。（ulimit 命令很多啊） 6、Check Existing Package Versions 7、Set up Service User Accounts(设置服务用户账户) http://docs.hortonworks.com/HDPDocuments/Ambari-2.0.0.0/Ambari_Doc_Suite/ADS_v200.html#ref-70627b43-7d78-4cbb-8df8-e3f43cbd8422 hdp的各个服务运行在不同的linux账户下，如果你创建了这些账户，ambari就会直接用，否则他会自动创建，但是自动创建的用户不知道密码是什么，但是还是可以 sudo su hdfs进入到这些用户下，不过这样就不方便了。 比较好的办法是自己创建的账户，使用ambari安装组件时选择自定义账户即可(UID >= 1000)。 8、Enable NTP on the Cluster and on the Browser Host 集群各节点，包括安装ambari webui的机器都得开启ntp服务已同步时间，如果有条件，局域网应该有ntp服务器 To check that the NTP service is on, run the following command on each host:chkconfig --list ntpd To set the NTP service to start on reboot, run the following command on each host:chkconfig ntpd on To turn on the NTP service, run the following command on each host:service ntpd start 9、Check DNS(可以选择10) 集群所有机器必须配置正向和反向DNS,如果条件不允许，就设置/etc/hosts文件，每个节点都得改 10、/etc/hosts 1.2.3.4 <fully.qualified.domain.name> //一行一个 注意：这两行千万不要删除 127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6 vi /etc/sysconfig/network NETWORKING=yesNETWORKING_IPV6=yes HOSTNAME=<fully.qualified.domain.name> 11、关闭防火墙 12、Disable SELinux and PackageKit and check the umask Value set SELINUX=disabled in /etc/selinux/config sudo vi /etc/yum/pluginconf.d/refresh-packagekit.conf 设置：enabled=0 Ambari supports a umask value
ELK架构为数据分布式存储、可视化查询和日志解析创建了一个功能强大的管理链。三者相互配合，取长补短，共同完成分布式大数据处理工作。
linux资源限制配置文件是/etc/security/limits.conf；限制用户进程的数量对于linux系统的稳定性非常重要。 limits.conf文件限制着用户可以使用的最大文件数，最大线程，最大内存等资源使用量。
PS：可以监听当前服务器的流量。电脑配置至少4G内存，ES默认是2G的内存，目前是使用的伪分布式的方式，多台电脑也是这样的。
第一次听到fork炸弹这种东西的时候以为是一个很神奇的破坏力惊人的高能脚本，然而稍微深入的了解了一下才发现这个玩意其实是个挺简单纯粹的东西，只是被一个叫Jaromil的家伙对他的精美包装给戏耍了。他在2002年给出了Linux下fork炸弹的最经典的形式： myths@myths-X450LD:~$ :(){ :|:& };: 一段非常忽悠人的代码，只有１３个字母，乍一看完全看不懂。。但其实这个代码的思路非常简单，就是递归的开一个新的进程，不断的开不断的开，直到操作系统崩溃。中招后唯一的解决办法就是拔电源重启。
最近使用tikv作为nosql存储，发现有很多坑，很多工具都不是很完善；不想折腾；于是换成了mongodb，mongodb部署记录如下，进行备忘：
ES不能使用root用户来启动，必须使用普通用户来安装启动。这里我们创建一个普通用户以及定义一些常规目录用于存放我们的数据文件以及安装包等。
Logstash的运行依赖于Java运行环境， Logstash 1.5以上不低于java 7推荐使用最新版本的Java。由于只是运行Java程序，而不是开发，下载JRE即可。
服务器环境使用root账户运行应用程序是非常危险的，容易让人拿到shell变成肉鸡。所以有点意识的团队，都会建立一个低权限的普通用户用来运行java程序。
wrk 是一个能够在单个多核 CPU 上产生显著负载的现代 HTTP 基准测试工具。它采用了多线程设计，并使用了像 epoll 和 kqueue 这样的可扩展事件通知机制。此外，用户可以指定 LuaJIT 脚本来完成 HTTP 请求生成、响应处理和自定义报告等功能。
今天长沙出了个通知——《关于做好常态化便民新冠病毒核酸检测工作的通知》，规定以7天为一个周期至少完成一次核酸检测。这边建议大家做核酸排队的时候别玩手机，可以闭目养神，把本来用于休息的时间来尝试编译一下Paddle。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
