描述: 不管对于那一门编程语言,字符串类型都是及其重要的,所以在学习编程语言后会发现近40%左右都与字符串有关,特别是PHP当然在Linux中的shell脚本开发也同样存在;所以下面主要是字符串搜索命令采用正则匹配的命令,都是在shell编程中比较常用的;
规则描述:在给定时间段内已停用的用户帐户可以自动禁用。建议在密码到期后 30 天内处于非活动状态的帐户被禁用。
日志路径:/usr/local/nginx/logs, 截取access.log中2019年3月24日17点00~02之间的日志: 写法1:
2019年7月10日 ⋅ 浏览量: 2
grep 是一款非常流行的文本搜索工具,它根据正则表达式对文本进行搜索,并输出匹配的行或文本。
天天浏览博客的好处就是可以学习新知识,且可以温习旧知识。 以下内容摘自公众号----一口Linux,在此记录一下。
版权声明:本文为木偶人shaon原创文章,转载请注明原文地址,非常感谢。 https://blog.csdn.net/wh211212/article/details/84866727
下面罗列的这些基本命令,很有用,对于查询线上线下问题都非常有用的,不妨学习一下哈。
来源:科技曼 1、Dos 攻击防范(自动屏蔽攻击 IP) #!/bin/bash DATE=$(date +%d/%b/%Y:%H:%M) LOG_FILE=/usr/local/nginx/logs/demo2.access.log ABNORMAL_IP=$(tail -n5000 $LOG_FILE |grep $DATE |awk '{a[$1]++}END{for(i in a)if(a[i]>10)print i}') for IP in $ABNORMAL_IP; do if [ $(
1、Dos 攻击防范(自动屏蔽攻击 IP)#!/bin/bashDATE=$(date +%d/%b/%Y:%H:%M)LOG_FILE=/usr/local/nginx/logs/demo2.access.logABNORMAL_IP=$(tail -n5000 $LOG_FILE |grep $DATE |awk '{a[$1]++}END{for(i in a)if(a[i]>10)print i}')for IP in $ABNORMAL_IP; do if [ $(iptables -vnL
10.并发从数台机器中获取 hostname,并记录返回信息花 费的时长,重定向到一个文件 hostname.txt 中,在全部 完成后输出花费时长最短的那台机器的 CPU 信息。
在Linux 操作系统中,当应用程序需要读取文件中的数据时,操作系统会先分配一些内存,将数据从磁盘读入到这些内存中,然后再将数据发给应用程序;当需要往文件中写数据时,操作系统先分配内存接收用户数据,然后再将数据从内存写到磁盘上。然而,如果有大量数据需要从磁盘读取到内存或者由内存写入磁盘时,系统的读写性能就变得低下。因为无论是从磁盘读数据,还是写数据到磁盘,都是一个很消耗时间和系统资源的过程。
vmstat是Virtual Meomory Statistics(虚拟内存统计)的缩写, 是实时系统监控工具。该命令通过使用knlist子程序和/dev/kmen伪设备驱动器访问这些数据,输出信息直接打印在屏幕。vmstat反馈的与CPU相关的信息包括:
一、起因 前些日子,张戈在日志备份服务器加入了日志压缩的计划任务(详见服务器日志备份超节省空间的思路),结果发现监控总是发来 tar 的报警,提示存在 tar 进程。仔细检查 history 后发现是
7、查看 2015 年 8 月 16 日 14 时这一个小时内有多少 IP 访问:
在Linux下,使用ipteables来维护IP规则表。要封停或者是解封IP,其实就是在IP规则表中对入站部分的规则进行添加操作。
http://book.open-falcon.org/zh/usage/data-push.html http://book.open-falcon.org/zh/philosophy/tags-and-hostgroup.html https://github.com/GuyCheung/falcon-ngx_metric
【access log 日志分析】#!/bin/bash# 假设格式为: $remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"LOG_FILE=$1echo "统计访问最多的10个IP"awk '{a[$1]++}END{print "UV:",length(a);for(v in a)pr
TCP 三次握手(参考:TCP建立连接之三次握手),第一步,服务端接收到客户端发送的 syn 消息后,将连接信息放入 syns queue,此时,双方连接尚未建立,称之为半连接。
mpstat显示各个可用CPU的状态,主要用于多CPU环境下,它显示各个可用CPU的状态系你想。这些信息存放在/proc/stat文件中。在多CPUs系统里,其不但能查看所有CPU的平均状况信息,而且能够查看特定CPU的信息。
在没有专业日志分析系统的情况下,我们有时需要对日志进行简单的分析,下面列出一些常用的shell命令分析日志的方法,一定要收藏
自己的小网站跑在阿里云的ECS上面,偶尔也去分析分析自己网站服务器日志,看看网站的访问量。看看有没有黑阔搞破坏!于是收集,整理一些服务器日志分析命令,大家可以试试!
运维服务一个项目二十多台(或者多台)服务器,每天要做服务器的性能巡检工作是查看服务器的CPU、内存、磁盘空间是否在正常值范围内。像这样每天或者每个固定时间段都做相同的重复工作,为了简化重复的工作,我写了基于liunx服务器的自动巡检脚本,在crontab中设定一个固定时间进行自动执行即可,以减少人工重复劳动的工作。
mpstat(Multi-Processor Statistics) 命令用于显示各个可用CPU的状态统计。是一个实时监控工具,与vmstat类似,但只能监控CPU的整体性能状态。
mpstat: mpstat 不但能查看所有CPU的平均信息,还能查看指定CPU的信息。
在Linux系统中,sshd是OpenSSH服务的守护进程,负责提供安全的远程登录和文件传输功能。MaxStartups是sshd的一个配置选项,它用于控制并发连接的数量。
在 Linux 下我们通过 top 或者 htop 命令可以看到当前的 CPU 资源利用率,另外在一些监控工具中你可能也遇见过,那么它是如何计算的呢?在 Nodejs 中我们该如何实现?
GPL:(通用公共许可证):一种授权,任何人有权取得、修改、重新发布自由软件的权力。
bzgrep命令用于在.bz2压缩包中搜索符合正则表达式的内容,并将匹配的行输出到标准输出。
2.1正则表达式概述 1.目标: *方便人们处理文本,字符的内容 *方便人们处理有规律的内容 *方便人们使用三剑客,高级语言处理字符 2.应用场景: 通过特殊符号"^ $ .*.* () [] [^] | + ...",表达或匹配有规律的内容 3.举例 匹配手机号 匹配身份证号 2.2正则分类 re (regular expression) 基础正则 bre 扩展正则 ere 1.基础正则符号: ^ $ . * .* ^
本文为joshua317原创文章,转载请注明:转载自joshua317博客 https://www.joshua317.com/article/196
1.解释下什么是GPL,GNU,自由软件? GPL:(通用公共许可证):一种授权,任何人有权取得、修改、重新发布自由软件的权力。 GNU:(革奴计划):目标是创建一套完全自由、开放的的操作系统。 自由软件:是一种可以不受限制地自由使用、复制、研究、修改和分发的软件。主要许可证有GPL和BSD许可证两种。 2.如何选择Linux操作系统版本一般来讲,桌面用户首选Ubuntu;服务器首选RHEL或CentOS,两者中首选CentOS。 根据具体要求: ①安全性要求较高,则选择Debian或者FreeBS
Shell正则表达式 正则表达式普通常用的元字符 . 匹配除了换行符以外的任意单个字符 * 前导字符出现0次或连续多次 .* 任意长度字符 ab.* ^ 行首(以...开头) ^root $ 行尾(以...结尾) bash$ ^$ 空行 [] 匹配括号里任意单个字符或一组单个字符 [abc] [^] 匹配不包含括号里任一单个字符或一组单个字符 [^abc] ^[] 匹配以括号里任意单个字符或一组单个字符开头
正则表达式就是用于匹配每行输入的一种模式,模式是指一串字符序列。拥有强大的字符搜索功能。也非常方便的搜索过滤出我们想要的内容。
补充说明: egrep命令用于在文件内查找指定的字符串。它执行的效果与grep -E相似,使用的语法及参数可参照grep指令。不同之处在于解读字符串的方法。egrep使用的是extended regular expression语法来解读,而grep则使用的是basic regular expression语法解读。extended regular expression比basic regular expression的表达更规范。
链接:https://www.linuxmi.com/linux-zhengzebiaodashi.html
1.理清思路:在我们想实现一个功能需要写脚本的时候是切忌不要想到就写,避免需要什么功能就先写个什么命令再去完善,这种写法常常会出现在结构上很难调整的问题。在我们开始写脚本之前一定要事先理清楚要怎么去实现这个功能,包括用什么命令和命令的先后顺序。
测试环境有一个后台服务,部署在内网服务器A上(无外网地址),给app提供接口。app访问这个后台服务时,ip地址是公网地址,那这个请求是如何到达我们的内网服务器A呢,这块我咨询了网络同事,我画了简图如下:
源由:多个图片服务器图片有差异,可能会出现访问某一台服务器出现404,现在需要不管怎样访问都能访问到。
通常遇到此问题可能原因 第一、并发较大刷磁盘频繁 一般此问题不会造成io util 90%以上。如果事物较大或者并发较大,slow log会有记录,我们可以先看下当前线程连接情况,再结合slow log查看是哪些sql导致。 第二、Raid卡电池处于充放电阶段或者损坏 io util 90%以上,很大几率是硬件问题导致,我们可以通过如下命令检查,除HP服务器外其他采用MegaCli查看硬件信息,HP采用自带hpssacli命令查看,切记不要使用老命令hpacucli,此命令会导致部分HP型号
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
最近在给学生讲Linux下的常规命令的时候,有学生问过,windows下,无论是检查日志,还是扫描webshell,都有现成的工具使用,毕竟可视化,干啥也方便,Linux下比较麻烦,客户不让装这个,不让装那个,有些特殊情况下,服务器连个Python环境又没有,用perl写吧,还比较麻烦。
本文讲述了一位技术社区的内容编辑人员,根据用户需求,编写了一个能够从日志文件中筛选出指定时间段内的日志,并将其输出到指定文件的shell脚本。该脚本在mac系统上运行,可以兼容bash和sh。但是,该脚本存在效率问题,需要改进。改进后的脚本使用while循环和cut命令,提高了运行效率。
最近碰到一个client端连接异常问题,然后定位分析并查阅各种资料文章,对TCP连接队列有个深入的理解 查资料过程中发现没有文章把这两个队列以及怎么观察他们的指标说清楚,希望通过这篇文章能把他们说清楚一点 问题描述 JAVA的client和server,使用socket通信。server使用NIO。 间歇性的出现client向server建立连接三次握手已经完成,但server的selector没有响应到这连接。 出问题的时间点,会同时有很多连接出现这个问题。 selector没有销毁重建,一直用的都是一
本文主要介绍了Linux系统下文件操作和文件管理的一些知识点,包括Linux文件系统、文件权限、文件所有者、文件访问控制、文件搜索、文件压缩与归档、文件备份与恢复、Linux系统日志、Linux系统启动与关闭、Linux系统启动原理、Linux系统升级、Linux系统硬件监控、Linux系统软件管理、Linux系统网络管理、Linux系统安全与防御、Linux系统故障排除和调试等。本文旨在帮助读者掌握Linux系统下的文件操作和文件管理,提高工作效率和安全性。"
egrep 是 Linux 系统中的一个强大的文本搜索工具,用于在文件中查找匹配指定模式的行。它支持使用正则表达式进行高级模式匹配,提供了灵活和强大的文本搜索功能。
整理了一些常用的web日志分析及Linux网络连接状态等shell命令,建议收藏!!!
领取专属 10元无门槛券
手把手带您无忧上云