sed、awk——运维必须掌握的两个工具

今天主要跟大家介绍2个非常霸道的工具,sed和awk,本篇文章将介绍这两个工具在日常运维中的常用用法,工作中这两个工具要掌握好了在结合一些管道命令、正则表达式,日常处理事务简直666啦!

l Sed

1.强大的地方

擅长对数据行进行处理,sed是一种流编辑器,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。利用sed命令可以将数据行进行替换、删除、新增、选取等特定工作。

动作说明: [n1[,n2]] function n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为]

Function一般有以下参数:

a:新增,后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行)

c: 替换,后面可以接字符串,这些字符串可以替换 n1,n2 之间的行

d:删除

i:插入,后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行)

p:打印,将某个选择的数据打印出来。通常跟参数-n 一起运行

s:替换,用一个字符串替换另一个,注意与c参数的区别

3.举例 我们用/ etc/passwd文件来演示,先来看看sed不加参数跟加上-n参数是怎样的

看上图明白选项一栏-n参数后面的解释意思了吧,不加参数是输出了文件所有信息并且多打印了第一行的数据,加上-n参数就只打印了第一行的数据,1p就是打印第一行,2p;4,10p就是打印第2行以及第4-10行啦

删除第1-10行,留意行号变化

删除第1行,第10行,留意行号变化

将passwd文件中包含/sbin/nologin替换为/bin/bash并打印输出

将passwd文件中第2行的数据替换为test,注意到与s参数的区别了吧

在passwd文件第二行新增test字符串

在passwd文件第二行插入test字符串

删除passwd文件的第三行至末尾行

l Awk

1.强大的地方

擅长对数据列进行处理,就是把数据逐行的读入,以空格为默认分隔符再将每行切断,对切断的部分再进行分析处理。

3.举例

我们还是以/etc/passwd 文件为例。以:为分隔符,打印passwd 文件中每行用户名称user($1)及用户uid($3)。补充:$0代表一整行数据的意思

打印passwd文件中uid>=500 的用户名称及UID

打印passwd每一行的数据,并以:为分隔符计算每行的字符总数打印在每行数据的末尾

打印passwd文件中以:为分隔符第三个字段即UID>=500的数据所在行号

想想日常工作中如何要获取文件中第几行第几列的数据应该如何操作,如打印passwd文件中第一行与最后一行第一列的数据,sed跟awk结合使用啦。

总结:关于sed跟awk日常要用到的用法就说到这里啦,从事运维的同事一定要熟练运用这两个工具哦,特别是需要经常做数据汇报的,能减轻很大工作量。

原文发布于微信公众号 - IT技术精选文摘(ITHK01)

原文发表时间:2018-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏技术随笔

Bufbomb缓冲区溢出攻击实验详解-CSAPP

6558
来自专栏技术专栏

Scala入门与进阶(一)- 初始Scala

1152
来自专栏开发技术

spring-boot-2.0.3不一样系列之源码篇 - SpringApplication的run方法(一)之SpringApplicationRunListener,绝对有值得你看的地方

  Springboot启动源码系列还只写了一篇,已经过去一周,又到了每周一更的时间了(是不是很熟悉?),大家有没有很期待了?我会尽量保证启动源码系列每周一更,...

1852
来自专栏哲学驱动设计

巧用拦截器:高效的扩展点设计

最近在设计框架时,需要设计一类扩展点,发现不能简单地继承或使用事件来给使用者提供 API。最终使用拦截器模式解决了 API 的设计。 扩展点使用场景 ...

21110
来自专栏极客编程

Nodejs和Mongodb的连接器Mongoose

今天我们将学习Mongoose,什么是Mongoose呢,它于MongoDB又是什么关系呢,它可以用来做什么呢,介绍Mongoose之前,我们先简单了解一下Mo...

1744
来自专栏编程

代码生成利器:IDEA 强大的 Live Templates

文章转自:http://blog.xiaohansong.com/2017/03/17/idea-live-templates/ 前言 Java 开发过程经常需...

4575
来自专栏CDA数据分析师

不能不懂的 Python 7大功能和特点

在使用Python多年以后,我偶然发现了一些我们过去不知道的功能和特性。一些可以说是非常有用,但却没有充分利用。考虑到这一点,我编辑了一些你应该了解的Pytho...

1958
来自专栏微信公众号:Java团长

Java虚拟机:Java内存区域及对象

为以后写文章考虑,也为巩固自己的知识和一些基本概念,这里要理清楚几个计算机中的概念。

1242
来自专栏熊二哥

Python快速入门

最近在很多地方都可以看到Python的身影,尤其在人工智能等科学领域,其丰富的科学计算等方面类库无比强大。很多身边的哥们也提到Python非常的简洁方便,比如用...

31010
来自专栏漏斗社区

工具| 关于Python线程和队列使用的小思考

斗哥采访环节 (1). 请问为什么要使用线程? 答:为了提高程序速度,代码效率呀。 (2). 请问为什么要使用队列? 答:个人认为队列可以保证线程安全,实...

3666

扫码关注云+社区

领取腾讯云代金券