sed、awk——运维必须掌握的两个工具

今天主要跟大家介绍2个非常霸道的工具,sed和awk,本篇文章将介绍这两个工具在日常运维中的常用用法,工作中这两个工具要掌握好了在结合一些管道命令、正则表达式,日常处理事务简直666啦!

l Sed

1.强大的地方

擅长对数据行进行处理,sed是一种流编辑器,处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。接着处理下一行,这样不断重复,直到文件末尾。文件内容并没有改变,除非你使用重定向存储输出。利用sed命令可以将数据行进行替换、删除、新增、选取等特定工作。

动作说明: [n1[,n2]] function n1, n2 :不见得会存在,一般代表『选择进行动作的行数』,举例来说,如果我的动作是需要在 10 到 20 行之间进行的,则『 10,20[动作行为]

Function一般有以下参数:

a:新增,后面可以接字符串,而这些字符串会在新的一行出现(目前的下一行)

c: 替换,后面可以接字符串,这些字符串可以替换 n1,n2 之间的行

d:删除

i:插入,后面可以接字符串,而这些字符串会在新的一行出现(目前的上一行)

p:打印,将某个选择的数据打印出来。通常跟参数-n 一起运行

s:替换,用一个字符串替换另一个,注意与c参数的区别

3.举例 我们用/ etc/passwd文件来演示,先来看看sed不加参数跟加上-n参数是怎样的

看上图明白选项一栏-n参数后面的解释意思了吧,不加参数是输出了文件所有信息并且多打印了第一行的数据,加上-n参数就只打印了第一行的数据,1p就是打印第一行,2p;4,10p就是打印第2行以及第4-10行啦

删除第1-10行,留意行号变化

删除第1行,第10行,留意行号变化

将passwd文件中包含/sbin/nologin替换为/bin/bash并打印输出

将passwd文件中第2行的数据替换为test,注意到与s参数的区别了吧

在passwd文件第二行新增test字符串

在passwd文件第二行插入test字符串

删除passwd文件的第三行至末尾行

l Awk

1.强大的地方

擅长对数据列进行处理,就是把数据逐行的读入,以空格为默认分隔符再将每行切断,对切断的部分再进行分析处理。

3.举例

我们还是以/etc/passwd 文件为例。以:为分隔符,打印passwd 文件中每行用户名称user($1)及用户uid($3)。补充:$0代表一整行数据的意思

打印passwd文件中uid>=500 的用户名称及UID

打印passwd每一行的数据,并以:为分隔符计算每行的字符总数打印在每行数据的末尾

打印passwd文件中以:为分隔符第三个字段即UID>=500的数据所在行号

想想日常工作中如何要获取文件中第几行第几列的数据应该如何操作,如打印passwd文件中第一行与最后一行第一列的数据,sed跟awk结合使用啦。

总结:关于sed跟awk日常要用到的用法就说到这里啦,从事运维的同事一定要熟练运用这两个工具哦,特别是需要经常做数据汇报的,能减轻很大工作量。

原文发布于微信公众号 - IT技术精选文摘(ITHK01)

原文发表时间:2018-05-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏开发与安全

linux系统编程之进程(三):exec系列函数和system函数

一、exec替换进程映象 在进程的创建上Unix采用了一个独特的方法,它将进程创建与加载一个新进程映象分离。这样的好处是有更多的余地对两种操作进行管理。当我们创...

2006
来自专栏python学习指南

python_IO编程

本篇文章将介绍python里面的I/O编程。更多内容请参考:python学习指南 I/O编程 读写文件时最常见的IO操作。Python内置了读写文件的函数...

1986
来自专栏orientlu

Linux 开发 | 学习 Makefile

Make 是控制工程中通过源码生成可执行文件和其他相关文件的工具。Make 通过 Makefile 获取如何编译、链接和安装清理工程的信息。

861
来自专栏云知识学习

LVM 详细介绍

LVM是逻辑盘卷管理(LogicalVolumeManager)的简称,它是Linux环境下对磁盘分区进行管理的一种机制,LVM是建立在硬盘和 分区之上的一个逻...

44121
来自专栏C/C++基础

Shell特殊字符

shell既是类Unix操作系统的命令解析器,用于解释执行用户输入的一连串命令,它类似于DOS下的command和后来Windows的cmd.exe。同时she...

711
来自专栏Golang语言社区

Go语言的os包中常用函数初步归纳

1)os.Getwd函数原型是func Getwd() (pwd string, err error) 返回的是路径的字符串和一个err信息,为什么先开这个呢?...

2957
来自专栏安恒网络空间安全讲武堂

逆向专题 | Writeup分享二

逆向WP分享二 0x01 Re11 [链接地址](Jarvisoj.com) 我们拿到的是一个ELF文件,在Linux中可执行,我们直接丢进IDA中shift...

2127
来自专栏武军超python专栏

2018-7-16python中四种组合数据类型和pycharm的安装和使用

集合(set) discard删除数据时如果集合里面没有那个数据什么也不做,集合相减可以直接用-,+*/都不能用

985
来自专栏腾讯数据库技术

比ls快8倍?百万级文件遍历的奇技淫巧

7344
来自专栏MasiMaro 的技术博文

PE文件解析器的编写(二)——PE文件头的解析

之前在学习PE文件格式的时候,是通过自己查看各个结构,自己一步步计算各个成员在结构中的偏移,然后在计算出其在文件中的偏移,从而找到各个结构的值,但是在使用C语言...

772

扫码关注云+社区