好程序员大数据学习路线分享AWK怎么样

好程序员大数据学习路线分享AWK怎么样，awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

awk是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

awk操作

有三种方式调用awk

1. 命令行方式

awk [-F field-separator] 'commands' input-file(s)

其中，commands 是真正awk命令，[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。在awk中，文件的每一行中，由域分隔符分开的每一项称为一个域。通常，在不指名-F域分隔符的情况下，默认的域分隔符是空格。

2.shell脚本方式

将所有的awk命令插入一个文件，并使awk程序可执行，然后awk命令解释器作为脚本的首行，一遍通过键入脚本名称来调用。

相当于shell脚本首行的：#!/bin/sh

可以换成：#!/bin/awk

3.将所有的awk命令插入一个单独文件，然后调用：awk -f awk-script-file input-file(s)

其中，-f选项加载awk-script-file中的awk脚本，input-file(s)跟上面的是一样的。

awk语法

1、awk命令格式

(1) awk [-F 分隔域] 'command' input-file(s)

(2) awk -f awk-script-file input-file(s)

模拟文件：

cat employee.txt

100 Thomas Manager Sales 5000

200 Jason Developer Technology 5500

300 Sanjay Sysadmin Technology 7000

400 Nisha Manager Marketing 9500

500 Randy DBA Technology 60002

2.awk操作

1.输出文件的每一行：

awk '' ./employee.txt

2.输出/etc/passwd第一个字段

awk -F ":" '' /etc/passwd

3.打印文件的全部内容

awk '' employee.txt

4.抽取文件test中的第一列

awk '' employee.txt

或者

awk -F ' ' '' employee.txt

5.列出所有的用户名和登陆的shell名

awk -F ':' '' /etc/passwd

当分隔符为多个符号时，如：

a , b , c , d

a1 , b1 , c1 , d1

awk -F ' , ' '' 文件名

6.打印用户名为root的那一行

awk -F ':' '$1=="root" ' /etc/passwd

或者

awk -F ':' '$1=="keke" ' /etc/passwd

说明:$1=="root"和$1=="keke"都是属于判断条件

awk工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键" 或 "[tab]键"。

7.给输出信息加上表头

awk -F ":" 'BEGIN

' /etc/passwd

8.给输出信息加上表头和末尾

awk -F : 'BEGIN

END ' /etc/passwd

awk -F ":" 'BEGIN

$1=="root" { print $1}

END' /etc/passwd

awk -F ":" 'BEGIN

END' /etc/passwd

awk工作流程是这样的：先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,随后开始执行模式所对应的动作action。接着开始读入第二条记录······直到所有的记录都读完，最后执行END操作。

awk与mapreduce区别

1. awk主要用于单机版文件的操作

2. mapreduce则可以用于分布式文件系统，可用于对大量数据的操作，缺点是编程比awk复杂，不过在框架的支持下，编写mapreducce程序只需要负责业务逻辑即可。