11、Linux文本处理三剑客之awk命令(1)_终端输出流给awk

awk 是一个强大好用的数据处理工具，对于 Linux 文本处理三剑客，grep 命令倾向于查找，sed 命令倾向于编辑更新，而 awk 命令则倾向于对数据分析并生成报告。本篇将重点梳理 awk 命令及常见的使用场景。

1、awk 基本格式

awk 命令可以直接处理文件，也可以作为管道命令读取前一个命令的标准输出，基本格式如下：

awk [参数选项] '匹配的内容' [文件名]

参数选项有：

Usage: awk [POSIX or GNU style options] -f progfile [--] file ...
Usage: awk [POSIX or GNU style options] [--] 'program' file ...
POSIX options:          GNU long options: (standard)
        -f progfile             --file=progfile
        -F fs                   --field-separator=fs
        -v var=val              --assign=var=val
Short options:          GNU long options: (extensions)
        -b                      --characters-as-bytes
        -c                      --traditional
        -C                      --copyright
        -d[file]                --dump-variables[=file]
        -e 'program-text'       --source='program-text'
        -E file                 --exec=file
        -g                      --gen-pot
        -h                      --help
        -L [fatal]              --lint[=fatal]
        -n                      --non-decimal-data
        -N                      --use-lc-numeric
        -O                      --optimize
        -p[file]                --profile[=file]
        -P                      --posix
        -r                      --re-interval
        -S                      --sandbox
        -t                      --lint-old
        -V                      --version

2、默认分隔符

最常用参数为 -F，而 awk 命令使用空格、tab 制表符作为缺省的字段分隔符。因此，如果处理的文本中的字段间有空格、tab 制表符的话，则不需要指定 -F 选项，举个入门的小例子：

$ echo "today is hot" |awk '{print $1}'
today
 
$ echo "today is hot" |awk '{print $2}'
is
 
$ echo "today is hot" |awk '{print $3}'
hot
 
$ echo "today is hot" |awk '{print $1,$3}'
today hot
 
$ echo "today is hot" |awk '{print $0}'
today is hot

从上面可以看到，awk 是以行为一次处理的单元，而以字段为最小的处理单元，使用 $+数字 表示数据列，$1表示第一列，$2表示第二列，依次类推，$n表示第n列，当 n=0，即 $0 表示所有列。

当然，awk 也支持格式化打印输出，例如：

$ echo "today is hot" |awk '{print $1,$3}'
today hot
 
$ echo "today is hot" |awk '{printf "%-10s %-15s\n",$1,$3}' 
today      hot

3、指定分隔符

如果字段间隔符不是空格、tab 制表符的话，使用 -F "指定字符串" 分隔，演示如下：

# 以,作为分隔符
$ echo "today,is hot,is irritability" |awk -F "," '{print $2}'
is hot
 
# 以is作为分隔符
$ echo "today,is hot,is irritability" |awk -F "is" '{print $1}'
today,
$ echo "today,is hot,is irritability" |awk -F "is" '{print $2}'
 hot,
$ echo "today,is hot,is irritability" |awk -F "is" '{print $3}'
 irritability

当然，指定字符串is 也可以不使用双引号：

$ echo "today,is hot,is irritability" |awk -F is '{print $2}'
 hot,

如果指定字符有多个的话，先以第一个分隔符为准，然后再按顺序以其他的分隔字符分隔，比如：

$ echo "today,is hot,is irritability" |awk -F "[ ,]" '{print $3,$5}'
hot irritability

4、使用内置变量

awk 支持以下几个常用的内置变量：

• FS：设置输入字段分隔符，等价于-F参数选项；
• OFS：设置输出字段分隔符；
• NR：表示已读的记录数（行号）；
• NF：表示浏览记录的字段个数（列数）；

举例1：字符串转数组

$ echo "1555650,1505765,1893873" |awk 'BEGIN{FS=",";OFS=" "} {print $1,$2,$3}' 
1555650 1505765 1893873

字符串转数组，就是把逗号替换成空格而已。请注意，BEGIN 语句表示在所有文本处理动作执行之前被执行（前置处理），END 语句在所有文本处理动作执行之后被执行（后置处理）；

举例2：输出文件的所有内容，并显示行号和列数

$ awk -F : '{print NR "   " NF "   " $0}' /etc/passwd
1   7   root:x:0:0:root:/root:/bin/bash
2   7   bin:x:1:1:bin:/bin:/sbin/nologin
3   7   daemon:x:2:2:daemon:/sbin:/sbin/nologin
4   7   adm:x:3:4:adm:/var/adm:/sbin/nologin
5   7   lp:x:4:7:lp:/var/spool/lpd:/bin/false
6   7   sync:x:5:0:sync:/sbin:/bin/sync
7   7   shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8   7   halt:x:7:0:halt:/sbin:/sbin/halt
9   7   mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10   7   operator:x:11:0:operator:/root:/sbin/nologin
(后面内容省略)

5、使用函数

awk 命令支持使用函数，比如常见的函数有：

• length(x)：获取 x 的长度
• tolower(x)：将 x 转小写
• toupper(x)：将 x 转大写
• substr(x,y)：在 x 中，获取从 y 开始截取到末尾的部分

举例：字符串转大写，并统计长度

$ awk -F : '{print toupper($1),length($1)}' /etc/passwd
ROOT 4
BIN 3
DAEMON 6
ADM 3
(后面内容省略)

6、使用流程控制语句

awk 命令也支持使用流程控制语句，比如 if 条件语句，举个我用过的例子：

$ awk 'BEGIN{FS="|";OFS="|"} { if ($6 == 4 || $6 == 9) {print $1,$5}}' demo_20220712.txt >>test.txt

此外，相对简单的条件语句还可以使用简化版，举例说明：

# 过滤出第一列等于指定字符串的数据
$ awk '$1 == "daemon:x:2:2:daemon:/sbin:/sbin/nologin"' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
 
# 过滤出第三列大于1小于5的数据
$ awk -F : '$3 > 1 && $3 < 5' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/bin/false
 
$ awk -F : '$3 > 1 && $3 < 5 {print $1,$3}' /etc/passwd
daemon 2
adm 3
lp 4

流程控制语句，又比如 for 循环语句，打印1~10：

$ awk 'BEGIN{ for(i=0;i<=10;i++){ print i} }'
0
1
2
3
4
5
6
7
8
9
10

而 while、do-while 等循环语句，用法类似。

7、使用正则表达式

awk 命令也支持正则表达式的使用，~表示匹配模式开始，//中存放匹配的模式，举例：

# 判断含有daemon字符串的数据
$ awk -F : '$0 ~ /daemon/' /etc/passwd
daemon:x:2:2:daemon:/sbin:/sbin/nologin
libstoragemgmt:x:998:997:daemon account for libstoragemgmt:/var/run/lsm:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
memcached:x:898:991:Memcached daemon:/run/memcached:/sbin/nologin
 
$ awk -F : '$0 !~ /daemon/' /etc/passwd
 
$ awk -F : '!/daemon/' /etc/passwd

8、按列求和

awk 命令更倾向于处理规则的文本数据，如果遇到求某一列的和，该如何计算呢？如下：

$ awk -F ":" '{sum += $3}END{print sum}' /etc/passwd
80079

最后

以上梳理了 awk 命令常见使用的场景，从中能够明显的看到 awk 在文本数据处理方面的强大功能，作为入门这篇只梳理到这儿，后面有空再总结下 awk 命令的高级用法，比如 awk 脚本、grep + sed + awk 组合玩转文本处理的复杂场景等。