Linux Shell脚本文本三剑客之awk_shell getline

工作原理：

sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理，

且默认情况下字段的分隔符为空格或 tab 键。

awk 执行结果可以通过 print 的功能将字段数据打印显示

awk的基本格式及其内置变量:

awk 选项 '模式或条件 {操作}' 文件1 文件2...

-F “分隔符” 指明输入时用到的字段分隔符，默认的分隔符是若干个连续空白符

-v(小v) var=value 变量赋值

注意一定是单引号：'模式或条件 {操作}'

{ }外指定条件，{ }内指定操作。

用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。

内建变量，不能用双引号括起来，不然系统会把它当成字符串。

内置变量

$0:当前处理的行的整行内容

$n:当前处理行的第n个字段（第n列）

NR:当前处理的行的行号（序数）

NF:当前处理的行的字段个数。$NF代表最后一个字段

FS:列分割符。指定每行文本的字段分隔符，输入内容的分隔符，

默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:，用FS必须用=""

OFS:输出内容的列分隔符

FILENAME:被处理的文件名

RS:行分隔符。awk从文件中读取资料时，

将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录进行处理。预设值是"\n"

直接打印所有内容

 

取每一行的第一列

打印行号，及所有内容 

打印第三行 打印2-4行 打印第2行和第4行用正则表达式打印2-4行 

 打印偶数行

打印奇数行 

awk的运算

可以进行小数和整数的运算，还能进行幂的计算

算100+200的和

求3的2次方 

getline
getline的工作过程：

1、当getline左右无重定向符号（“<”）或者管道符号（“|”）时，

awk首先读取的是第一行，而getline获取的是光标跳转至下一行的内容（也就是第二行）。

2、当getline左右有管道符号或重定向符时，

getline则作用定向输入文件，由于文件是刚打开，并没有被awk读入一行，

而只是getline读入，所以getline返回的是文件的第一行，而不是跳转至一行输入

原因：getline运行之后awk会改变NF,NR,$0，FNR等内部变量，所以此时读取$0的行号不再为1，而是2

打印偶数行

 打印奇数行

把test1的内容传给函数getline，getline获取后把他打印出来并传给test 

把ls的结果传给函数getline后，赋值给变量line，并把line的值打印出来 

文本内容匹配过滤打印

打印出以root开头的

打印出以bash结尾的 

 

BEIGIN模式指定BEGIN打印模式
格式：awk 'BEGIN{...};{...};END{...}' 文件

处理过程：

1、在awk处理指定的文本之前，需要先执行BEGIN{...}模式里的命令操作

2、中间的{...} 是真正用于处理文件的命令操作

3.在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句。

x的变量范围是根据文本中内容的行数来的

对字段进行处理打印

以：为分隔符，打印第一列

-v的用法：变量赋值

将输入的时候的分隔符：改成+输出，打印第一列和第三列

以：为分隔符，换行输出

#默认就是换行输出，不需要改

 

BEIGIN模式指定打印内容

以：为分隔符打印第一列

条件判断打印

如果第三列uid大于500，打印出来

如果第三列uid不大于500，打印出来 

awk的三元表达式与精准筛选用法

awk的三元表达式继承了java的用法，格式与Java相似

格式：awk '(条件表达式)?(A表达式或者值):(B表达式或者值)'

以：为分隔符，如果$3大于$4,则打印$3，否则打印$4

awk的精准筛选：

$n(> < ==): 用于对比数值

$n~"字符串": 代表第n个字段包含某个字符串

$n!~"字符串": 代表第n个字段不包含某个字符串

$n=="字符串": 代表第n个字段为某个字符串

$n!="字符串": 代表第n个字段不为某个字符串

$NF: 代表最后一个字段

输出第七个字段包含“bash”所在行的第一个字段和最后一个字段

 输出第七个字段不包含“nologin”所在行的第一个字段和最后一个字段

输出第六个字段为/home/qiao,第七个字段为/bin/bash的这些行的第一列和最后一列 

指定输出的分隔符

OFS：输出内容的列分隔符。（$n=$n用于激活，否则不生效，n必须存在）

对于输出时改变分隔符，我们常用到tr，awk，它们都可以实现在输出内容改变原本的分隔符

输出时将分隔符改成

 

数组

定义数组打印

 awk中的数组形成遍历,在awk中打印变量不需要加$

数组去重

1. 索引号可以是数字，字符

1. 统计索引号出现的次数

1. 遍历行数

索引号是文本里面的内容，对索引号进行计数