Linux 管道

管道是什么？管道是一种通信机制，通常用于进程间的通信（也可通过 socket 进行网络通信），它表现出来的形式就是将前面每一个进程的输出(stdout)直接作为下一个进程的输入(stdin)。

管道又分为匿名管道和具名管道（这里将不会讨论在源程序中使用系统调用创建并使用管道的情况，它与命令行的管道在内核中实际都是采用相同的机制）。我们在使用一些过滤程序时经常会用到的就是匿名管道，在命令行中由 | 分隔符表示，| 在前面的内容中我们已经多次使用到了。具名管道简单的说就是有名字的管道，通常只会在源程序中用到具名管道。下面我们就将通过一些常用的可以使用管道的"过滤程序"来帮助你熟练管道的使用。

1 试用

先试用一下管道，比如查看 /etc 目录下有哪些文件和目录，使用 ls 命令来查看：

$ ls -al /etc
1

有太多内容，屏幕不能完全显示，这时候可以使用滚动条或快捷键滚动窗口来查看。不过这时候可以使用管道：

$ ls -al /etc | less
1

通过管道将前一个命令(ls)的输出作为下一个命令(less)的输入，然后就可以一行一行地看。

2 cut 命令，打印每一行的某一字段

打印/etc/passwd文件中以 : 为分隔符的第 1 个字段和第 6 个字段分别表示用户名和其家目录：

$ cut /etc/passwd -d ':' -f 1,6
1

打印 /etc/passwd 文件中每一行的前 N 个字符：

# 前五个（包含第五个）
$ cut /etc/passwd -c -5
# 前五个之后的（包含第五个）
$ cut /etc/passwd -c 5-
# 第五个
$ cut /etc/passwd -c 5
# 2到5之间的（包含第五个）
$ cut /etc/passwd -c 2-5
1
2
3
4
5
6
7
8

3 grep 命令，在文本中或 stdin 中查找匹配字符串

grep 命令是很强大的，也是相当常用的一个命令，它结合正则表达式可以实现很复杂却很高效的匹配和查找，不过在学习正则表达式之前，这里介绍它简单的使用，而关于正则表达式后面将会有单独一小节介绍到时会再继续学习 grep 命令和其他一些命令。

grep 命令的一般形式为：

grep [命令选项]... 用于匹配的表达式 [文件]...
1

还是先体验一下，我们搜索/home/shiyanlou目录下所有包含"shiyanlou"的文本文件，并显示出现在文本中的行号：

$ grep -rnI "shiyanlou" ~
1

-r 参数表示递归搜索子目录中的文件，-n表示打印匹配项行号，-I表示忽略二进制文件。这个操作实际没有多大意义，但可以感受到grep命令的强大与实用。

当然也可以在匹配字段中使用正则表达式，下面简单的演示：

# 查看环境变量中以 "yanlou" 结尾的字符串
$ export | grep ".*yanlou$"
1
2

其中$就表示一行的末尾。

4 wc 命令，简单小巧的计数工具

wc 命令用于统计并输出一个文件中行、单词和字节的数目，比如输出/etc/passwd文件的统计信息：

$ wc /etc/passwd
1

分别只输出行数、单词数、字节数、字符数和输入文本中最长一行的字节数：

# 行数
$ wc -l /etc/passwd
# 单词数
$ wc -w /etc/passwd
# 字节数
$ wc -c /etc/passwd
# 字符数
$ wc -m /etc/passwd
# 最长行字节数
$ wc -L /etc/passwd
1
2
3
4
5
6
7
8
9
10

注意：对于西文字符来说，一个字符就是一个字节，但对于中文字符一个汉字是大于 2 个字节的，具体数目是由字符编码决定的。

再来结合管道来操作一下，下面统计 /etc 下面所有目录数：

$ ls -dl /etc/*/ | wc -l
1

5、sort 排序命令

这个命令前面我们也是用过多次，功能很简单就是将输入按照一定方式排序，然后再输出，它支持的排序有按字典排序，数字排序，按月份排序，随机排序，反转排序，指定特定字段进行排序等等。

默认为字典排序：

$ cat /etc/passwd | sort
1

反转排序：

$ cat /etc/passwd | sort -r
1

按特定字段排序：

$ cat /etc/passwd | sort -t':' -k 3
1

上面的-t参数用于指定字段的分隔符，这里是以":"作为分隔符；-k 字段号用于指定对哪一个字段进行排序。这里/etc/passwd文件的第三个字段为数字，默认情况下是以字典序排序的，如果要按照数字排序就要加上-n参数：

$ cat /etc/passwd | sort -t':' -k 3 -n
1

注意观察第二个冒号后的数字： 此处输入图片的描述

6、 uniq 去重命令

uniq命令可以用于过滤或者输出重复行。

过滤重复行
我们可以使用history命令查看最近执行过的命令（实际为读取${SHELL}_history 文件，如我们环境中的~/.zsh_history 文件），不过你可能只想查看使用了哪个命令而不需要知道具体干了什么，那么你可能就会要想去掉命令后面的参数然后去掉重复的命令：

$ history | cut -c 8- | cut -d ' ' -f 1 | uniq
1

然后经过层层过滤，你会发现确是只输出了执行的命令那一列，不过去重效果好像不明显，仔细看你会发现它确实去重了，只是不那么明显，之所以不明显是因为uniq命令只能去连续重复的行，不是全文去重，所以要达到预期效果，我们先排序：

$ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq
# 或者$ history | cut -c 8- | cut -d ' ' -f 1 | sort -u
1
2

这就是 Linux/UNIX 哲学吸引人的地方，大繁至简，一个命令只干一件事却能干到最好。

输出重复行

# 输出重复过的行（重复的只输出一个）及重复次数
$ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -dc
# 输出所有重复的行
$ history | cut -c 8- | cut -d ' ' -f 1 | sort | uniq -D
1
2
3
4

文本处理命令还有很多，下一节将继续介绍一些常用的文本处理的命令。

轻松一下

使用以前介绍过的方法，安装aview和imagemagick，然后用asciiview命令显示图片，使用方法可以用 man 命令查看。

Linus 大神的照片地址 https://labfile.oss.aliyuncs.com/courses/1/Linus.png

执行以下命令安装工具包并下载图片：

shiyanlou:~/ $ sudo apt update

shiyanlou:~/ $ sudo apt install -y aview imagemagick

shiyanlou:~/ $ wget https://labfile.oss.aliyuncs.com/courses/1/Linus.png
1
2
3
4
5

执行 asciiview [图片文件名] 即可打开图片：