大数据课程B4——Linux的网络结构&&任务管理_任务管理服务器网络资源一般多少正常

文章作者邮箱：yugongshiye@sina.cn              地址：广东惠州

 ▲ 本章节目的

⚪ 了解Linux的网络相关设备和网络结构、远程拷贝和远程登录、SSH免密登录；

⚪ 了解Linux的进程管理和任务管理、系统资源监控；

⚪ 掌握Linux的自带下载工具；

⚪ 掌握Linux的VIM文本编辑器；

一、网络相关设备

1. OSI七层和TCP/IP四层的关系

1 OSI引入了服务、接口、协议、分层的概念，TCP/IP借鉴了OSI的这些概念建立TCP/IP模型。

2 OSI先有模型，后有协议，先有标准，后进行实践；而TCP/IP则相反，先有协议和应用再提出了模型，且是参照的OSI模型。

3 OSI是一种理论下的模型，而TCP/IP已被广泛使用，成为网络互联事实上的标准。

2. 交换机：

由来，早期的时候并没有这个设备，当时使用HUB设备进行数据的发送，但是HUB发送数据的特性广播，这样的方式，数据不安全，增加网路带宽的消耗。

交换的工作原理，通电之后，在自己的内部建立一张设备Mac地址表。这张表中记录了设备的Mac地址或其他的信息。

交换机可以组建局域网(内网)。

 3. 路由器：

(实现网络代理的功能，在公共网络上，上网的节点是路由器，并不是电脑。)

将局域网中的数据转发至公共网络(外网)。

早期上网的方式是，通过电话线插入电脑上，进行拨号上网。此方式的缺点。

1、电话一直占线。

2、有可能电话进来，掉线。

通信公司发现这样的缺点之后，出现了一个新的设备，这个设备的功能可以将电话线路一分为二。分别实现电话、上网的功能。调制解调器(猫)。

随着社会的发展，发现这种方式又不能满足日常的上网需求。一个猫只有一个接口，无法满足多台设备上网的需求的。

将多台设备接入交换，交换机的其中一个接口连接路由器。

连接顺序：猫上出的网线接入路由器的WAN口，路由器的LAN口接入交换机。

无线设备。大约在2008年，家用无线路由器开始普及。

无线路由器是将交换机和有线路由器和在一起产品。 

二、网络地址相关

1. 配置网络的时候需要配置哪些信息：

1. 桥接： 

2. NAT：

四、Linux其他网络知识

1. 修改主机名

方式一：临时修改

hostname demo02

方式二：永久修改（重启服务器生效）

编辑/etc/hostname文件进行修改

2. 远程拷贝：

从本机拷贝数据到远程的服务器上

要求：必须知道对方的账户和密码，且具备相应的权限。

语法：scp [-r] [path]/fie | dir  {UserName}@Host_IP:/[path]

案例：

将本机的文件拷贝到远程服务器上

# bash

scp /root/install.log root@192.168.89.128:/home

注意， 如果是第一次访问该服务器，那么会询问，是否要继续连接。每次访问都需要输入远程服务器的密码。

从远程服务器上拷贝数据到本机：

要求：必须知道对方的账户和密码，且具备相应的权限。

语法：scp {UserName}@Host_IP:/[path]/file  /[path]

案例：

将远程服务器中/home目录下的install.log拷贝到本地的root目录下

# bash

scp root@192.168.89.128:/home/install.log          /root

3. 登录远程服务器：

语法：ssh  {UserName}@Host_IP

回车之后，如果首次访问，会提示是否继续连接。接下来要求输入远程服务器的密码。

案例：

# bash

ssh root@192.168.89.128

如果想退出当前登录

# bash

exit

Linux系统下，ssh服务的默认端口是22。如果在访问是没有指明端口，默认按照22端口访问，如果远程服务器，提供的端口不是22，那么就需要在访问的时候指定远程服务器的端口：

# bash

ssh [-p port] {UserName}@Host_IP

如果想要通过主机名来进行远程登录或者远程拷贝。需要配置/etc/hosts文件，将虚拟机ip和主机名进行一一映射

五、SSH免密登录

Linux免密登录使用的RSA算法。

RSA本身是一种非对称加密算法，会生成公钥和私钥。

只要持有私钥就能访问公钥加密的内容，这种事情本身就是存在风险的。一旦私钥丢失，那么服务器上的数据就存在被窃取的风险。

但是Linux生成公钥和私钥的时候支持对私钥证书文件添加密码。

1. 证书使用场景：

场景一：只是单纯的使用证书来登录服务器。

使用证书的登录方式可以避免密码遗忘、泄漏的问题。

使用证书登录服务器的方式也是服务器加固(服务器安全相关问题)的方式。

服务器可以设置不允许使用密码进行远程登录。只允许证书的方式登录。

证书本身支持加密，就算证书丢失，再不知道证书密码的情况，证书属于无效文件。

场景二：集群中使用证书进行免密登录。

因为但凡设计到集群的时候，一般都不会是小数目的服务器数量。众多的服务器之间进行互相访问，频繁的输入密码的事情将会成为开发工程师噩梦。

所以，使用证书管理集群的时候，可以免除集群中的服务器互相访问时工程师手工输入密码的问题。

2. 证书的生成：

# bash

ssh-keygen

第一次提示：你的证书文件存放位置

第二次提示：对私钥加密，输入密码。如果不需要输入密码，直接回车。

第三次提示：私钥证书的密码确认操作。

证书文件会存放在当前账户的家目录下的隐藏目录".ssh"目录下，在该目录下会有以下4个文件：

3. 证书注册：

将本机的公钥证书文件注册到远程服务器上，此后就可以使用私钥证书进行登录。

# bash

ssh-copy-id {UserName}@Host_IP

执行此命令，会要求输入远程服务器的对应账户的密码。

这一步就是向远程服务器注册本机的id_rsa.pub文件(公钥)内容。此后只有本机上与公钥文件共同生成的私钥才能够进行免密登录。

六、Linux的自带下载工具

七、进程

1. 概念：

进程通俗来说，运行中的程序。

在linux下，知道程序要运行，首先就是将磁盘中相应的可执行文件加载到内存中，那么我们怎么知道他在内存中哪呢？这个时候就需要我们通过一个叫做进程标识符的东西找到它。类似于我们自己的身份证。

进程分为临时进程和持久进程。

2. 程序被加载为进程的示意图：

1、用户执行程序。

2、程序加载到内存中。

        2.1、给程序一个临时的pid。

        2.2、查看执行的权限，如果用户没有执行权限，那么拒绝操作，如果有，开始加载程序执行的相关资料。

        2.3、确认临时的PID。

 3. 如何查看进程：

在Linux系统中，不像windows那样方便，可以通过快捷键调出图形化的任务管理器来管理进程。

静态查询：

  • ps:

将某个时间点的程序运作情况截取下来

常用组合选项 -aux

举例：当我们新开一个通道编辑一个文件的时候，我们通过ps -aux可以查看到。

查询特定进程用

ps -aux | grep  sshd      #查询sshd服务

ps查询结果各项解释：

状态标识：

僵尸进程：

由于该进程已经执行完毕，但是父进程没有终止或其他原因导致该进程并没有真正的结束，所形成的进程称之为僵尸进程。

此进程对服务器的危害在于它会持续的消耗服务器资源，消耗量会越来越大。最终导致其他的进程无资源可用，服务器崩溃。

 • pstree：

选项：

举例：

#bash

pstree -up

注：使用哪个账户运行此命令，那么与其相关的进程则不会显示用户名

动态查询：

 • top：

动态查询系统的进程状态。默认是3秒一更新。

选项：

案例：

每秒刷新一次top

# bash

top -d 1

每2秒刷新一次top，以批次输出2次。

#bash

top -d 2 -n 2

每秒刷新一次top，以批次输出5次。

# bash

top -d 1 -b -n 5  >> top.log     

# >>表示以追加的方式输出，>表示以覆盖的方式输出

交互式按键：(并不常用)

4. 进程的管理：

多进程的管理：

killall：结束基于某个程序运行进程。

语法：killall 信号量 程序名/命令名

信号量：

案例：

结束所有httpd的进程（如果没有可以先安装一下yum install -y httpd）

# bash

killall -9 httpd

结束所有java的进程

# bash

killall -9 java

八、系统资源监控(自带)

1. free：内存监控（可能监控不精准）

选项：

free -m

free -mt

在真实的公司中有第三方，甚至公司自己开发的监控工具。不属于我们负责。

2. uname:查阅系统与核心相关信息

选项：

案例：

列出当前系统中正在监听的TCP服务。

# bash

netstat -lt

列出当前系统中正在监听的TCP服务，并且显示进程ID。

# bash

netstat -ltp

列出当前系统中正在监听的TCP服务，并且显示进程ID、端口号。

# bash

netstat -lntp

列出当前系统中已连接的TCP服务，并显示进程ID、端口号。

# bash

netstat -tnp

监听udp一般监听不出来

各项含义：

十、任务管理

1. 概念：

前台任务：可以控制与执行命令的bash环境称为前台。

后台任务：在操作系统中自行运行,你无法使用[ctrl]+c终止称为后台。

2. 管理：

将前台任务放置后台暂停：

Ctrl + z就可以将前台的任务放置后台

如何运行任务时，使其在后台运行：

在运行命令之前加上"&"

例如：

cp file1 file2 &

不是所有的任务都能够在后台运行的，比如需要与用户进行交互的程序或命令就不允许在后台运行， 比如vi文本编辑器。

用来查看后台任务：

jobs

选项：

如果将后台任务调至前台：

fg命令+jobnumber来把后台任务调至前台。(无论在后台是暂停还是运行)

fg命令不加jobnumber也是可以调后台的任务，但是默认就会调取后台带有+号的那个任务。最后放置后台的任务就会带有+号。

案例：

[root@bogon ~]# jobs

[1]  Stopped  vi 1.txt

[2]  Stopped  vi 2.txt

[3]  Stopped  vi 3.txt

调取2号任务：

# bash

fg 2

如何将后台任务修改为运行状态：

bg命令 + jobnumber 可以将后台任务的暂停状态修改为运行状态。(交互式的应用无法修改为运行状态)

bg命令不加jobnumber也是可以调后台的任务，但是默认就会调取后台带有+号的那个任务。（最后放置后台的任务就会带有+号。）

案例：

[root@bogon ~]# jobs

[1]  Stopped  vi 1.txt

[2] - Stopped  vi 2.txt

[3] + Stopped  vi 3.txt

修改2号任务的后台状态：

# bash

bg 2

失败案例！！

[root@bogon ~]#  bg  2

[2] -  vi  2.txt  &

[root@bogon ~]#  

[2] + Stopped  vi 2.txt

[root@bogon ~]#

修改4号任务在后台的工作状态。

# bash

bg

 终止job:

jobs -l查询出ID，之后通过kill -9  PID 结束。

十一、VIM

1. 什么是VIM：

是一个类似vi的文本编辑器，不过在vi的基础上增加了很多新特性，vim被公认为类vi编辑器中最好用的一个。

2. 为什么要学习VIM，vi不够？

vim在vi的基础之上增加了很多的小功能。可以有效的帮助程序员快速的排查问题。

很多系统都内建vi编辑器，其他的文本编辑器不一定有，很多软件都会主动调用vi的接口。

3. vim的三种模式：

一般模式、编辑模式、命令模式

三种模式的转换图：

 一般模式(默认模式)的快捷键：

• h或←光标左移一个字符。如果是20h，表示左移20个字符。

• j或→光标下移一个字符   同上

• k或↑光标上移一个字符   同上

• l或↓光标右移一个字符   同上

• [Ctrl]+[f]屏幕向下移动一页  Page Down!!

• [Ctrl]+[b]屏幕向上移动一页  Page Up !!

• 0或[Home]移动到此行最前面字符处!!

• $或[End]移到光标所在行的行尾!!

• H 光标移到当前屏幕最上方行的第一个字符!!

• M光标移到当前屏幕中间行的第一个字符!!

• L光标移动到当前屏幕最下方行第一个字符!!

• G移到此文件最后一行!!!

• nG移到第n行

• gg相当于1G，即移到第一行!!!

• n[Enter]光标下移n行

• /word向下查找单词“word”（！！!）

• ？word向上查找单词“word”（！！!）

• n表示重复前一个查找操作

• N与n相反（反向查找）

• yy复制光标所在行（！！）

• nyy复制光标所在向下n行(n为数字)

• y1G复制光标所在行到第一行所有数据

• yG复制光标所在行到最后一行所有数据

• y$复制光标所在处到同行最后一个字符

• y0复制光标所在处到同行第一个字符

• p将已复制的数据粘贴到光标所在下一行

• P将已复制的数据粘贴到光标所在上一行

• u复原前一个操作（类似于windows中的ctrl+z）!!!

• Ctrl+r恢复一个操作。

• x向后删除一个字符

• nx向后删除n个字符(n为数字)

• X向前删除一个字符

• dd删除光标所在行（！！！）

• ndd删除光标所在行以下n行(n为数字,包含当前行在内)

• d1G删除光标所在行到第一行所有数据（包括所在的行）

• dG删除光标所在行到最后一行（！！）

• d$或d end删除光标所在处到同行最后一个字符（！！）

• d0或d home删除光标所在处到同行第一个字符。（！!）

编辑模式：

进入编辑模式：

• i从光标所在处插入(!!!)

• I从所在行第一个非空白字符处插入(！!)

• a从光标所在下一个字符处插入

• A从光标所在行最后一个字符处插入（！！）

• o在光标所在处下一行插入新的一行(!！)

• O在光标所在处上一行插入新的一行（！！）

• r替换光标所在处字符一次

• R一直替换光标所在处文字直到按下Esc(!!!)

命令模式：

如何进入命令模式：

• :w [filename] 另存为filename

• :r [filename] 读取filename指定文件中的内容到光标所在的行。

• :n1,n2 w [filename] 将n1到n2行另存为filename

• :! command 临时切换到命令行模式下执行command命令。 

    例如 “:!find / -name Helllo.java”即可在vim当中执行命令。

• :wq  保存后离开

• :q  不保存离开(未改可以离开，如果修改了需要q!强制离开)

• :q!  不保存离开

• :set nu 显示行号         （number）

• :set nonu 取消显示行号        （noNumber）

• :s/word1/word2/g 在当前行将word1替换成word2（！！）

• :%s/word1/word2/g 在当前文件将word1替换成word2（！！）

• :n1,n2s/word1/word2/g在n1到n2行查找word1替换成word2 (n1、n2为数字)

• :10,$ s/word1/word2/g从第一行到最后一行查找word1替换成word2

• :%s/word1/word2/gc 同上，在替换前确认是否替换。（！！！）只能单行确认，需要逐个确认。替换为 b (y/n/a/q/l/^E/^Y)？

        • y表示yes，n表示no，

        • a表示all(限光标当前到最后一行)，

        • q表示quit，

        • l表示替换后移动光标到行首，

        • ^E(Ctrl+E)表示向下翻，

        • ^y(Ctrl+Y)表示向上翻。