大数据开发工程师基本功修炼之史上最全Linux学习笔记(建议)_a)将三台虚拟机恢复到快照“大数据环境启动完成”

我正在参加年度博客之星评选，请大家帮我投票打分，您的每一分都是对我的支持与鼓励。

2021年「博客之星」参赛博主：Maynor大数据 (感谢礼品、红包免费送！)

https://bbs.csdn.net/topics/603955366

前言

大家好,我是ChinaManor,直译过来就是中国码农的意思,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。

近6万字,没有更全的Linux笔记了!!

Linux是大数据中的基础,无论是运维或开发,都免不了要学,而且学的越扎实越好,下面为大家带来Linux学习笔记

操作系统概述

目标：了解 操作系统 的作用

1.1 操作系统(Operation System, OS)

操作系统作为接口的示意图:

没有安装操作系统的计算机, 通常被称为 裸机

• 如果想在 裸机 上运行自己所编写的程序, 就必须用机器语言书写程序
• 如果计算机上安装了操作系统, 就可以在操作系统上安装支持的高级语言环境,用于高级语言开发

1.2 操作系统的种类

• 桌面操作系统
• 服务器操作系统
• 嵌入式操作系统
• 移动设备操作系统

1.2.1 桌面操作系统

• Window 系列
  • 用户群体大
• macOS
  • 细节处理的更好, 没有windows软件丰富, 价格高
• Linux
  • 应用软件少

1.2.2 服务器操作系统

• Linux
  • 安全、稳定、免费
  • 占有率高
• Windows Server
  • 付费
  • 占有率低
• 

1.2.3 嵌入式操作系统

• Linux

1.2.4 移动设备操作系统

• IOS
• Android (基于Linux)
• 华为鸿蒙(基于linux)

1.2 发展史

• linux 创始人: 林纳斯 托瓦兹
• linux 诞生于: 1991年 作者上大学期间
• 诞生原因:

  • 因为创始人 经常需要浏览新闻和处理邮件, 为了方便 读写 和 下载, 所以开发了 文件系统, 当时 21岁.

  • linux是开源免费

  • 后来经过全世界网友的支持, 现在能够兼容多种硬件

    唐纳德·特朗普

    弗拉基米尔·弗拉基米罗维奇·普京

    巴勃罗·迭戈·荷瑟·山迪亚哥·弗朗西斯科·德·保拉·居安·尼波莫切诺·克瑞斯皮尼亚诺·德·罗斯·瑞米迪欧斯·西波瑞亚诺·德·拉·山迪西玛·特立尼达·玛利亚·帕里西奥·克里托·瑞兹·布拉斯科·毕加索

1.3 内核

• 内核(kernel) 是系统的心脏, 是运行程序和管理磁盘和打印机等硬件设备的核心程序.
• Linux内核版本
  • 稳定版
    • 具有工业级强度, 可以广泛的应用和部署.
  • 开发版
    • 由于要试验各种解决方案, 所以变化很快
• 内核源码网址: http:www.kernet.ort
  • 所有来自全世界的对linux源码的修改最终都会汇总到这个网站, 由 Linus 领导的开源社区对其进行甄别和修改, 最终决定是否进入到 LInux主线内核源码中

1.4 发行版

• redhat：目前，全球最大的linux发行厂商，功能全面、稳定。
  • Redhat 被 IBM 收购!
• ubuntu：目前，是linux桌面操作系统做的最好的。
• centos：免费版的redhat，centos 基于 redhat 发行版基础之上，再重新编译发布的版本。
  • 目前 centos 已经被 Redhat 公司收购，但是依然免费

2 系统安装

目标

• 1: 使用 VM 虚拟机 模拟 电脑硬件
• 2: 在虚拟的 电脑上 安装 centOS 操作系统( linux 发行版)
• 3: 为了让别人能够访问操作, 配置 网络环境
• 4: 使用远程客户端 CRT 和 WinSCP 操作 linux操作系统
• 5: 防止操作系统 意外损坏, 及时备份(快照)

2.1 VM虚拟机

2.1.1 概述

• 虚拟机 (Virtual Machine) 指通过 软件模拟 的具有完整硬件系统功能的. 运行在一个完全隔离环境中的完整计算机系统
  • 虚拟系统通过生成现有操作系统的全新虚拟镜像, 具有真实操作系统完全一样的功能.
  • 进入虚拟系统后, 所有操作都是在这个独立全新的独立的虚拟系统里面进行, 可以独立安装运行软件, 保存数据, 不会对真正的系统产生任何影响
  • 而且现有在系统与虚拟镜像之间灵活切换的一类操作系统

2.1.2 安装虚拟机

详情请参考 资料（环境） 中《01_开启电脑虚拟化》，《02_安装虚拟机软件》word文档!

2.1.3 配置网卡

目标

• 了解桥接 和 NAT 的 联网原理
• 配置虚拟机的网卡信息

a. 网络原理

桥接原理

因为 虚拟机的linux系统的ip地址是固定的, 更换路由器后导致无法使用, 所以 不推荐使用

---

NAT原理

如果宿主电脑可以上网, 内部的虚拟机也可以上网就好了

NAT原理本质上就是 虚拟机实现了交换机的功能, linux系统的IP地址就不会随宿主电脑的ip地址更改而更改

推荐使用这种方式

b. 确保 VMnet8 已经启动

c. 设置VMnet8的ip地址

网关: 192.168.100.1

d. 确保所有关于VMWare的服务都开启

e 配置虚拟机的网卡

• 核查 配置子网ip和子网掩码

• 再次确认

2.2 centos是linux的发行版

2.2.1 目标

• 在虚拟机上 安装centos系统 模拟 机房的一台服务器

2.2.2 路径

• 第一步: 理解安装步骤
• 第二步: 使用VM虚拟机 准备 硬件环境
• 第三步: 在硬件环境 安装CentOs镜像
• 第四步: 理解centos的文件和目录

2.2.4 实现

2.2.4.1 理解安装步骤

2.2.4.2 使用VM虚拟机 准备 硬件环境

• 请参考资料中《03_创建虚拟主机》 word 文档

2.2.4.3 在硬件环境 安装CentOs镜像

• 请参考资料中 《04_CentOS系统安装步骤》word 文档

2.2.4.4 配置网卡信息

目标

• 能够让 宿主机 和 新装的centOS 相互通信

第一步: 了解 网卡 和ip地址的概念

• 网卡是一个专门负责网络通讯的硬件设备

• ip地址是设置在网卡上的地址信息

• 我们可以把 电脑 比作 手机, 网卡 相当于 手机卡槽, ip地址 相当于 手机号

• 

• IP地址

  • 每台联网的电脑上都有IP地址, 是保证电脑之间正常通讯的重要设置

    注意: 每台电脑的IP地址不能相同, 否则 会出现IP地址冲突, 并且没有办法正常通讯

第二步: 查看网卡信息

• ifconfig 和 ping

第三步: 通过 setup 命令设置网卡新

# 开始设置网卡信息
setup
1
2

重启网卡服务

测试能否上网, 注意: 前提是 宿主机必须能够上网

2.2.4.5 理解centos的文件和目录

• windows 系统 可以拥有多个盘符, 如 C盘、D盘、E盘
• Linux 没有盘符 这个概念, 有类似得分区（一个硬盘分多个分区）
• Linux 所有文件都在‘根’（‘/’）目录下
• Linux主要目录 速查表

• /bin： 二进制命令所在的目录

• /boot ： 系统引导程序所需要的文件目录，引导系统开机

• /dev ：设备软件目录，磁盘，光驱，

• /etc： 系统配置，启动程序

• /home：普通用户的家，目录默认数据存放目录

• /lib： 启动系统和运行命令所需的共享库文件和内核模块存放

• /mnt：临时挂载储存设备的挂载点，u盘插入光驱无法使用，需要挂载然后使用

• /opt：额外的应用软件包

• /proc：操作系统运行时，进程信息和内核信息存放在这里

• /root：Linux超级权限用户root的家目录

• /sbin：和管理系统相关的命令，【超级管理员用】

• /tmp：临时文件目录，这个目录被当作回收站使用

• /usr：用户或系统软件应用程序目录

• /var：存放系统日志的目录

• 注意：一般不要 操作 非自己创建的目录和文件，否则可能导致服务器崩溃。

2.4 远程连接工具

2.4.1 secureCRT软件

• secureCRT是Windows上 登录 服务器主机的软件
• 主要是 通过命令行操作服务器

a.安装

• 双击 下一步 就可以了

b.配置连接 linux系统

c. 修改主题和字体大小

d. 常用快捷键

tab键：命令或者路径提示及补全;

ctrl+c：放弃当前输入，终止当前任务或程序；

ctrl+l：清屏；

ctrl+shift+c：复制；

ctrl+shift+v：粘贴；

alt+b ：打开connect窗口；

alt+1/2/3/4/5… ：切换会话窗口
1
2
3
4
5
6
7
8
9
10
11
12
13

2.4.2 winSCP

• 它的主要功能就是在本地与远程计算机间 进行 文件 上传和下载
• 使用 鼠标拖拽 即可完成

2.5 快照(备份)

2.5.1 目标

• 快照就是 备份系统, 防止意外损坏, 降低损失

2.5.2 备份系统

a. 右键目标centos系统 -> 快照 -> 快照管理器

b. 拍摄快照

2.5.3 恢复到快照状态

a. 右键目标centos系统 -> 快照 -> 恢复到指定快照即可

3 常用命令

目标

• 理解学习linux终端命令的原因
• 学习技巧

01.学习Linux终端命令的原因

• Linux刚面世时并没有图形界面, 所有的操作全靠命令完成, 如 磁盘操作、文件存取、目录操作、进程管理、文件权限 设定等

• 在职场中，大量的 服务器维护工作 都是在 远程 通过SSH客户端 来完成的， 并没有图形界面， 所有的维护工作都需要通过命令来完成！
  

• 在职场中， 作为后端程序员， 必须要或多或少的掌握一些Linux常用的终端命令

• Linux发行版本的命令大概有200多个， 但是常用的命令只有10多个而已

学习终端命令的技巧：

• 不需要死记硬背， 对于常用命令， 用的多了， 自然就记住了。
• 不要尝试一次学会所有的命令， 有些命令是非常不常用的，临时遇到， 临时百度就可以

windows系统命令体验

​ 参见《资料（环境）》 内的05_windows命令。

Linux终端命令格式

目标

• 了解终端命令格式

• 掌握常用命令

• 了解知道如何查阅终端命令帮助信息

01.终端命令格式

command [-options] [parameter]
1

说明:

• command : 命令名, 相应功能的英文单词或单词的缩写
• [-options] : 选项, 可用来对命令进行控制, 也可以省略
• parameter : 传给命令的参数, 可以是 零个、一个 或者 多个

1.1 常用Linux命令的基本使用

02.目录（文件夹）常用命令

目标:文件夹的增、删、改、查的命令操作

2.1创建文件夹的命令

​ 格式：mkdir 目录名

​ mkdir -p 目录名1/目录名2/目录名3(嵌套)

​ 注意: 新建目录的名称 不能与当前目录中 已有的目录或文件 同名

​ 示例： mkdir /opt/dir1

​ mkdir -p /opt/dir1/dir2/dir3/dir4

2.2删除文件夹的命令（谨慎使用，谨慎使用，谨慎使用）

​ 格式：rm 文件夹 （有提示）

​ rm -f 文件夹 (取消提示)

​ rm -rf 文件夹 （递归删除）

​ rm -rf 结合通配符 * ? [abc][a-z]

​ rm -rf dir3*

​ 示例：rm -rf /opt/dir1/dir2/dir3/dir4

2.3修改文件夹的命令

格式：mv  旧文件夹名       新文件夹名
1

改变位置：mv 就路径 新路径（已经存在）

​ 示例： mv /opt/dir1 /opt/dir111

​ mv /opt/dir111 /opt/dir1/dir2/dir3

2.4查询文件夹的命令

​ 格式：ls 文件夹名 (包含权限、日期等信息)

​ ll 文件夹名 (不包含权限、日期等信息)

​ 列出某一目录内的内容（内容包括子文件夹和文件）

​ ls 或 ll 列举出当前文件夹内的文件夹和文件

​ 示例： ls /opt

​ ll /opt

2.5 其他命令

目录切换命令

​ 格式：cd 目标路径

​ cd …/ (进入上级目录)

​ 示例 ： cd /opt

​ cd …/…/

软连接（快捷键）

​ 格式：ln -s 目标文件绝对路径 快捷方式路径

​ 示例：ln -s /opt/dir1/dir2/dir3 /dir3

当前位置

​ 格式：pwd

复制文件夹

​ 格式：cp -a 原文件夹 目标文件夹

练习：

​ 1、在/tmp目录下创建一个自己姓名的文件夹

​ 2、进入该文件夹，一次性创建文件夹/tmpdir1/tmpdir2/tmpdir3/tmpdir4/tmpdir5

​ 3、将文件夹tmpdir4及其子文件夹移动到与tmpdir1相同的目录

​ 4、创建tmpdir3的软连接到与tmpdir1相同的目录

​ 5、将tmpdir5 名称改为tmpdir555

​ 6、在目录tmpdir1下创建文件夹tmp1、tmp2、tmp3、tmp4

​ 7、查看tmpdir1目录下有哪些文件夹（包含详细信息）

​ 8、删除文件夹tmp1、tmp2、tmp3、tmp4

​ 9、一次性删除文件夹/tmp/姓名

03.文件常用命令

目标:文件的增、删、改、查的命令操作

3.1创建文件的命令

​ 创建空文件 - 格式：touch 文件名（文件存在、不存均可）

​ 创建有数据的文件 - 格式：echo ‘abc’ > 文件名(文件名不能存在)

​

​ 示例： touch test1.txt test2.txt test3.txt

​ echo ‘abc’ > test4.txt

3.2删除文件的命令（谨慎使用，谨慎使用，谨慎使用）

​ 格式：rm 文件夹 （有提示）

​ rm -f 文件 (取消提示)

​ rm -rf 文件 （递归删除）

​ rm -rf 结合通配符 * ? [abc][a-z]

​ rm -rf *.txt

​ 示例：rm -rf test1.txt test2.txt

3.3修改文件的命令

格式：mv  旧文件名       新文件名
1

​ 示例： mv test3.txt test333.txt

3.4查询文件的命令

查看文件信息

​ 格式：ls 文件夹名 文件名 (包含权限、日期等信息)

​ ll 文件夹名 文件名 (不包含权限、日期等信息)

​ 列出某一目录内的内容（内容包括子文件夹和文件）

​ ls 或 ll 列举出当前文件夹内的文件夹和文件

​ 示例： ls /opt

​ ll /opt

查看文件前10行数据

​ 格式 ： head 文件名 或 head -10 文件名

​ 示例 ： head test1.txt 或 head -10 test1.txt

查看文件后10行数据

​ 格式： tail 文件名 或 tail -10 文件名 或 tail -f 文件名

​ 示例 ： tail test1.txt 或tail -10 test1.txt

查看文件内容

​ 格式：more 文件名

​ 示例 ：more test1.txt

查看所有

​ 格式：cat 文件名

过滤查看

​ 格式：grep 关键字 文件名

​ 示例： grep is profile

3.5 其他命令

文件追加

​ 格式：echo ‘abcde’ >> 文件名

​ 示例：echo ‘abcde’ >> test4.txt

复制文件

​ ​ 复制文件夹

​ 格式：cp 原文件 目标文件

练习：

​ 1、创建文件夹/opt/tmp/

​ 2、在/opt/tmp/文件夹内，一次性创建空文件 test1.txt、 test2.txt、 test3.txt、 test4.txt

​ 3、在/opt/tmp/文件夹内，一次性创建文件 test5.txt ,文件内含有数字123456789

​ 4、将文件 test5.txt 改为 test555.txt

​ 5、向test555.txt 文件追加20行数据，第一行1、第二行2、第三行3、… …(或每行内容自己定)

​ 6、查看test555.txt 文件前8行数据

​ 7、查看test555.txt 文件后15行数据

​ 8、删除文件test555.txt

​ 9、删除文件 test1.txt、 test2.txt、 test3.txt、 test4.txt

常用命令补充

ls 命令选项

cd 命令选项

cat 命令选项

grep命令选项

​ grep 选项 关键字 文件名

查阅命令帮助信息(知道)

因为一个命令有很多可选项, 死记硬背肯定不行, 所以需要借助手册查阅.

–help 帮助信息

command --help
1

说明:

• 显示 command 命令的帮助信息

缺点: 虽然可以查询命令的帮助信息, 但是没有提供 翻页、搜索功能.

终端使用技巧

自动补全

• 在敲出 文件/ 目录 / 命令 的前几个字母之后, 按下 tab键
• 如果还存在其他 文件 / 目录 / 命令, 再按一下tab键, 系统会提示可能存在的命令 自动补全

相对路径，结对路径

现有目录节后如下

在dir1目录 进入dir2 或dir3

​ 相对路径进入 cd …/dir2 或 cd …/dir3

​ 绝对路径进入 cd /opt/dir2 或 /opt/dir3

在dir1目录 进入dir7 或dir8

​ 相对路径进入 cd …/…/dir7 或 cd …/…/dir8

​ 绝对路径进入 cd /tmp/dir7 或 /tmp/dir8

在mnt目录 进入dir9 或dir10

​ 相对路径进入 cd dir9 或 cd dir10

​ 绝对路径进入 cd /mnt/dir9 或 /mnt/dir10

总结：

​ 相对路径 ：输入路径时, 最前面不是以 “/” 开始的, 表示相对 当前目录 所在的位置

​ 不足：参照工作目录 发生变化 相对路径也要发生变化

​ 绝对路径 ：在输入路径时, 最前面是以 / 开始的, 表示 从 根目录 开始的具体目录位置

​ 优点: 定位准确, 不会因为 工作目录变化 而变化

04 其他命令

&& 和 ||

如果 创建 目录 成功, 就提示 创建成功

mkdir -p 正确目录 && echo "提示创建目录成功"
1

如果 创建 目录 失败, 就提示 创建失败

mkdir 错误目录 || echo "提示创建目录失败"
1

====================================================================================================================================================================================

我把四篇笔记整合在一篇,如果不方便阅读,从可以看其余的三篇
Linux学习笔记系列:

大数据开发工程师基本功修炼之Linux学习笔记(二)

大数据开发工程师基本功修炼之Linux学习笔记(三)

大数据开发工程师基本功修炼之Linux学习笔记(四)

VI编辑器_终端编辑器(重点重点重点)

目标

1. vi简介
2. 打开和新建文件
3. 三种工作模式
4. 常用命令查询

1 简介

1.1 学习vi的目的

• 在工作中, 要对 服务器上的 文件进行 简单 的修改, 可以使用 ssh 登录到远程服务器上, 并且使用 vi编辑器 进行简单的编辑即可

• 需要修改的文件包括

  • 源代码
  • 配置文件
    • 例如: tomcat服务器的配置文件
    • 例如: 网卡信息的配置文件

  在没有图形界面的环境下, 要编辑文件, vi是最佳选择
  每一个使用linux的程序员,都应该或多或少的学习一些vi的常用命令

1.2 vi 和 vim

1.2.1 VI

• vi是 visual interface的简称, 是linux中最经典的文本编辑器
• vi 的核心设计思想
  • 让程序员的手指始终保持在键盘的 核心区域, 就能完成所有的编辑操作
• vi的特点
  • 只能是编辑 文本内容, 不能对 字体 段落进行排版
  • 不支持鼠标操作
  • 没有菜单
  • 只有命令
• vi编辑器在 系统管理 服务器管理 编辑文件时, 其功能永远不是图形界面的编辑器能比拟的

1.2.2 VIM

viM 是从vi发展出来的文本编辑器, 支持代码补全、编译 及 错误跳转等方便编程的功能提别丰富, 在程序员中被广泛使用, 被称为编辑器之神

2 打开和新建文件

• 在终端中输入vim在后面跟上 文件名 即可

vim 文件名
1

• 如果文件已经存在, 会直接打开该文件
• 如果文件不存在, 保存且退出时 就会新建一个文件

1 vim 没有的文件名
2 编辑内容
	2.1 输出一行语句
	2.2 复制粘贴 2.1内容 19次
	2.3 保存且退出
3 查看
1
2
3
4
5
6

注意: 本节重点是 打开 和 新建文件, 其他命令后面会一一讲解

2.1 打开文件并且定位行

• 在日常工作中, 有可能会遇到打开一个文件, 并定位到指定行的情况
• 例如: 在开发是, 知道某一行代码有错误, 可以 快速定位 到出错误代码的位置
• 这个时候, 可以使用以下命令打开文件

vim 文件名 +行数
1

提示: 如果只带上+ 而不指定行号, 会直接定位到文件末尾

2.2 VI三种工作模式

• VI有三种工作模式

1. 命令模式
   • 打开文件首先进入命令模式, 是使用vi的入口
   • 通过 命令 对文件进行常规的编辑操作, 例如 定位 翻页 复制 粘贴 删除 … …
   • 在其他图形编辑器下, 通过 快捷键 或者 鼠标 实现的操作, 都在 命令模式 下实现
2. 末行模式 – 执行 保存 退出等操作
   • 要退出 vi 返回到控制台, 需要在莫行模式下输入命令
   • 末行模式 是 vi 的出口
3. 编辑模式 – 正常的编辑文字

2.4 末行模式命令

3 常用命令

学习提示

1. vi命令较多, 不要期望一下子全部都记住, 个别命令忘记了, 只是会影响编辑速度而已
   . 在使用vi命令时, 注意 关闭中文输入法

3.1 移动

要熟练使用vi, 首先应该学会怎么在 命令模式下 快速移动光标
编辑操作命令 能够和移动命令一起使用

1) 上 下 左 右

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U5rRQWfx-1624685398652)(F:/%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2/%E4%BC%A0%E6%99%BA%E4%B8%93%E4%BF%AE%E5%AD%A6%E9%99%A2/1812/01linux/%E8%AE%B2%E4%B9%89/02_%E6%89%93%E5%8C%85%E5%8E%8B%E7%BC%A9_vim%E7%BC%96%E8%BE%91%E5%99%A8_%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86_%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90/%E7%AC%94%E8%AE%B0/assets/1558278451153.png)]

2) 行内移动

3) 行数移动

4) 屏幕移动

3.2 移动(程序)

1) 段落移动

• vim中使用 空行 来区分段落

• 程序开发时, 通常 一段功能相关的代码会写在一起 – 之间没有空行

  命令	功能
  {	上一段
  }	下一段

2) 括号切换

• 在程序世界中, **()、[]、{}**使用率很高, 而且 都是成对出现的.

  命令	功能
  %	括号匹配及切换

3.3 选中文本(可视模式)

• 学习 复制 命令前, 应该先学会 怎么样选中 要复制的代码
• 在 vi 中要选择文本, 需要显示 visual 命令切换到 可视模式
• vi 中提供了 三种 可视模式, 可以方便程序员的选择 选中文本的方式
• 按 ESC 可以放弃选中, 返回到 命令模式

• 可视模式下, 可以和 移动命令 连用, 例如 ggVG 能够 选中所有的内容

3.4 撤销和恢复撤销(保命指令)

在学习编辑命令之前,先要知道怎样撤销之前一次 错误的 编辑操作

3.5 删除文本

提示: 如果使用 可视模式 已经选中了一段文本, 那么无论使用 d 还是 x, 都可以删除选中文本

删除命令可以和移动命令连用, 以下是常见的组合命令:

3.6 复制和剪切

• vi 中提供有一个 被复制文本的缓冲区
  • 复制 命令会将选中的文字保存在缓冲区
  • 删除 命令删除的文字会被保存在缓冲区
  • 在需要的位置, 使用 粘贴 命令可以将缓冲对的文字插入到光标所在的位置

提示:

• 命令 d 、x 类似于图形界面的 剪切操作 – ctrl + x
• 命令 y 类似于 图形界面的 复制操作 – Ctrl + C
• 命令 p 类似于图形界面的 粘贴操作 – Ctrl + v
• vi中的文本缓冲区只有一个,如果后续做过 复制、剪切操作, 之前缓冲区中的内容会被替换.

注意

• vi中的 文本缓冲区 和 系统的 剪切板 不是同一个
• 所以在其他软件中使用 Ctrl + C 复制的内容, 不能再 vi 中通过 p 命令粘贴
• 可以在 编辑模式 下使用 鼠标右键粘贴

3.7 替换

• R 命令可以进入 替换模式, 替换完成后, 按下ESC , 按下 ESC 可以回到 命令模式
• 替换命令 的作用就是不用进入 编辑模式, 对文件进行 轻量级的修改

3.8 查找

常规查找

• 查找到指定内容之后, 使用 Next 查找下一个出现的位置

  • n : 查找下一个
  • N : 查找上一个

• 如果不想看到高亮显示, 可以随便查找一个文件中不存在的内容即可

• 单词快速匹配

• 在开发中, 通过单词快速匹配, 可以快速看到这个单词在其他位置使用过

3.9 查找并替换

• 在 vi 中查找和替换命令需要在 末行模式 下执行
• 记忆命令格式

:%s///g
1

1. 全局替换

• 一次向 替换文件中的 所有出现的旧文本

• 命令格式如下

  :%s/旧文本/新文本/g
  1

2. 可视区域替换

• 先选中 要替换文字的 范围
• 命令格式如下

:s/旧文本/新文本/g
1

3. 确认替换

c confirm 确认

• 如果把末尾的 g 改成 gc 在替换的时候, 会有提示! 推荐使用

• 命令格式如下

  :%s/旧文本/新文本/gc
  1

1. y - yes 替换
2. n - no 不替换
3. a - all 替换所有
4. q -quit 退出替换
5. l - last 最后一个, 并把光标移动到行首
6. ^E 向下滚屏
7. ^Y 向上滚屏

3.10 插入命令(重要)

• 在 vi 中除了常用 i 进入编辑模式 外, 还提供了一下命令同样可以进入编辑模式

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RqHjJGgN-1624685398655)(F:/%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2/%E4%BC%A0%E6%99%BA%E4%B8%93%E4%BF%AE%E5%AD%A6%E9%99%A2/1812/01linux/%E8%AE%B2%E4%B9%89/02_%E6%89%93%E5%8C%85%E5%8E%8B%E7%BC%A9_vim%E7%BC%96%E8%BE%91%E5%99%A8_%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86_%E7%94%A8%E6%88%B7%E6%9D%83%E9%99%90/%E7%AC%94%E8%AE%B0/assets/1558543477231.png)]

3.11 练习

演练1 – 编辑命令 和 数字连用

• 在开发中, 可能会遇到连续输入 N 个同样的字符
• 例如: ********** 连续10个星号

要实现这个效果可以在 命令模式 下

1. 输入 10, 表示要重复10次
2. 输入 i 进入 编辑模式
3. 输入 * 也就是重复的文字
4. 按下 ESC 返回 命令模式, 返回之后 vi 就会把 第 2、3 两步的操作重复 10 次

提示： 正常开发时， 在 进入编辑模式之前，不要按数字

搜索命令

2.find 搜索

准备工作

切换目录到 /export/ 且 清空内容

cd /export/ && rm -rf /export/* && tree

新增目录 且 切换目录 且 新增文件

mkdir -p /export/aaa/bbb/ccc/ddd/eee/
touch /export/aaa/bbb/ccc/ddd/eee/abc.txt
touch /export/aaa/123.txt
touch /export/aaa/312.txt

查看 /export 目录中的内容

tree /export

目标

• 通过find命令 在特定目录下(包含它的后代目录) 搜索 符合条件的文件

2.1 路径

• 第一步: 搜索指定目录下, 文件是 abc.txt的文件
• 第二步: 搜索指定目录下, 文件名 包含 1 的文件
• 第三步: 搜索指定目录下,所有以.txt 为扩展名的文件
• 第四步: 搜索指定目录下, 以数字1开头的文件

2.2实现 : 在指定目录中 根据名称 搜索

• 命令格式

• 如果省略路径, 表示在当前文件夹下查找
• 之前学习的通配符, 在使用find命令时同时可用

• 第一步: 搜索指定目录下, 文件是 abc.txt的文件

# ===================实现目标============================
# 方式一: 指定全目录
find /export/ -name 'abc.txt'
# 方式二: 当前目录
find . -name 'abc.txt'
# 方式三: 当前目录 可以 省略 不写
find -name 'abc.txt'
1
2
3
4
5
6
7

• 第二步: 搜索指定目录下, 文件名 包含 1 的文件

# =================准备工作===============
# 1 创建测试文件
touch /export/12.txt /export/616.txt /export/321.txt  

# =================实现目录===============
find /export/ -name "*1*"
1
2
3
4
5
6

• 第三步: 搜索指定目录下,所有以.txt 为扩展名的文件

find /export/ -name "*.txt"
1

• 第四步: 搜索指定目录下, 以数字1开头的文件

find /export -name "1*"
1

2.3 小结

• 通过 find [path] -name "*1*" 完成根据名称搜索文件

解压缩命令

• 准备工作

# 清空指定目录内容
cd /export/ && rm -rf *

# 创建测试文件
touch 1.txt 2.txt 3.txt

# 创建有内容的测试目录
mkdir -p /export/aaa/
touch /export/aaa/4.txt /export/aaa/5.txt

# 查看结果
tree /export
1
2
3
4
5
6
7
8
9
10
11
12

目标

• 从第三方 下载 压缩包, 解压缩后 安装到 服务器上
• 通过 打包压缩 备份文件

jar : java rar java项目的压缩包

war : web rar web项目的压缩包

路径

• 2.1 第一步: 打包 和 解包

• **2.2 第二步: 打包压缩 和 解包解压缩 **

3.实现

3.1 第一步: 打包 和 解包

3.1.1 打包

• 类似将 冬天的衣服 放到 袋

• 打包之后的大文件 需要以 .tar 结尾.

tar 打包命令格式

# 将 一系列文件 打包成 一个大文件
tar -cvf 打包名.tar 被打包的目录
tar -cvf 打包名.tar 被打包的文件1 被打包的文件2 被打包的文件3
1
2
3

tar 选项说明

练习1: 将1.txt、2.txt、3.txt 打包成 123.tar文件

练习2: 将有内容的aaa目录 打包成 aaa.tar 文件
1
2
3

3.1.2 解包

• 类似将 冬天的衣服 从 袋子里取出来

tar 解包命令格式

# 将一个打包后的 分解成 一系列小文件, 分解位置为 当前目录
tar -xvf 打包名.tar

# 将一个打包后的 分解成 一系列小文件, 分解位置为 指定目录
tar -xvf 打包名.tar -C 解包路径位置
1
2
3
4
5

练习1: 将 123.tar 解压到 当前目录中

练习2: 将 aaa.tar 解包到 /export/test/a1/b1/c1/ 目录中
1
2
3

小结

打包: tar -cvf 打包之后的文件名.tar   被打包的目录或文件名
	
解包: tar -xvf 打包之后的文件名.tar  [ -C  指定解包位置 ]
1
2
3

• 准备工作

  # 清空指定目录内容
  cd /export/ && rm -rf *
  
  # 创建测试文件
  touch 1.txt 2.txt 3.txt
  
  # 创建有内容的测试目录
  mkdir -p /export/aaa/
  touch /export/aaa/4.txt /export/aaa/5.txt
  
  # 查看结果
  tree /export
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

3.2 第二步: 使用gzip格式 压缩 和 解压缩

• 打包 和 压缩 是两件事

• 类似与 先将冬天衣服放到压缩袋, 再抽取里面的空气

• 在 Linux 中, 最常用的压缩文件格式是 xxx.tar.gz

• 在 tar 命令中有一个选项 -z 可以调用 gzip , 从而可以方便的实现压缩和解压缩的功能

命令格式如下

# 压缩文件
tar -zcvf 打包压缩文件名.tar.gz 被压缩的文件/目录

# 解压缩文件(记忆敲门: 至孝潍坊)
tar -zxvf 打包文件.tar.gz

# 解压缩到指定路径
tar -zxvf 打包文件.tar.gz -C 目录路径
1
2
3
4
5
6
7
8

tar 的选项说明

练习1: 将1.txt、2.txt、3.txt 打包压缩成 123.tar.gz文件(gzip压缩格式)

练习2: 将有内容的aaa目录 打包成 aaa.tar.gz 文件(gzip压缩格式)

练习3: 将 123.tar.gz 解压到 当前目录中(gzip压缩格式)

练习4: 将 aaa.tar.gz 解包到 /export/bbb 目录中(gzip压缩格式)
1
2
3
4
5
6
7

小结

打包压缩: tar -zcvf 打包之后的文件名.tar.gz   被打包压缩的目录或文件名
	
解包解压缩: tar -zxvf 打包之后的文件名.tar.gz  [ -C  指定解包位置 ]
1
2
3

• 准备工作

  # 清空指定目录内容
  cd /export/ && rm -rf *
  
  # 创建测试文件
  touch 1.txt 2.txt 3.txt
  
  # 创建有内容的测试目录
  mkdir -p /export/aaa/
  touch /export/aaa/4.txt /export/aaa/5.txt
  
  # 查看结果
  tree /export
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

3.3 第三步: 使用 bzip2 格式 压缩 和 解压缩

• bzip 是压缩的第二种方式
• 类似与 先将冬天衣服放到压缩袋, 再抽取里面的空气
• 在 Linux 中, bzip2 压缩文件格式是 xxx.tar.bz2
• 在 tar 命令中有一个选项 -j 可以调用 bzip2 , 从而可以方便的实现压缩和解压缩的功能

命令格式如下

# 压缩文件
tar -jcvf 打包压缩文件名.tar.bz2 被压缩的文件/目录

# 解压缩文件 (绩效潍坊)
tar -jxvf 打包文件.tar.bz2

# 解压缩到指定路径
tar -jxvf 打包文件.tar.bz2 -C 目录路径
1
2
3
4
5
6
7
8

tar 的选项说明

练习1: 将1.txt、2.txt、3.txt 打包压缩成 123.tar.bz2文件(bzip2压缩格式)

练习2: 将有内容的aaa目录 打包成 aaa.tar.bz2 文件(bzip2压缩格式)

练习3: 将 123.tar.bz2 解压到 当前目录中(bzip2压缩格式)

练习4: 将 aaa.tar.bz2 解包到 /export/bbb 目录中(bzip2压缩格式)
1
2
3
4
5
6
7

小结

打包压缩: tar -jcvf 打包之后的文件名.tar.bz2   被打包压缩的目录或文件名
	
解包解压缩: tar -jxvf 打包之后的文件名.tar.bz2  [ -C  指定解包位置 ]
1
2
3

关机

halt
1

重启

reboot
1

4 用户权限相关命令

目标

• 理解 用户 和 权限 的基本概念
• 用户管理 终端命令
• 组管理 终端命令
• 修改权限 终端命令

用户和权限的基本概念

4.1 基本概念

• 用户 是Linux系统工作中重要的一环, 用户管理包括 用户 与 组 管理

• 在Linux系统中, 不论是由本级或是远程登录系统, 每个系统都必须拥有一个账号, 并且对于不同的系统资源拥有不同的使用权限

• 对 文件 / 目录 的权限包括:

• 在 Linux中 ,可以指定 每一个用户 针对 不同的文件或者目录 的 不同权限

4.2 组

• 为了方便用户管理, 提出了 组 的概念, 如下图所示

4.3 ls -l 扩展

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lwckbqR0-1624685398660)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1570973470529.png)]

• ls -l 可以查看文件夹下文件的详细信息, 从左到右 依次是:

  • 权限, 第一个字符如果是 d 表示目录
  • 硬链接数, 通俗的讲就是有多少种方式, 可以访问当前目录和文件
  • 拥有者, 家目录下 文件 / 木兰路 的拥有者通常都是 当前用户
  • 组, 在linux中, 很多时候, 会出现组名 和 用户名 相同的情况, 后续会讲
  • 大小
  • 时间
  • 名称

  

  

4.4.组管理 终端命令

本质: 给 同一类型用户 分配权限

提示:

• 组信息保存在 /etc/group 文件中
• /etc 目录是专门用来保存 系统配置信息 的目录

• 在实际应用中, 可以预先针对 组 设置好权限, 然后 将不同的用户添加到对应的组中, 从而不用依次为每一个用户设置权限

演练目标

1. 在 指定目录下 创建 aaa 目录
2. 新建 dev 组
3. 将 aaa 目录的组修改为 dev

4.5.用户管理 终端命令

（1） 创建用户 / 设置密码 / 删除用户

提示:

• 创建用时, 如果忘记添加 -m 选项指定新用户的家目录 – 最简单的方式就是删除用户,重新创建
• 创建用户时, 默认会创建一个和用户名同名的组名
• 用户信息保存在 /etc/passwd 文件中

/etc/passwd 文件存放的是用户的信息, 由6个分好组成的7个信息, 分别是

1. 用户名
2. 密码 (x, 表示加密的密码)
3. UID (用户标志)
4. GID(组标志)
5. 用户全名或本地账号
6. 家目录
7. 登录使用的Shell, 就是登录之后, 使用的终端命令

（2） 查看用户信息

（3） su 切换用户

• 因为 普通用户 不能使用某些权限, 所以需要 切换用户

• su 不接用户名, 可以切换到 root , 但是不推荐使用, 因为不安全
• exit 示意图如下:

（4） sudo

• 虽然 通过 su -u root 可以切换到 root用户, 但是 存在严重的 安全隐患

• linux系统中的 root 账号通常 用于系统的维护和管理, 对操作系统的所有资源 具有访问权限

• 如果不小心使用 rm -rf ... ... , 就可能将系统搞瘫痪

• 在大多数版本的linux中, 都不推荐 直接只用 root 账号登录系统

• sudo 命令用来以其他身份来执行命令, 预设的身份为 root

• 用户使用 sudo 时, 必须先输入密码, 之后5分钟的有效期限, 超过期限则必须重新输入密码

  提示: 若其未经授权的用户企图使用 sudo, 则会发出警告邮件给管理员

（4.1） 给 指定用户 授予 权限

• 本质: 通知 服务器 给 特定用户 分配 临时管理员权限

vim /etc/sudoers

# 默认存在: root用户 具备所有的权限
root    ALL=(ALL)       ALL

# 授予 zhangsan 用户 所有的权限
zhangsan    ALL=(ALL)       ALL 
1
2
3
4
5

（4.2） 使用 用户 zhangsan 登录, 操作管理员命令

• 本质: 使用临时管理员权限

# 不切换root用户, 也可以完成 添加用户的功能 
sudo useradd -m -g dev zhaoliu
1
2

准备工作: 使用root用户操作

# 清空目录中的内容
rm -rf /export/*

# 创建测试目录
mkdir -p /export/aaa/

# 创建测试文件
touch /export/aaa/01.txt /export/aaa/02.txt

# 查看指定目录内容
tree /export
1
2
3
4
5
6
7
8
9
10
11

（5）.修改用户权限

5.1 方式一: 修改用户权限

• chmod 可以修改 用户/组 对 文件/目录 的权限

• 命令格式如下:

  chmod +/- rwx 文件名|目录名
  1

  提示: 已上方式会一次向修改 拥有者 / 组权限

目标演练:

# 1. 使用 root 删除目录的可读 可写 可执行权限

# 2. 使用 其他用户如 zhangsan 无法切换到 这个目录

# 3. 使用 root 增加目录的执行权限, 再次 使用 zhangsan 切换到目录试试
1
2
3
4
5

5.2 方式二

• 虽然 方式一 直接修改文件|目录的 读|写|执行 权限, 但是不能精确到 拥有者|组|其他 权限
• 命令格式如下:( u 表示所属用户 / g 表示所属组 / o 表示其他)

chmod -R u=rwx,g=rx,o=rwx 文件|目录
1

目标演练:

# 1 使用root用户给 所属用户分配 可读、可写、可执行 权限, 
    所属组 分配 可读、可执行 权限, 
    其他人 分配 可读、可执行 权限 
    
1
2
3
4

5.3 方式三: 简化方式二

• 命令格式如下:

chmod -R 755 文件|目录
1

• 说明 第一个数字 是 拥有者权限, 第二个数字 是 组权限, 第三个数字 是 其他用户权限

常用数字组合有( u 表示用户 / g 表示组 / o 表示其他)

• 777 ===> u=rwx, g=rwx, o=rwx
• 755 ===> u=rwx, g=rx, o=rx
• 644 ===> u=rw, g=r, o=r

目标演练:

# 1 使用root用户给 所属用户分配 可读、可写、可执行 权限, 
    所属组 分配 可读、可执行 权限, 
    其他人 分配 可读、可执行 权限 
1
2
3

系统信息相关命令

• 本节内容主要是为了方便通过远程终端维护服务器时, 查看服务器上当前 系统日期和时间 / 磁盘空间占用情况 /程序执行情况
• 本小结学习终端命令都是查询命令, 通过这些命令对系统资源的使用情况有个了解

目标

• 时间和日期
  • date
  • cal
• 磁盘和目录空间
  • df
  • du
• 进程信息
  • ps
  • top
  • kill

1.时间和日期

1.1 date 时间

第一步: 显示当前时间

# 显示时间
date

# 按照指定格式显示时间
date +"%Y-%m-%d %H:%M:%S"
1
2
3
4
5

第二步: 设置系统时间

date -s "时间字符串"
1

1.2 cal 日历

02.磁盘信息

• 选项说明

03.进程信息

• 所谓 进程, 通俗的说就是 当前正在执行的一个进程

ps 默认只会显示当前用户通过终端启动的应用程序

• ps 选项说明功能

  选项	含义
  a	显示终端上的所有进程,包括其他用户的进程
  u	显示进程的详细状态
  x	显示没有控制终端的进程

  提示: 使用kill命令时, 最好只终止由当前用户开启的进程, 而不要终止root身份开启的进程, 否则可能导致系统崩溃

• 要退出 top 可以直接输入 q

top

us 用户空间占用CPU百分比
sy 内核空间占用CPU百分比
ni 用户进程空间内改变过优先级的进程占用CPU百分比
id 空闲CPU百分比
wa 等待输入输出的CPU时间百分比
hi 硬件中断
si 软件中断 
st: 实时
1
2
3
4
5
6
7
8

PID 进程号
USER 用户名
PR 优先级
NI nice值。负值表示高优先级，正值表示低优先级m
RES 进程使用的、未被换出的物理内存大小，单位kb
SHR 共享内存大小，单位kb
S 进程状态。
D=不可中断的睡眠状态
R=运行
S=睡眠
T=跟踪/停止
Z=僵尸进程
%CPU CPU使用率
%MEM 进程使用的物理内存百分比
TIME+ 进程使用的CPU时间总计，单位1/100秒
COMMAND 执行的命令

管道相关命令

目标

• cut
• sort
• wc
• uniq
• tee
• tr
• split
• awk
• sed
• grep

• 准备工作

  zhangsan 68 99 26
  lisi 98 66 96
  wangwu 38 33 86
  zhaoliu 78 44 36
  maq 88 22 66
  zhouba 98 44 46
  1
  2
  3
  4
  5
  6

• 以上是成绩表信息

• 使用 逗号 分割, 第一列 是 姓名, 第二列是 语文成绩, 第三列是 数学成绩, 第四列是 英语成绩

准备工作

vim 1.txt

111:aaa:bbb:ccc
222:ddd:eee:fff
333:ggg:hhh
444:iii
1
2
3
4

1 cut

1.1 目标

• cut 根据条件 从命令结果中 提取 对应内容

1.2 实现

第一步: 截取出1.txt文件中前2行的第5个字符

• 参数

head -2 1.txt | cut -c 5
1

第二步: 截取出1.txt文件中前2行以”:”进行分割的第1,2段内容

范围控制

head -2 1.txt | cut -d ':' -f 1,2
1

head -2 1.txt | cut -d ':' -f 1-2
1

1.3 小结

• 通过 cut 动作 目标文件 可以根据条件 提取对应内容

• 准备工作

  vim score.txt

  zhangsan 68 99 26
  lisi 98 66 96
  wangwu 38 33 86
  zhaoliu 78 44 36
  maq 88 22 66
  zhouba 98 44 46
  1
  2
  3
  4
  5
  6

2 sort

2.1 目标

• sort可针对文本文件的内容，以行为单位来排序。

2.2 路径

• 第一步: 对字符串排序
• 第二步: 去重排序
• 第三步: 对数值排序
• 第四步: 对成绩排序

2.3 实现

第一步: 对字符串排序

[root@node01 tmp]# cat 2.txt
banana
apple
pear
orange
pear

[root@node01 tmp]# sort 2.txt 
apple
banana
orange
pear
pear
1
2
3
4
5
6
7
8
9
10
11
12
13

第二步: 去重排序

它的作用很简单，就是在输出行中去除重复行。

[root@node01 tmp]# sort -u 2.txt 
apple
banana
orange
pear
1
2
3
4
5

第三步: 对数值排序

• 准备数据

  [root@node01 tmp]# cat 3.txt 
  1
  3
  5
  7
  11
  2
  4
  6
  10
  8
  9
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

• 默认按照字符串排序

  [root@node01 tmp]# sort 2.txt 
  1
  10
  11
  2
  3
  4
  5
  6
  7
  8
  9
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

• 升序

  [root@node01 tmp]# sort -n 2.txt
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

• 倒序

  [root@node01 tmp]# sort -n -r 2.txt
  11
  10
  9
  8
  7
  6
  5
  4
  3
  2
  1
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

• 合并式

  [root@node01 tmp]# sort -nr 2.txt  
  11
  10
  9
  8
  7
  6
  5
  4
  3
  2
  1
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12

第四步: 对成绩排序

‘’

# 根据第二段成绩 进行倒序显示 所有内容
sort -t ',' -k2nr score.txt 
1
2

3 wc命令

3.1 目标

• 显示指定文件 字节数, 单词数, 行数 信息.

3.2 路径

• 第一步: 显示指定文件 字节数, 单词数, 行数 信息.
• 第二步: 只显示 文件 的行数
• 第三步: 统计多个文件的 行数 单词数 字节数
• 第四步: 查看 /etc 目录下 有多少个 子内容

3.3 实现

第一步: 显示指定文件 字节数, 单词数, 行数 信息.

[root@hadoop01 export]# cat 4.txt
111
222 bbb
333 aaa bbb 
444 aaa bbb ccc
555 aaa bbb ccc ddd
666 aaa bbb ccc ddd eee

[root@hadoop01 export]# wc 4.txt 
 6 21 85 4.txt
1
2
3
4
5
6
7
8
9
10

第二步: 只显示 文件 的行数

[root@hadoop01 export]# wc 4.txt 
 6 21 85 3.txt
1
2

第三步: 统计多个文件的 行数 单词数 字节数

[root@hadoop01 export]# wc 1.txt 2.txt 3.txt 
  4   4  52 1.txt
 11  11  24 2.txt
  6  21  85 3.txt
 21  36 161 总用量
 
[root@hadoop01 export]# wc *.txt
  4   4  52 1.txt
 11  11  24 2.txt
  6  21  85 3.txt
  6   6  95 score.txt
 27  42 256 总用量
1
2
3
4
5
6
7
8
9
10
11
12

第四步: 查看 /etc 目录下 有多少个 子内容

[root@hadoop01 export]# ls /etc | wc -w
240
1
2

3.4 小结

• 通过 wc 文件 就可以 统计 文件的 字节数、单词数、行数.

4 uniq

uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

4.1 目标

• uniq 命令用于检查及删除文本文件中重复出现的行，一般与 sort 命令结合使用。

4.2路径

• 第一步：实现去重效果
• 第二步：不但去重，还要 统计出现的次数

4.3 实现

第一步：实现去重效果

# 准备内容
[root@hadoop01 export]# cat 5.txt 
张三    98
李四    100
王五    90
赵六    95
麻七    70
李四    100
王五    90
赵六    95
麻七    70

# 排序
[root@hadoop01 export]# cat 5.txt | sort
李四    100
李四    100
麻七    70
麻七    70
王五    90
王五    90
张三    98
赵六    95
赵六    95

# 去重
[root@hadoop01 export]# cat 5.txt | sort | uniq
李四    100
麻七    70
王五    90
张三    98
赵六    95

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

第二步：不但去重，还要 统计出现的次数

[root@hadoop01 export]# cat 5.txt | sort | uniq -c
      2 李四    100
      2 麻七    70
      2 王五    90
      1 张三    98
      2 赵六    95
1
2
3
4
5
6

4.4 小结

• 通过 uniq [选项] 文件 就可以完成 去重行 和 统计次数

5 tee

5.1 目标

• 通过 tee 可以将命令结果 通过管道 输出到 多个文件中

5.2 实现

• 将去重统计的结果 放到 a.txt、b.txt、c.txt 文件中

  cat 5.txt | sort | uniq -c | tee a.txt b.txt c.txt
  1

5.3 小结

• 通过 tee 可以将命令结果 通过管道 输出到 多个文件中

6 tr

6.1 目标

• 通过 tr 命令用于 替换 或 删除 文件中的字符。

6.2 路径

• 第一步: 实现 替换 效果
• 第二步: 实现 删除 效果
• 第三步: 完成 单词计数 案例

6.3 实现

第一步: 实现 替换效果

# 将 小写i 替换成  大写 I
# 把itheima的转换为大写
# 把 HELLO 转成 小写
1
2
3

# 将 小写i 替换成  大写 I
echo "itheima" | tr 'i' 'I'

# 把itheima的转换为大写
echo "itheima" |tr '[a-z]' '[A-Z]'

# 把 HELLO 转成 小写
echo "HELLO" |tr '[A-Z]' '[a-z]'
1
2
3
4
5
6
7
8

第二步: 实现删除效果

• 需求: 删除abc1d4e5f中的数字

echo 'abc1d4e5f' | tr -d '[0-9]'
1

第三步: 单词计数

准备工作

[root@hadoop01 export]# cat words.txt 
hello,world,hadoop
hive,sqoop,flume,hello
kitty,tom,jerry,world
hadoop
1
2
3
4
5

1 将, 换成 换行

2 排序

3 去重

4 计数

# 统计每个单词出现的次数
[root@hadoop01 export]# cat words.txt | tr ',' '\n' | sort | uniq -c
      1 flume
      2 hadoop
      2 hello
      1 hive
      1 jerry
      1 kitty
      1 sqoop
      1 tom
      2 world
1
2
3
4
5
6
7
8
9
10
11

• 准备工作

  # 查看 /etc目录下 以.conf以结尾的文件的内容
  cat -n /etc/*.conf
  
  # 将命令结果 追加到 /export/v.txt 文件中
  cat -n /etc/*.conf >> /export/v.txt
  1
  2
  3
  4
  5

7 split

7.1 目标

• 通过 split 命令将大文件 切分成 若干小文件

7.2 路径

• 第一步: 按 字节 将 大文件 切分成 若干小文件
• 第二步: 按 行数 将 大文件 切分成 若干小文件

7.3 实现

第一步: 按 字节 将 大文件 切分成 若干小文件

第二步: 按 行数 将 大文件 切分成 若干小文件

7.4 小结

• 通过 split 选项 文件名 命令将大文件 切分成 若干小文件

• 准备工作1:

  vim score.txt

  zhangsan 68 99 26
  lisi 98 66 96
  wangwu 38 33 86
  zhaoliu 78 44 36
  maq 88 22 66
  zhouba 98 44 46
  1
  2
  3
  4
  5
  6

8 awk

8.1 目标

• 通过 awk 实现 模糊查询, 按需提取字段, 还可以进行 判断 和 简单的运算等.

8.2 步骤

• 第一步: 模糊查询

• 第二步: 指定分割符, 根据下标显示内容

• 第三步: 指定输出字段的分割符

• 第四步: 调用 awk 提供的函数

• 第五步: 通过if语句判断$4是否及格

• 第六步: 段内容 求和

8.3 实现

第一步: 搜索 zhangsan 和 lisi 的成绩

第二步: 指定分割符, 根据下标显示内容

选项

第三步: 指定分割符, 根据下标显示内容

选项

第四步: 调用 awk 提供的函数

常用函数如下:

第五步: if语句 查询及格的学生信息

选项

第六步: 段内容 求学科平均分

awk -F ',' 'BEGIN{}{total=total+$4}END{print total, NR, (total/NR)}' score.txt
1

• 准备工作

  vim 1.txt

  aaa java root
  bbb hello
  ccc rt
  ddd root nologin
  eee rtt
  fff ROOT nologin
  ggg rttt
  1
  2
  3
  4
  5
  6
  7

9 sed

9.1 目标

• 通过 sed 可以实现 过滤 和 替换 的功能.

9.2 路径

• 第一步: 实现 查询 功能
• 第二步: 实现 删除 功能
• 第三步: 实现 修改 功能
• 第四步: 实现 替换 功能
• 第五步: 对 原文件 进行操作
• 第六步: 综合 练习

9.3 实现

第一步: 实现 查询 功能

可选参数

• 练习1 列出 1.txt的 1~5行 的数据

sed -n -e '1,5p' 1.txt 
1

• 练习2 列出01.txt的所有数据

sed -n -e '1,$p' 1.txt 
1

• 练习3 列出01.txt的所有数据 且 显示行号

sed -n -e '1,$=' -e '1,$p' 1.txt 

简化版
cat -n 1.txt
cat -b 1.txt
nl 1.txt
1
2
3
4
5
6

• 练习4: 查找01.txt中包含root行

答案：

sed -n -e '/root/p' 1.txt
1

• 练习5 列出01.txt中包含root的内容，root不区分大小写,并显示行号

答案：

nl 1.txt | sed -n -e '/root/Ip'

nl 01.txt | grep -i root

cat -n 01.txt | grep -i root
1
2
3
4
5

• 练习6 查找出1.txt中 字母r后面是多个t的行，并显示行号

答案：

nl 01.txt | sed -nr -e '/r+t/p'
1

或者

sed -nr -e '/r+t/p' -e '/r+t/=' 01.txt
1

第二步: 实现 删除 功能

• 练习1 删除01.txt中前3行数据，并显示行号

答案：

nl 01.txt | sed -e '1,3d'
1

• 练习2 保留1.txt中前4行数据，并显示行号

答案：

nl 01.txt | sed -e '5,$d'

nl 1.txt | sed -n -e '1,4p'
1
2
3

第三步: 实现 修改 功能

• 练习1: 在01.txt的第二行后添加aaaaa,并显示行号

答案：

nl 01.txt | sed -e '2a aaaaa'
1

• 练习2 在1.txt的第1行前添加bbbbb，并显示行号

答案：

nl 01.txt | sed -e '1i bbbbb'
1

第四步: 实现 替换 功能

• 练习1 把1.txt中的nologin替换成为huawei,并显示行号

答案：

nl 1.txt | sed -e 's/nologin/huawei/'
1

• 练习2 把01.txt中的1,2行替换为aaa,并显示行号

答案：

nl passwd | sed -e '1,2c aaa'
1

第五步: 对 原文件 进行操作

• 练习1 在01.txt中把nologin替换为 huawei

答案：

sed -i -e 's/nologin/huawei/' 01.txt
1

• 练习2 在01.txt文件中第2、3行替换为aaaaaa

答案：

sed -i -e '2,3c aaa' 01.txt
1

注意：在进行操作之前，最好是对数据进行备份，放置操作失误，数据无法恢复！

• 练习3 删除01.txt中前2行数据，并且删除原文件中的数据

答案：

sed -i -e '1,2d' 01.txt


nl passwd 查看数据
1
2
3
4

第六步: 综合 练习

• 练习1 获取ip地址

答案：

ifconfig eth0 | grep "inet addr" | sed -e 's/^.*inet addr://' | sed -e 's/Bcast:.*$//' 
1

• 练习2 从1.txt中提出数据，匹配出包含root的内容，再把nologin替换为itheima

答案：

nl 01.txt | grep 'root' | sed -e 's/nologin/itheima/'

或者

nl 01.txt | sed -n -e '/root/p' | sed -e 's/nologin/itheima/'

或者

nl 01.txt | sed -n -e '/root/{s/nologin/itheima/p}' #只显示替换内容的行
1
2
3
4
5
6
7
8
9

• 练习3 从1.txt中提出数据，删除前2行，并把nologin替换为itheima,并显示行号

答案：

nl 01.txt | sed -e '1,2d' | sed -e 's/nologin/itheima/'
1

1 挂载新的硬盘

1.1 目标

• 虚拟机 增加一块 硬盘

1.2 路径

• 第一步: 了解linux系统分区的原理
• 第二步: 查看系统分区情况
• 第三步: 虚拟机 增加 硬盘
• 第四步: 分区
• 第五步: 格式化
• 第六步: 挂载
• 第七步: 设置重启后 挂载不失效

1.3 实现

第一步: 了解linux系统分区的原理

• 一个硬盘可以分成多个分区
• 用户不能直接操作硬件, 需要 让硬件和系统的目录 建立映射关系(挂载) 才可以操作, 称为 挂载

第二步: 查看系统分区挂载情况

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F5x3IfHz-1624685690449)(assets/1558957195965.png)]

• lsblk 的记忆小窍门: 老师不离开 的首字母

第三步: 虚拟机 增加 硬盘

• 模拟将买的硬盘插入到 服务器中

1. 选中 目标虚拟机 右键 设置
2. 选中 硬盘 点击 添加按钮
3. 点击 下一步
4. 选择 创建新虚拟磁盘
5. 指定 磁盘大小为10G
6. 完成
7. 注意: 重启 才可以生效

第四步: 分区

分区命令可选项

操作如下:

1. fdisk /dev/sdb 开始分区
2. 输入 m , 进入 目录列表
3. 输入 n , 新增分区
4. 输入 p , 开始分区, 后面按回车
5. 最后 输入 w, 保存 且 退出
6. lsblk -f 查看是否成功

第五步: 格式化

操作如下

1. mkfs -t ext4 /dev/sdb1 格式化指定分区
2. lsblk -f 查看是否成功

第六步: 挂载

操作步骤

1. 创建目录 mkdir -p /home/newdisk
2. mount /dev/sdb1 /home/newdisk 建立 设备分区 和 系统目录 的映射关系
3. lsblk -f 查看是否挂载成功

• 注意: 重启后 挂载失效

第七步: 设置重启不失效

操作步骤

• 第一步: 将映射关系写到配置文件中 /etc/fstab
• 第二步: mount -a 重新加载/etc/fstab 文件 ; mount 显示 /etc/fstab 文件内容
• 第三步: 重启操作系统后, 测试 lsblk -f

1.4 小结

• 用户不能直接访问 硬件设备
• 需要将硬件设备 挂载到 系统目录上, 用户才可以让用户访问

1.5 挂载 持有系统镜像 光驱

1.5.1 目标

• 因为 linux系统镜像中包含了常用的软件包, 就不用从网上下载了
• 所以需要挂载 持有系统镜像 的 光驱

1.5.2 路径

• 第一步: 将 linux系统镜像 放到光驱中

• 第二步: 创建目录 /mnt/cdrom

• 第三步: 通过挂载 建立 硬件 和 系统目录的关系

• 第四步: 到镜像中 寻找按照包

1.5.3 实现

1. 目标虚拟机, 右键 设置

2. 选中 CD/DVD, 浏览 选中本地的 centOS 镜像

   

3. 创建目录 mkdir -p /mnt/cdrom

4. 挂载镜像文件 mount /dev/sr0 /mnt/cdrom

5. 进入挂载目录, 找到 安照包

   # 切换到安装包目录中
   cd /mnt/cdrom/Packages/
   
   # 搜索tree安装包
   ls | grep tree
   1
   2
   3
   4
   5

1.5.4 小结

• 通过 挂载 系统光驱, 就可以 获取系统镜像中 软件包

• 注意: 系统镜像目录中 不能有中文, 不能有空格

2 rpm 软件包管理器

2.1 目标

• 通过 rpm命令 实现对软件 的安装、查询、卸载
• RPM 是Red-Hat Package Manager（RPM软件包管理器）的缩写
• 虽然 打上了 red-hat 的标记, 但是理念开放, 很多发行版都采用, 已经成为行业标准

2.2 路径

• 第一步: rpm包 的 查询命令
• 第二步: rpm包 的 卸载
• 第三步: rpm包 的 安装

2.3 实现

第一步: rpm包 的 查询命令

• 查询已安装的rpm列表

  rpm -qa | grep XXX
  rpm -qa | less
  1
  2

• 查询软件包信息

  rpm -qi 软件全包名
  1

• 查看一个rpm包中的文件安装到那里去了？

  rpm -ql 软件全包名
  1

• 查看指定文件归属于那个软件包

  rpm -qf 文件的全路径
  1

第二步: rpm包 的 卸载

第三步: rpm包 的 安装

2.4 小结

# 1 查询
rpm -qa | grep rpm包

# 2 卸载
rpm -e rpm全包名
rpm -e --nodeps rpm全包名

# 3 安装
rpm -ivh rpm包的全路径 
1
2
3
4
5
6
7
8
9

3 yum

3.1 目标

• Yum（全称为 Yellow dog Updater, Modified）本质上 也是一个 软件包管理器。
• 特点: 基于 RPM 包管理，能够从指定的服务器 自动下载、 自动安装、 自动处理依赖性关系

3.2 路径

• 第一步: yum的原理

• 第二步: 常用指令 （重点）

• 第三步: 制作 本地 yum 源

• 第四步: 制作 局域网 yum 源

3.3 实现

3.3.1 yum的原理

3.3.2 常用命令(重点)

注意: 必须联网

3.3.3 制作本地yum源

• 原因: 因为大数据集群 为了安全, 不让连接外网

• 原理

  

• 实现

  • 第一步 挂载 持有系统镜像的 光驱, 请参考 1.5 小结

  • 第二步: 备份默认yum源仓库

  # 切换到保存yum信息的目录
  cd /etc/yum.repos.d/
  
  # 备份所有的配置文件
  rename .repo .repo.bak *    
  
  # 查看是否备份成功
  ll
  1
  2
  3
  4
  5
  6
  7
  8

  

  • 第三步: 新增本地yum源 vim CentOS-Local.repo

  vi CentOS-Local.repo
  1

  编辑内容如下

  [base]
  name=CentOS-Local
  baseurl=file:///mnt/cdrom
  gpgcheck=0
  enabled=1 
  1
  2
  3
  4
  5

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0RnaPeNs-1624685690462)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1571065658421.png)]

  • 注意: 必须以 .repo 结尾

  • 第五步: 断网 测试是否可以安装

    # 查看 yum 源仓库
    yum repolist
    
    # 清空缓存
    yum clean all
    
    # 卸载 tree 软件
    yum -y remove tree
    
    # 重新安装 tree 观察是否成功
    yum -y install tree
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11

3.3.4 制作局域网yum源

• 原理

  

3.3.5.1 安装httpd软件

• 安装httpd:

  yum -y install httpd
  1

• 启动 httpd 服务

  service httpd start
  1

• 测试

  http://192.168.100.201:80
  1

• 问题: 发现无法访问?

  • 原因: 因为 linux 的防火墙 禁止他人 访问自己的80端口

  • 解决: 通知 防火墙放行

• 关闭防火墙

  • 原因: 为了方便 内网中集群间机器的相互操作, 通常会关闭防火墙

  • 关闭防火墙

    service iptables stop
    1

  • 重启之后不要开防火墙

    chkconfig iptables off
    1

3.3.4.3 制作局域网 yum源

• 使用浏览器访问http://192.168.100:201:80

  

• 第一步: 将常用软件包 复制到指定目录下

  # 拷贝yum源到httpd服务的默认工作路径下
  cp -r /mnt/cdrom/* /var/www/html/CentOS-6.9
  1
  2

• 第二步: 浏览器访问http://192.168.100.201/CentOS-6.9/

  

• 第三步: 更新其他节点的 本地yum源(在其他节点上测试)

  • 1) 备份默认yum源

    cd /etc/yum.repos.d/
    mv CentOS-Local.repo CentOS-Local.repo.bak
    1
    2

  • 2) 制作本地yum源

    cd /etc/yum.repos.d/
    vi CentOS-Local.repo
    1
    2

    [base]
    name=CentOS-Local
    baseurl=http://192.168.100.201/CentOS-6.9/
    gpgcheck=0
    enabled=1
    gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6
    1
    2
    3
    4
    5
    6

• 第四步: 测试是否成功(在其他节点上测试)

  yum clean all
  yum repolist
  yum install -y tree
  1
  2
  3

3.4 小结

# 安装软件
yum -y install 软件包

卸载软件
yum -y remove 软件包
1
2
3
4
5

4 安装jdk

4.1 路径

• 第一步: 卸载linux系统 提供的jdk

• 第二步: 上传按照包到 /export/soft , 解压到 /export/install

• 第三步: 将 jdk路径 放到 环境变量中

• 第四步: 重新加载 环境变量的配置文件

• 第五步: 测试是否安装成功

4.2 实现

第一步: 卸载linux系统 提供的jdk

# 查询已安装的jdk
rpm -qa | grep java

# 卸载
rpm -e --nodeps 软件包名
1
2
3
4
5

第二步: 上传按照包到 /export/soft , 解压到 /export/install

# 1 创建保存软件包目录
mkdir -p /export/soft/
cd /export/soft/ && ll

# 2 上传软件包

# 3 创建安装软件目录 
mkdir -p /export/install

# 4 将压缩包解压到指定目录
tar -zxvf jdk-8u141-linux-x64.tar.gz -C /export/install
cd /export/install && ll
1
2
3
4
5
6
7
8
9
10
11
12

第三步: 将 jdk路径 放到 环境变量中

• 目的: 为了能够在任何目录下都可以使用 javac 和 java

JAVA_HOME=/export/install/jdk1.8.0_141
PATH=/export/install/jdk1.8.0_141/bin:$PATH
export JAVA_HOME PATH
1
2
3

第四步: 重新加载 环境变量的配置文件

• 为了生效, 要么重启电脑, 要么 重新加载配置文件

source /etc/profile

# 测试
java -version
1
2
3
4

第五步: 测试是否安装成功

需求: 编写一个简单的Hello.java, 输出 Hello World!
1

vim Hello.java

[root@hadoop01 export]# cat Hello.java
public class Hello{
        public static void main(String[] args) {
                System.out.println("Hello java!");
        }
}
1
2
3
4
5
6

使用 javac Hello.java 编译

执行 java Hello

5 安装tomcat

5.1 目标

• 实际工作中我们可能需要发布web项目到tomcat中

5.2 路径

• 第一步: 将安装包上传到 /export/soft , 解压到 /export/install

• 第二步: 启动tomcat 且 查看日志

• 第三步: 上传项目 测试

5.3 实现

• 第一步: 将安装包上传到 /export/soft , 解压到 /export/install

  # 切换到保存软件的目录
  cd /export/soft
  
  # 解压到 /export/install 安装目录
  tar -zxvf apache-tomcat-7.0.82.tar.gz -C /export/install/
  1
  2
  3
  4
  5

• 第二步: 启动tomcat 且 查看日志

  # 切换启动命令的目录
  cd /export/install/apache-tomcat-7.0.82/bin
  
  # 启动 且 查看日志
  ./startup.sh && tail -100f ../logs/catalina.out
  1
  2
  3
  4
  5

• 第三步: 测试

  http://192.168.100.201:8080/
  1

  

  • 将需要发布的项目 放到 tomcat目录/webapps 目录下

  • 提示: 防火墙要么关闭, 要么开放tomcat指定的端口,否则无法访问

6 安装mysql

6.1 yum安装原理：

• yum安装是通过执行yum命令，自动分析依赖关系, 自动下载, 自动安装

6.2 yum安装优点：

• 安装简单、快速

6.3 缺点：

• 由于不同的yum仓库只有特定的几个版本，所以可选的版本较少。

6.4 yum安装实战

• 下面看看如何在CentOS7系统上安装 MySQL5.6.44

1 查询系统自带的mysql

[root@hadoop01 yum.repos.d]# rpm -qa | grep mysql
mysql-libs-5.1.73-8.el6_8.x86_64
1
2

2 安装mysql

yum install -y mysql-server
1

3 启动服务

service mysqld start
1

4 修改密码

# 设置密码
/usr/bin/mysqladmin -u root password '123456'

# 进入mysql
mysql -uroot -p123456
1
2
3
4
5

5 问题1: 解决中文乱码

由于MySQL编码原因会导致数据库出现乱码。

解决办法：

修改MySQL数据库字符编码为UTF-8，UTF-8包含全世界所有国家需要用到的字符,是国际编码。

具体操作：

1 进入MySQL控制台

# 进入mysql
mysql -uroot -p123456

# 查看编码集 发现不是utf8
show variables like 'character_set_%';
1
2
3
4
5

2 修改mysql配置文件

# 清空 mysql 配置文件内容
[root@Hadoop-NN-01 ~]# >/etc/my.cnf

# 修改mysql 软件的编码集
[root@Hadoop-NN-01 ~]# vi /etc/my.cnf
1
2
3
4
5

修改内容如下:

[client]
default-character-set=utf8

[mysql]
default-character-set=utf8

[mysqld]
character-set-server=utf8
1
2
3
4
5
6
7
8

3 重启MySQL服务

[root@Hadoop-NN-01 ~]# service mysqld restart
1

 #查看MySQL字符集
show variables like 'character_set_%';           
1
2

MySQL数据库字符集编码修改完成！

6 问题2: 默认情况下 mysql服务端不允许客户端远程访问

• 问题: 使用客户端 远程 连接mysql报错?

  

• 原因: 因为 用户 没有 远程访问的权限

• 解决: 授权

  mysql> use mysql;
  mysql>select host, user ,password  from user;
  
  # 给root授权:既可以本地访问, 也可以远程访问
  mysql>  grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
  
  # 刷新权限(可选)
  mysql>  flush privileges;
  mysql>  select host, user ,password  from user;
  1
  2
  3
  4
  5
  6
  7
  8
  9

连接之前需要关闭防火墙

​

7 集群(三台)

7.1 新增linux系统

第一步: 克隆虚拟机

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OgnWkwzo-1624685690471)(assets/1559030329561.png)]

第二步: 更改新增系统的mac地址

vim /etc/udev/rules.d/70-persistent-net.rules 
1

第三步: 更改网卡信息 (setup)

vim /etc/sysconfig/network-scripts/ifcfg-eth0 
1

第四步: 重启系统生效

reboot
1

7.2 三台机器 关闭防火墙

• 内网环境 安全性比较高, 防火墙开启会影响效率, 所以 关闭防火墙

三台机器执行以下命令（root用户来执行）

# 查看防火墙的状态
service iptables status

# 启动防火墙服务
service iptables start

# 重启 防火墙 服务
service iptables restart

# 停止 防火墙 服务
service iptables stop

# 彻底关闭防火墙
chkconfig iptables off
1
2
3
4
5
6
7
8
9
10
11
12
13
14

7.3 三台机器关闭selinux

vim /etc/selinux/config
1

• 注意: 重启才会生效

7.4 三台机器更改主机名

vim /etc/sysconfig/network
1

• 重启才会生效

7.5 三台机器 给ip地址起别名

7.5.1 给ip地址起别名

• vim /etc/hosts

192.168.100.201 hadoop01
192.168.100.202 hadoop02
192.168.100.203 hadoop03
1
2
3

7.5.2 测试

ping 192.168.100.202

ping hadoop02
1
2
3

7.6 scp 远程文件拷贝

7.6.1 是什么?

• scp是 remote file copy program 的缩写, scp是远程文件拷贝命令。

7.6.2 从本地拷贝到远程机器上

• 准备工作

  # 创建目录
  mkdir -p /export/aaa/bbb/ccc
  
  # 创建文件
  touch /export/aaa/01.txt /export/aaa/02.txt
  
  # 显示
  tree /export/aaa
  1
  2
  3
  4
  5
  6
  7
  8

1 文件

• 语法格式

  # 拷贝文件
  scp local_file remote_username@remote_ip:remote_folder
  1
  2

• 需求: 将本地 01.txt 文件 复制到 192.168.100.202 机器的 /export目录下

scp  /export/aaa/01.txt   root@192.168.100.202:/export

scp  /export/aaa/02.txt   root@hadoop02:/export

scp  /export/aaa/02.txt   hadoop02:/export

1
2
3
4
5
6

2 文件夹

• 语法格式

  # 拷贝目录
  scp -r local_folder remote_username@remote_ip:remote_folder
  1
  2

• 需求: 将本地 aaa 目录 复制到 192.168.100.202 机器的 /export 目录下

scp -r /export/aaa root@192.168.100.202:/export

scp -r /export/aaa root@hadoop02:/export

scp -r /export/aaa hadoop02:/export

7.6.3 将远程机器内容复制到本地机器上

• 准备工作

  # 创建目录
  mkdir -p /export/a1/b1/c1
  
  # 创建文件
  touch /export/a1/111.txt
  touch /export/a1/222.txt
  
  # 显示内容
  tree /export/a1
  1
  2
  3
  4
  5
  6
  7
  8
  9

1 文件

• 语法格式

  scp remote_username@remote_ip:remote_file local_folder
  1

• 练习3: 将 hadoop02的 111.txt 文件 复制到 hadoop01的 export目录下

scp root@192.168.100.202:/export/a1/111.txt /export

scp root@hadoop02:/export/a1/222.txt /export

scp hadoop02:/export/a1/222.txt /export

2 目录

• 语法格式

  scp -r remote_username@remote_ip:remote_folder local_folder
  1

• 练习4: 将hadoop02的 /export/a1/ 目录 复制到 hadoop01 的 export目录下

scp -r root@192.168.100.202:/export/a1 /export

scp -r hadoop02:/export/a1 /export

7.7 ssh远程登录

7.7.1 目标

• 专门用于 远程登录

7.7.2 路径

• 方式一: 使用 ssh 基于密码的远程登录(了解)

• 方式二: 使用 ssh 基于密匙 实现 免密码登录(掌握)

7.7.3 实现

方式一 使用 ssh 基于密码的远程登录

• 在第三台机器上登录到第二台机器上

  [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DrcoW4V2-1624685690479)(assets/1559302684534.png)]

• 细节: 首次远程登录会询问 yes/no , 以后可能就不会了

方式二: 使用 ssh 基于密匙 实现 免密码登录(掌握)

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wbswp140-1624685690479)(assets%5CUsers%5CAdministrator%5CAppData%5CRoaming%5CTypora%5Ctypora-user-images%5C1571066755061.png)]

    第一步: ssh-keygen -t rsa  在hadoop1和hadoop2和hadoop3上面都要执行，产生公钥和私钥
    第二步：ssh-copy-id hadoop01 将公钥拷贝到hadoop1上面去
    
    第三步：
           ssh-copy-id hadoop02
           ssh-copy-id hadoop03
1
2
3
4
5
6

注意1: 第三步需要在/root/.ssh/目录下.

7.8 crontab 任务调度

7.8.1 原理

7.8.2 概述

• crontab 进行 定时任务的设置

• 基本语法

  crontab [选项]
  1

  • 常用选项

    选项	英文	含义
    -e	edit	编辑crontab定时任务
    -l	displayed	显示crontab任务
    -r	remove	删除当前用户所有的crontab任务

7.8.3 案例: 每隔1分钟将时间打印到 /export/文件中

方案一: 直接式

• 第一步: date >> /export/mydate1.txt 测试命令

• 第二步: 通过 crontab -e 进入 定时任务

• 第三步: 编辑定时任务命令

  */1 * * * *  date >> /export/mydate1.txt
  1

• 第四步: 检测是否成功

  cd /export/ && tail -f mydate1.txt
  1

方式二: 脚本式

• 第一步: 书写测试命令

  echo `date +"%Y-%m-%d %H:%M:%S"` >> mydate2.txt
  1

• 第二步: 将命令放到脚本中 vim /export/task.sh

  echo `date +"%Y-%m-%d %H:%M:%S"` >> /export/mydate2.txt
  1

• 第三步: 增加可执行权限

  chmod +x /export/task.sh
  1

• 第四步: 执行脚本

  /export/task.sh 
  1

• 第五步: 进入 定时任务 crontab -e

  */1 * * * *  date >> /export/mydate1.txt
  */1 * * * *  /export/task.sh
  1
  2

• 第六步: 测试 观察结果

  tail -f /export/mydate2.txt 
  1

7.8.4 参数细节说明(学会查)

5个占位符的说明

例子

7.9 三台机器时钟同步

7.9.1 同步互联网时间

• 阿里云时钟同步服务器

  ntpdate ntp4.aliyun.com
  1

• 三台机器定时任务 : 直接与阿里云服务器进行时钟同步

  crontab -e
  
  */1 * * * *  /usr/sbin/ntpdate ntp4.aliyun.com;
  1
  2
  3

• 准备工作: 删除三台服务器定时任务

  crontab -r
  1

7.9.2 跟内网某台机器同步时间

• 为了安全, 大数据集群的节点不允许连接外网

• 以192.168.100.201 这台服务器的时间为准进行时钟同步

第一步:确定是否安装了ntpd的服务

rpm -qa  | grep  ntpd
1

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z3YZJYn9-1624685690482)(assets/1559323516074.png)]

• 如果 没有安装,可以进行在线安装

  yum -y install ntpd
  1

• 查看ntpd的状态

  service ntpd status
  1

• 启动ntpd的服务

  service ntpd  start
  1

• 设置ntpd的服务开机启动

  chkconfig ntpd on
  1

第二步:编辑 /etc/ntp.conf

• 编辑第一台机器的 /etc/ntp.conf

  • vim /etc/ntp.conf

  • 在文件中添加如下内容, 配置我们的时钟广播地址

    #允许192.168.100.0 网段中的服务器访问本ntp服务器进行时间同步
    restrict 192.168.100.0  mask  255.255.255.0 nomodify  notrap  
    1
    2

  • 注释一下四行内容

    #server0.centos.pool.ntp.org
    #server1.centos.pool.ntp.org
    #server2.centos.pool.ntp.org
    #server3.centos.pool.ntp.org
    1
    2
    3
    4

  • 去掉以下内容的注释，如果没有这两行注释，那就自己添加上

    #如果上面的服务器都无法同步时间，就和本地系统时间同步。127.127.1.0在这里是一个IP地址，不是网段。
    server	127.127.1.0  #  localclock
    #127.127.1.0 为第10层。ntp 和127.127.1.0同步完后，就变成了11层。  ntp是层次阶级的。
    fudge	127.127.1.0  stratum  10
    1
    2
    3
    4

    

• 配置以下内容，保证BIOS与系统时间同步

  vim /etc/sysconfig/ntpd
  1

  • 添加一行内容

    SYNC_HWLOCK=yes  
    1

    

• 重启ntpd 服务

  service ntpd  restart
  1

  • 注意: 如果更改ntp时钟服务器的时间,也需要重启 ntpd 服务

第三步：另外两台机器与第一台机器时间同步

• 先手动同步时间

  ntpdate 192.168.100.201
  1

• 再使用 定时任务 同步时间

  crontab -e

  */1 * * * * /usr/sbin/ntpdate 192.168.100.201
  1

  另外两台机器与192.168.52.201进行时钟同步

• 注意: 报错

  

  • 原因: ntp服务已运行

  • 解决办法: 断开再连

    

练习路径:

​ 1 设置防火墙

​ 2 一台机器上: rpm 安装 jdk tomcat mysql

​ 3 搭建服务器集群(下午)

​ 4 挂载 硬盘 和 光驱

​ 5 yum源: 网络yum源 本地yum源 局域网yum源

总结

以上便是大数据开发工程师基本功修炼之史上最全Linux学习笔记 ,喜欢的小伙伴欢迎一键三连!!!