大数据学习_finalshell实时查询后台服务器的资源占用情况

1.分布式与集群的区别：

分布式和集群是两个不同的概念，分布式是多台机器中每台机器上部署不同组件，集群是多台机器中每台机器上部署相同的组件

2.SSH协议

SSH为Secure Shell的缩写，是一种网络安全协议，专为远程登录会话和其他网络服务提供安全性的协议。
在Linux中，SSH的主要用途为：用户加密实现远程登录、服务器之间的免密登录。
SSH协议采用非堆成加密方式，需要两个秘钥：公开密匙和私有密匙
软件：FinalShell使用SSH协议来访问linux虚拟机

3.Linux文件系统概念

在os中负责管理和存储文件信息的软件机构称之为文件管理系统，简称文件系统
文件系统的结构为目录树结构，从/（根目录）开始
“万物皆文件”概念

当前路径：也叫做当前工作目录，当下用户所属的位置
相对路径：相对当前工作目录开始的路径，会随着当前路径变化而变化
绝对路径：不管工作目录在哪，绝对路径都是从/根目录开始，唯一不重复
/ ：根目录
. ：目录或者文件名字以.开始表示是隐藏的文件，如果路径以.开始表示当前路径
..：当前目录的上一级目录
~ ：当前用户的home目录，比如root用户home目录是/root
1
2
3
4
5
6
7

常用命令：
Linux grep 命令用于查找文件里符合条件的字符串。

1.ls：
显示目录内容
-a 显示所有文件及目录(包含隐藏目录)
-l 除了文件名称外，亦将文件型态、权限、拥有者、文件大小等资讯详细列出

2.cd
切换目录

3.创建、删除
mkdir:用于创建目录
-p确保父目录名称存在，不存在就创建一个
touch:创建一个空的文件夹
rm:删除文件或目录
-f 强制直接删除，无需用户确认
-r 将目录及以下所有递归逐一删除

4.cp：用于复制文件或目录
-r:若给出的源文件是一个目录文件，此时将复制该目录文件下所有的子目录和文件

mv：用来为文件或目录改名、或将文件或目录移入其他位置

5.文件内容查看
cat:
用于连接文件并且打印到标准输出设备如console控制台上，适合小文件内容查看
more:
类似cat，不过会以一页一页的形式查看，更方便使用者逐页阅读，翻页结束自动退出。适合大文件查看。按space键翻下一页，按b往回上一页

tail：
用于查看文件的结尾部分的内容
-n：用于显示行数，默认为10，即显示10行的内容
-f：用于实时显示文件动态追加的内容，会把文件里的最尾部的内容显示在屏幕上，并且不断刷新，只要文件有更新，就可以查看到最新的文件内容


6.其他命令
echo:用于内容的输出，将内容输出到console控制台上

echo 内容 >> 文件
1

|:管道命令：将前一个命令执行的结果作为内容交给下一个命令进行处理。可以形成多级管道操作
命令1|命令2 可以将命令1的结果通过命令2作进一步的处理

输出重定向（覆盖）命令
command > file 执行command然后将输出的内容存入file，file内已经存在的内容将被新内容覆盖替代
输出重定向（追加）命令
command >> file 执行command然后将输出的内容存入file，新内容追加在文件末尾

解压命令：
打包/解包
tar：用于备份文件，是用来建立、还原备份文件的工具程序。他可以加入、解开备份文件内的文件
-c：建立新的备份文件(打包)
-x：从备份文件中还原文件(解包)
-v：显示指令执行过程
-f：指定备份文件
tar -cvf:打包

tar -zxvf 解包

注意:ll为ls -f,大写C -C表示指定路径，不写路径则默认为当前文件夹
解压缩:tar -zxvf xxxxx.tar.gz
按照指定压缩算法进行解压缩

7.系统命令：
date ：用来显示或设定系统的日期与时间。在显示方面，使用者可以设定欲显示的格式，格式设定为一个加号后接数个标记

cal：用于显示当前或指定日期的公历
![在这里插入图片描述](https://img-blog.csdnimg.cn/a81423cbb29e4f818bec62f687e30421.png)
free：用于显示内存状态。会显示内存的使用状况。
df（disk free）：用于显示目前在Linux系统上的文件系统磁盘使用情况统计
![在这里插入图片描述](https://img-blog.csdnimg.cn/dca1777f5ca7450186569e0647bef7e4.png)
1
2
3
4
5

ps：用于显示当前进程的状态，类似于windows的任务管理器
ps -ef显示的更加具体
jps：这是jdk自带的命令，专门用于查看本机运行的java进程情况

ps -ef | grep 进程名 ：搜索进程
上边的命令配合了管道| 命令，将前一个命令执行的结果作为内容交给下一个命令进行处理。

4.Vi/Vim

vim编辑器

vi是一款很多unix及其延伸系统内置的文本编辑器，具有强大的文本编辑能力
vim是从vi发展出来的一个文本编辑器，可以理解为是vi编辑器的增强版。vim中代码补完、编译以及错误跳转等方便编程的功能特别丰富。
vi/vim编辑器的核心设计思想为：让程序员的手指始终保持在键盘的核心区域，就可以完成所有的编辑操作
学习使用vi/vim编辑器的最大挑战：万物皆命令

打开与新建文件

vim /path/file
文件不存在，则新建文件，否则就打开文件

vim编辑器三种工作模式

进来就是命令模式，然后输入i进入编辑模式，esc键回到命令模式。shift zz保存退出

1.命令模式

命令模式下，所敲的按键vim编辑器都理解为命令，以命令驱动执行不同的功能
此模式下，不能自由进行文本编辑
1
2

2.输入模式

也就是所谓的编辑模式、插入模式
此模式下，才可以对文件内容进行自由编辑
1
2

3.底线命令模式

以：开始，通常用于文件的保存、退出
1

Vim基本操作命令：

Apach Hadoop

Hadoop现状

HDFS作为分布式文件存储系统，处于生态圈的底层和核心地位
YARN作为分布式通用的集群资源管理系统和任务调度平台，支撑各种计算引擎运行，保证了Hadoop的地位
MapReduce作为大数据生态圈第一代分布式计算引擎，由于自身设计的模型所产生的弊端，导致企业一线几乎不再使用MapReduce进行编程处理，但是很多软件的底层依然在使用MapReduce引擎来处理.

总结：
HDFS：分布式存储
YARN:任务调度和资源管理
MapReduce:科学计算

Hadoop优点

1.扩容能力
2.成本低
3.效率高
4.可靠性
Hadoop集群包括：HDFS集群、YARN集群
两个集群逻辑上分离，物理上在一起
两个集群都是标准的主从架构集群

Hadoop安装

笔记：https://blog.ctftools.com/2022/01/newpost-28/

环境

1.安装vim、ntpdate
Linux服务器运行久时，系统时间就会存在一定的误差，一般情况下可以使用date命令进行时间设置，但在做数据库集群分片等操作时对多台机器的时间差是有要求的，此时就需要使用ntpdate进行时间同步
yum -y install vim
yum -y install ntpdate

2.关闭防火墙（生产环境不建议这样）
systemctl stop firewalld.service
systemctl disable firewalld.service

3.配置本机名
vim /etc/hostname
node1.itcast.cn
node2.itcast.cn
node3.itcast.cn

4.修改hosts
vim /etc/hosts
192.168.88.151 node1 node1.itcast.cn
192.168.88.152 node2 node2.itcast.cn
192.168.88.153 node3 node3.itcast.cn

5.同步时间
ntpdate ntp5.aliyun.com

6.创建统一工作目录
mkdir -p /export/data #数据
mkdir -p/export/server #服务
mkdir -p/export/software #软件

7.免密登录
ssh-keygen #四个回车
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

8.下载安装JDK1.8
下载：jdk-8u271-linux-x64.tar.gz
下载地址：https://www.oracle.com/java/technologies/downloads/

安装：
将jdk-8u271-linux-x64.tar.gz直接拖入到 /export/server目录下


查看/export/server 目录

解压jdk安装包

删除jdk安装包

配置环境变量
vim /etc/profile

export JAVA_HOME=/export/server/jdk1.8.0_271
export PATH=$ PATH:$ JAVA_HOME/bin
export CLASSPATH=.