Hadoop入门学习笔记（汇总）

视频课程地址：https://www.bilibili.com/video/BV1WY4y197g7
课程资料链接：https://pan.baidu.com/s/15KpnWeKpvExpKmOC8xjmtQ?pwd=5ay8

目录：
一、VMware准备Linux虚拟机
二、在虚拟机里部署HDFS集群
三、使用HDFS文件系统
四、MapReduce的框架配置和YARN的部署
五、在虚拟机中部署Hive
六、连接到Hive
七、Hive语法
八、数据分析综合案例

一键启动和关闭命令整理（在node1节点执行）：

# 切换成hadoop用户
su hadoop
# 一键启动HDFS集群
start-dfs.sh
# 启动JobHistoryServer
mapred --daemon start historyserver
# 一键启动YARN集群
start-yarn.sh
# 切换工作目录
cd /export/server/hive/bin
# 使用后台方式启动metastore，并将相关日志输出到metastore.log文件中
nohup ./hive --service metastore >> ../logs/metastore.log 2>&1 &
# 使用后台方式启动hiveserver2，并将相关日志输出到hiveserver2.log文件中
nohup ./hive --service hiveserver2 >> ../logs/hiveserver2.log 2>&1 &
# 查看目前已启动的服务
jps


# 切换成hadoop用户
su hadoop
# 查看hiveserver2服务进程号
ps -aux | grep hiveserver2
# 结束hiveserver2服务
kill -9 [进程号]
# 查看metastore服务进程号
ps -aux | grep hive
# 结束metastore服务
kill -9 [进程号]
# 一键关闭YARN集群
stop-yarn.sh
# 关闭JobHistoryServer
mapred --daemon stop historyserver
# 一键关闭HDFS集群
stop-dfs.sh
# 查看是否还有未关闭的服务
jps
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36

如果完成本课程的第一至五章，则可以使用以下脚本，实现对HDFS集群、YARN集群、HistoryServer、Hive的MetaStore服务和HiveServer2服务的一键启动与停止，与上面的命令效果等价。

一键启动脚本内容（start-hdfs-yarn-hive.sh）：

#!/bin/bash

# 判断当前用户是hadoop时才执行脚本
uid=`id -u`
if [ "$uid" == "1001" ]
then
    echo "当前用户是hadoop，程序继续执行"
else
    echo "请使用hadoop身份执行本命令"
    exit 0
fi


echo "启动HDFS集群"
start-dfs.sh

echo "启动JobHistoryServer"
mapred --daemon start historyserver

echo "启动YARN集群"
start-yarn.sh

echo "启动metastore"
cd /export/server/hive/bin
metastore_pid=`nohup ./hive --service metastore >> ../logs/metastore.log 2>&1 &`
echo $metastore_pid

echo "启动hiveserver2" 
hiveserver2_pid=`nohup ./hive --service hiveserver2 >> ../logs/hiveserver2.log 2>&1 &`
echo $hiveserver2_pid
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

一键停止脚本内容（stop-hive-yarn-hdfs.sh）：

#!/bin/bash

# 判断当前用户是hadoop时才执行脚本
uid=`id -u`
if [ "$uid" == "1001" ]
then
    echo "当前用户是hadoop，程序继续执行"
else
    echo "请使用hadoop身份执行本命令"
    exit 0
fi

echo "关闭hiveserver2进程"
# 拿到hiveserver2的进程号
hiveserver2_pid=`ps -aux | grep hiveserver2 | awk '{print $2}' | head -1`
echo "hiveserver2进程号："$hiveserver2_pid
kill -9 $hiveserver2_pid

echo "关闭metasore进程"
# 拿到metastore的进程号
metastore_pid=`ps -aux | grep metastore | awk '{print $2}' | head -1`
echo "metastore进程号："$metastore_pid
kill -9 $metastore_pid

echo "关闭YARN集群"
stop-yarn.sh

echo "关闭JobHistoryServer"
mapred --daemon stop historyserver

echo "关闭HDFS集群"
stop-dfs.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32