Linux（centos7）部署hadoop集群，腾讯T2大牛亲自教你_centos7 部署hadoop

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上运维知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注运维）

正文

tar -zxvf hadoop-3.3.6.tar.gz

1
2

软连接：

ln -s /usr/local/apps/hadoop-3.3.6 hadoop

1
2

3、文件配置
hadoop目录结构

各个文件夹含义如下：
bin：存放Hadoop的各类程序（命令）
etc：存放Hadoop的配置文件
include：C语言的一些头文件
lib：存放Linux系统的动态链接库（so文件）
libexec ：存放配置Hadoop系统的脚本文件（.sh和.cmd）
licenses-binary：存放许可证文件
sbin：管理员程序（super bin）
share：存放二进制源码（Java jar包）

配置集群，主要修改以下几个配置：
workers：配置从节点（DataNode）有哪些
hadoop-env.sh：配置Hadoop的相关环境变量
core-site.xml：Hadoop核心配置文件
hdfs-site.xml：HDFS核心配置文件
这些文件均存放在$HADOOP_HOME/etc/hadoop文件夹中。

配置workers：

vim etc/hadoop/workers

1
2

修改：

# 配置从节点DataNode
node1
node2
node3

1
2
3
4
5

配置hadoop-env.sh：

vim etc/hadoop/hadoop-env.sh 

1
2

在文件最下面追加配置：

# Supplemental options for privileged registry DNS
# By default, Hadoop uses jsvc which needs to know to launch a
# server jvm.
# export HADOOP\_REGISTRYDNS\_SECURE\_EXTRA\_OPTS="-jvm server"

# 配置hadoop相关环境变量
export JAVA\_HOME=/usr/local/apps/jdk # java环境路径
export HADOOP\_HOME=/usr/local/apps/hadoop # hadoop安装路径
export HADOOP\_CONF\_DIR=$HADOOP\_HOME/etc/hadoop # hadoop配置文件路径
export HADOOP\_LOG\_DIR=$HADOOP\_HOME/logs # 指明hadoop运行日志路径

1
2
3
4
5
6
7
8
9
10
11

配置core-site.xml：

vim etc/hadoop/core-site.xml

1
2

修改：

<!-- 
 设置默认的文件系统，此配置指定了HDFS Namenode的服务地址和端口，


为了做好运维面试路上的助攻手，特整理了上百道 **【运维技术栈面试题集锦】** ，让你面试不慌心不跳，高薪offer怀里抱！

这次整理的面试题，**小到shell、MySQL，大到K8s等云原生技术栈，不仅适合运维新人入行面试需要，还适用于想提升进阶跳槽加薪的运维朋友。**

![](https://img-blog.csdnimg.cn/img_convert/205587afa26718b8f8aa0bfdd7c9b9bc.png)

本份面试集锦涵盖了

*   **174 道运维工程师面试题**
*   **128道k8s面试题**
*   **108道shell脚本面试题**
*   **200道Linux面试题**
*   **51道docker面试题**
*   **35道Jenkis面试题**
*   **78道MongoDB面试题**
*   **17道ansible面试题**
*   **60道dubbo面试题**
*   **53道kafka面试**
*   **18道mysql面试题**
*   **40道nginx面试题**
*   **77道redis面试题**
*   **28道zookeeper**

**总计 1000+ 道面试题， 内容 又全含金量又高**

*   **174道运维工程师面试题**

> 1、什么是运维?

> 2、在工作中，运维人员经常需要跟运营人员打交道，请问运营人员是做什么工作的?

> 3、现在给你三百台服务器，你怎么对他们进行管理?

> 4、简述raid0 raid1raid5二种工作模式的工作原理及特点

> 5、LVS、Nginx、HAproxy有什么区别?工作中你怎么选择?

> 6、Squid、Varinsh和Nginx有什么区别，工作中你怎么选择?

> 7、Tomcat和Resin有什么区别，工作中你怎么选择?

> 8、什么是中间件?什么是jdk?

> 9、讲述一下Tomcat8005、8009、8080三个端口的含义？

> 10、什么叫CDN?

> 11、什么叫网站灰度发布?

> 12、简述DNS进行域名解析的过程?

> 13、RabbitMQ是什么东西?

> 14、讲一下Keepalived的工作原理?

> 15、讲述一下LVS三种模式的工作过程?

> 16、mysql的innodb如何定位锁问题，mysql如何减少主从复制延迟?

> 17、如何重置mysql root密码?

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）**
![img](https://img-blog.csdnimg.cn/img_convert/acc72ffb1dd8b382209679c349a21866.jpeg)

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
**需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注运维）**
[外链图片转存中...(img-mDIyYHIO-1713375865297)]

**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75