赞
踩
先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新Linux运维全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上运维知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip1024b (备注运维)
vi /etc/profile
export HADOOP_HOME=/opt/hadoop-3.1.3
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
需要在所有服务器执行
source /etc/profile
hadoop version
(当前在Server01的XShell界面)
① 进入Hadoop配置文件文档
cd /opt/hadoop-3.1.3/etc/hadoop/
② 修改hadoop-env.sh文件
vi hadoop-env.sh
随便找一个前面没有#的地方,按i,黏贴下面内容:
export JAVA_HOME=/opt/jdk1.8.0_311
esc键,冒号加wq退出
③ 修改core-site.xml文件
vi core-site.xml
按i进入编辑模式粘贴下面代码:
<!-- 用于设置Hadoop的文件系统,由URI指定 -->
<configuration>
<!-- 用于设置Hadoop的文件系统,由URI指定 -->
<property>
<!-- 用于指定namenode地址在主节点机器上 -->
<name>fs.defaultFS</name>
<value>hdfs://Server01:9000</value>
</property>
<!-- 配置Hadoop的临时目录,默认/tmp/hadoop-${user.name} -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop-3.1.3/tmp</value>
</property>
</configuration>
esc+:+wq保存退出
④ 修改hdfs-site.xml文件
vi hdfs-site.xml
在编辑前删除最后两行,按o后粘贴,按esc+:+wq
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!-- secondary namenodes所在主机的IP和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>Server02:50090</value>
</property>
</configuration>
⑤ 修改mapred-site.xml文件
vi mapred-site.xml
在编辑前删除最后两行,按o后粘贴,按esc+:+wq
<configuration>
<!-- 指定MapReduce运行时框架,这里指定在YARN上,默认时local -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
⑥ 修改yarn-site.xml文件
vi yarn-site.xml
在编辑前删除最后三行,按o后粘贴,按esc+:+wq
<configuration>
<!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>Server01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
⑦ 修改slaves文件
vi workers
删除localhost,如果没有他就直接添加以下内容:
下面的这个不是固定的,这三个是我三个虚拟机的名字,按照需要设置。
Server01
Server02
Server03
因为我们是用root登录的,所以我们需要进行以下操作:
cd /opt/hadoop-3.1.3/sbin/
①
vi start-dfs.sh
找一行没有#的,按o把下面的代码粘贴进去,按esc键+:+wq
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
②
vi stop-dfs.sh
找一行没有#的,按o把下面的代码粘贴进去,按esc键+:+wq
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
③
vi start-yarn.sh
找一行没有#的,按o把下面的代码粘贴进去,按esc键+:+wq
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
④
vi stop-yarn.sh
找一行没有#的,按o把下面的代码粘贴进去,按esc键+:+wq
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
将集群主节点的配置文件分发到其他子节点
基于ssh免密已经设置好的情况下,我们在Server01的界面执行:
scp /etc/profile Server02:/etc/profile
scp /etc/profile Server03:/etc/profile
scp -r /opt/jdk1.8.0_311 Server02:/opt/
scp -r /opt/jdk1.8.0_311 Server03:/opt/
scp -r /opt/hadoop-3.1.3 Server02:/opt
scp -r /opt/hadoop-3.1.3 Server03:/opt/
文件下发到Server02、Server03后,我们可以cd /opt/后ls
看看文件是否存在
生效环境变量,在三台虚拟机上执行命令
source /etc/profile
(当前在Server01的XShell界面)
cd /opt/
首次使用需要格式化文件系统
hadoop namenode -format
start-all.sh
jps
到此我们的Hadoop的配置已全部完成。
cd /opt/
tar -zxvf apache-zookeeper-3.5.9-bin.tar.gz
cd /opt/apache-zookeeper-3.5.9-bin/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
vi /etc/profile
scp /etc/profile Server02:/etc/profile
scp /etc/profile Server03:/etc/profile
scp -r /opt/apache-zookeeper-3.5.9-bin Server02:/opt/
scp -r /opt/apache-zookeeper-3.5.9-bin Server03:/opt/
cd /opt/apache-zookeeper-3.5.9-bin
mkdir zkdata
cd zkdata/
vi myid
就
需要在所有服务器执行
source /etc/profile
需要在所有服务器启动
zkServer.sh start
查看该节点服务器情况
zkServer.sh status
jps
前提:已利用Xftp工具将压缩包传至虚拟机的/opt/中。
(先在Server01的XShell界面上完成HBase集群部署,再通过已经配置好的ssh免密,快速实现多台虚拟机的HBase集群部署)
(当前在Server01的XShell界面)
cd /opt/
tar -zxvf hbase-2.2.2-bin.tar.gz
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注运维)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
c19a1e2.png)
前提:已利用Xftp工具将压缩包传至虚拟机的/opt/中。
(先在Server01的XShell界面上完成HBase集群部署,再通过已经配置好的ssh免密,快速实现多台虚拟机的HBase集群部署)
(当前在Server01的XShell界面)
cd /opt/
tar -zxvf hbase-2.2.2-bin.tar.gz
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip1024b (备注运维)
[外链图片转存中…(img-Q60NIY5o-1713545507267)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。