ubuntu系统hadoop伪分布搭建详细教程_ubuntu安装hadoop伪分布

目录

vim命令编辑器安装

SSH配置

JDK配置

hadoop 配置 

hadoop 配置文件 

集群格式化及启动

文中jdk与hadoop版本可能与博主不同 文中出现的所有jdk1.8.0_361和hadoop-2.7.7都要换成你所下载的jdk和hadoop版本，下方链接是我的jdk和hadoop压缩包自行提取。

链接：https://pan.baidu.com/s/132aoruf7SuUfqRisyR4TrQ?pwd=xu75 
提取码：xu75

vim命令编辑器安装

     书中是利用gedit进行文本编辑，利用xshell进行连接时不能使用gedit，而且有编辑状态下按上下左右键变成ABCD，所以个人喜欢使用vim命令编辑器。也可以跳过这一步，将文中vim命令全部换成gedit，vim安装命令如下：

sudo apt-get remove vim-common         卸载原先的vim-common组件。

sudo apt-get install vim                         卸载完成后安装vim编辑器

SSH配置

sudo apt-get install ssh        安装ssh

ssh-keygen -t rsa        输入后一直回车即可

   

cd ~/.ssh/                             若没有该目录，请先执行一次ssh localhost

ssh-keygen -t rsa                 会有提示，都按回车就可以

cat ~/.ssh/id_rsa.pub >> ~ /.ssh/authorized_keys    # 加入授权

chmod 755 ~

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

安装完成后出现以下界面

 

ssh 主机名                        登陆测试一下   使用hostname查看主机名

将jdk和hdoop移动到opt文件夹里（本人是放入了opt文件夹，可以根据自己喜好设置，记好这个位置 多次要用）

cd  /opt                             切换到放置jdk和hadoop的文件夹

tar -zxvf   jdk压缩包             依次进行解压

tar -zxvf   hadoop压缩包      可以在当前目录下使用table键进行补全

JDK配置

sudo vim /etc/profile                 编辑profile文件

按i进入编辑模式

在末尾添加以下代码

export JAVA_HOME=/opt/jdk1.8.0_361

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

：wq                                        保存并退出

source /etc/profile                    更新全局变量

java -version                            查看jdk是否配置成功

 出现以下界面即为JDK安装成功

hadoop 配置 

sudo vim ~/.bashrc   编辑bashrc文件

按i进入编辑模式

添加以下代码

export JAVA_HOME=/opt/jdk1.8.0_361

export HADOOP_HOME=/opt/hadoop-2.7.7

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib "

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/

：wq                                           保存并退出

source  ~/.bashrc                        刷新环境变量

输入 hadoop version   查看是否安装成功

出现以下界面即为安装成功

hadoop 配置文件 

cd  /opt/hadoop-2.7.7/etc/hadoop   进入hadoop目录下进行配置

 sudo vim hadoop-env.sh      打开hadoop-env.sh进行编辑

按i进入编辑模式

添加 export JAVA_HOME=/opt/jdk1.8.0_361

以下标红的字体都是根据本机ip地址和你jdk hadoop 所放置的文件夹自行更改

ifconfig               #查看本机ip地址

以下几个配置文件的代码都要放到箭头所指的地方

切记配置文件不要打错字 否则会出错

sudo vim yarn-site.xml         打开yarn-site.xml进行编辑

按i进入编辑模式

<!-- 指定resourcemanager的主机名-->

    <property>

        <name>yarn.resourcemanager.hostname</name>

        <value>192.168.244.129</value>       

</property>

<!-- 指定yarn的shuffle技术-->

    <property>

        <name>yarn.nodemanager.aux-services</name>

       <value>mapreduce_shuffle</value>

</property>

sudo vim  hdfs-site.xml        打开hdfs-site.xml进行编辑   

按i进入编辑模式

<!-- 块的副本数-->

    <property>

        <name>dfs.replication</name>

        <value>1</value>   

    </property>

 <!-- namenode守护进程管理的元数据文件fsimage存储的位置-->

    <property>

        <name>dfs.namenode.name.dir</name>

        <value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/namenode</value> 

    </property>

 <!-- 确定DFS数据节点应该将其块存储在本地文件系统的何处-->

    <property>

        <name>dfs.datanode.data.dir</name>

        <value>file:///opt/hadoop-2.7.7/hadoop_data/hdfs/datanode</value>    

    </property>

<!-- namenode守护进程的http地址：主机名和端口号。参考守护进程布局-->

    <property>

      <name>dfs.http-address</name>

      <value>192.168.244.129:50070</value>     

    </property> 

sudo vim core-site.xml               打开core-site.xml进行编辑

按i进入编辑模式

   <!-- hdfs的地址名称：schame,ip,port-->

    <property>

        <name>fs.defaultFS</name>

        <value>hdfs://192.168.244.129:9000</value>      

    </property>

     <!-- hdfs的基础路径，被其他属性所依赖的一个基础路径 -->

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/hadoop2.7.7/dataNode_1_dir</value>    

</property>

sudo vim mapred-site.xml             打开mapred-site.xml进行编辑

按i进入编辑模式

<!-- 指定mapreduce使用yarn资源管理器-->

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

最后修改

sudo vim /etc/profile               #打开/etc/profile进行编辑

按i进入编辑模式

在末尾添加

export PATH=${JAVA_HOME}/bin:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin   

export HADOOP_HOME=./hadoop-2.7.7

：wq                              # 保存并退出

#创键并格式化文件系统 

sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/namenode      

sudo mkdir -p ./hadoop-2.7.7/hadoop_data/hdfs/datanode

sudo mkdir -p ./hadoop-2.7.7/dataNode_1_dir/datanode

集群格式化及启动

hdfs namenode -format                #将hdfs格式化

start-all.sh                                    #启动集群

输入jps命令查看运行的节点

出现以下节点则证明伪分布安装成功

 stop-all.sh                                    #关闭集群

谢谢观看！！如果有错误请各位大佬及时提出，有问题也可以留言问我，欢迎补充！！！！