Hadoop-hdfs单机伪分布式安装(自己玩)_单机安装分布式hdfs系统

设置基础环境

设置主机名

[root@localhost ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=baseimage
1
2
3

hosts映射

[root@baseimage ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.223.3 baseimage
1
2
3
4

关闭防火墙

[root@baseimage ~]# service iptables stop
1

开机禁用防火墙

[root@baseiamge ~]# chkconfig iptables off
1

修改selinux

[root@baseimage ~]# vi /etc/selinux/config
SELINUX=disabled
1
2

设置时间同步

安装ntp

[root@baseimage ~]# yum install ntp -y
1

修改配置

[root@baseimage ~]# vi /etc/ntp.conf
server ntp1.aliyun.com
1
2

时间同步

[root@baseimage etc]# service ntpd start
[root@baseimage etc]# chkconfig ntpd on
1
2

设置ssh免密

1. 单独执行ssh localhost命令会在当前目录下生成.ssh目录
2. 在.ssh目录中，利用ssh-keygen命令生成公钥id_dsa.pub
3. 本机免密、其它机器免密：
   让哪个机器免密，就需要把id_dsa.pub的内容放在/root/.ssh/authorized_keys这个文件中。B包含了A的公钥，A就可以免密登录B

[root@baseimage ~]# ssh localhost
[root@baseimage ~]# cd .ssh
[root@baseimage .ssh]# ssh-keygen -t dsa -P '' -f /root/.ssh/id_dsa
[root@baseimage .ssh]# cat id_dsa.pub >> ~/.ssh/authorized_keys
1
2
3
4

安装jdk

下载jdk-8u291-linux-x64.rpm并上传到centos

root@baseimage ~]# ll ~/mmm
总用量 306352
-rw-r--r--. 1 root root 199635269 5月  30 20:28 hadoop-2.6.5.tar.gz
-rw-r--r--. 1 root root 114063112 5月  30 20:28 jdk-8u291-linux-x64.rpm
[root@baseimage ~]# rpm -i jdk-8u291-linux-x64.rpm
1
2
3
4
5

设置环境变量

[root@baseimage ~]# vi /etc/profile
export JAVA_HOME=/usr/java/default
export PATH=$PATH:$JAVA_HOME/bin
[root@baseimage ~]# source /etc/profile
1
2
3
4

安装Hadoop

解压并拷贝到安装目录

[root@baseimage ~]# tar xf hadoop-2.6.5.tar.gz
[root@baseimage ~]# cp -rf hadoop-2.6.5 /opt/bigdata/
1
2

配置环境变量

[root@baseimage ~]# vi /etc/profile
export JAVA_HOME=/usr/java/default
export HADOOP_HOME=/opt/bigdata/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
1
2
3
4

修改Hadoop配置文件

• hadoop-env.sh
• core-site.xml
• hdfs-site.xml
• slaves

[root@baseimage ~]# cd /opt/bigdata/hadoop-2.6.5/etc/hadoop
[root@baseimage hadoop]# vi hadoop-env.sh 
export JAVA_HOME=/usr/java/default
##
[root@baseimage hadoop]# vi core-site.xml
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://baseimage:9000</value>
	</property>
</configuration>

[root@baseimage hadoop]# vi hdfs-site.xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/data</value>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>baseimage:50090</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>/var/bigdata/hadoop/local/dfs/secondary</value>
	</property>
</configuration>

[root@baseimage hadoop]# vi slaves
baseimage
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

第一次启动

[root@baseimage hadoop]# cd /var
[root@baseimage var]# hdfs namenode -format
1
2

启动、停止

[root@baseimage ~]# start-dfs.sh 
[root@baseimage ~]# stop-dfs.sh 
1
2

设置windows访问

windows中可以访问：http://192.168.223.3:50070/
前提是修改windows中的hosts映射文件：

• windows中找到hosts文件：C:\Windows\System32\drivers\etc\hosts
• 新增一行映射：192.168.223.3 baseimage