虚拟机创建及配置 和 xshell,sftp连接 和 jkd,hadoop的安装和配置

一. 用VM搭建一台虚拟机

因为都是图片 就不放在这篇文章了 , 详细步骤在链接中 : 用VM搭建一个虚拟机(详细步骤)

二. 虚拟机的配置

虚拟机网卡配置详述

1.配置网关 , 修改IP地址

// 进入文件夹
cd /etc/sysconfig/network-scripts
// 编辑ifcfg-ens33文件(有的是ifcfg-ens32)
vi ifcfg-ens33

// 需要修改的内容(后三项需要自己添加 , 内容为自己虚拟机的网关信息) :
bootproto = static
onboot = yes
IPADDR= //子网 IP(最后一位要写一个大于100的数)
NEWMASK= //子网掩码
GATEWAY= //网关

自己虚拟机的网关信息怎么找?

• 查看自己电脑的网关

2.修改dns

vi /etc/resolv.conf
// 内容 :
nameserver 8.8.8.8

3.重启网卡 , 让上面的两步配置生效

service network restart
然后ping一个网址 , 试试网卡配置是否生效
ping www.baidu.com

配置完网卡 , 就可以进行远程连接了

三. 连接xshell 和 xftp

双击刚刚配置的 主机名为hadoop的主机 进行连接

四. 安装jdk和hadoop

前期准备

• 在/usr下创建一个soft文件 , 在其中安装hadoop , jdk等程序
  
  
  

• 同上面的xshell连接虚拟机差不多 , 在xftp中连接hadoop主机 , 然后开始安装
  
  

开始安装jdk 和 hadoop

cd /usr/soft
tar -zxvf jar包名 //可以看见解压状态

简单整理一下

• 安装jdk

//解压安装包 (可以看见解压状态)
tar -zxvf jar包名
//配置环境变量
vi /etc/profile.d/java.sh

// java.sh 的内容:

	//java_home根据自己的路径配置即可  
		
	JAVA_HOME=/usr/soft/jdk  	
	PATH=$PATH:$JAVA_HOME/bin     	
	CLASSPATH=$CLASSPATH:$JAVA_HOME/lib   	 
	export JAVA_HOME PATH CLASSPATH 
1
2
3
4
5
6

//执行java.sh文件,让其生效
source /etc/profile.d/java.sh

//检查是否配置成功
java -version //(如果出来版本信息证明配置成功)

• 安装hadoop

//解压安装包 (可以看见解压状态)
tar -zxvf 文件名
//配置环境变量
vi /etc/profile.d/hadoop.sh

//hadoop.sh 的内容

//hadoop_home 根据自己的路径配置即可

HADOOP_HOME=/usr/soft/hadoop  
PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 
export HADOOP_HOME PATH  
1
2
3
4
5

//执行hadoop.sh文件
source /etc/profile.d/hadoop.sh

//检查是否配置成功
hadoop version
(如果出来版本信息证明配置成功)

五. 修改主机名

vi /etc/hostname

//内容改为 自己想要命名的主机名 如 :

hadoop

//然后重启 , 让修改生效
reboot

六. 修改一下ip地址

//在 hosts文件中 添加自己的 “主机名 ip地址”
vi /etc/hosts

七. nodepad++ 连接虚拟机

为了方便配置文件 , 先来用nodepad++连接下虚拟机

• 首先 , 需要添加NppFTP插件
  
• 添加虚拟机的信息
  

• 在"羽毛"这 就能找到刚刚配置的虚拟机 , 点击即可连接
  

八. 修改四个hadoop相关配置文件

配置core-site.xml文件

core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小.

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://主机名:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/hadoop/tmp</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10

配置hdfs-site.xml文件

hdfs-site.xml
文件中包含如复制数据的值，NameNode路径的信息，，本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方.

<configuration>
	<property>
		<name>dfs.replication</name>  
		<value>1</value>  
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/hadoop/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/hadoop/tmp/dfs/data</value>
	</property>
	<property>
		<name>dfs.permissions.enabled</name>
		<value>false</value>
	</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18

配置mapred-site.xml

将mapred-site.xml.template 复制一份 改名为 mapred-site.xml
[root@hadoop hadoop]# cp mapred-site.xml.template mapred-site.xml

<configuration>
  <property>  
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>  
  </property>  
</configuration>
1
2
3
4
5
6

配置yarn-site.xml文件

<configuration>
	<property>  
		<name>yarn.nodemanager.aux-services</name>  
		<value>mapreduce_shuffle</value>  
	</property>  
</configuration>
1
2
3
4
5
6

九. 启动hadoop

格式化namenode

hadoop namenode -format //格式化namenode

如果格式化namenode有问题,请看namenode格式化问题(namenode启动不起来,datanode启动不起来)

启动hadoop

start-all.sh //启动所有进程
stop-all.sh //关闭所有进程
jps //查看进程
有以下五个进程说明搭建成功
5301 Jps
4598 DataNode
4760 SecondaryNameNode
4474 NameNode
4910 ResourceManager
5006 NodeManager

在start-all.sh或stop-all.sh时 , 会有让你输入密码的情况 , 如下 :

解决办法 :
(1) 输入你虚拟机的秘密

(2) 安装ssh

yum -y install openssh-clients openssh-server
生成公钥和私钥
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa （注意 p是大写）
进入目录 # cd ~/.ssh
将公钥 导入到秘钥库 其实就是个复制文件
# cp id_rsa.pub authorized_keys
# 测试
# ssh localhost 如果不用再输入密码了 则成功

十. 访问Hadoop

访问Hadoop默认端口号为50070，使用以下网址获得浏览器Hadoop的服务.
网址 : 主机Ip地址 : 50070