赞
踩
一。安装VMvare软件。
二。安装ubuntu步骤:
ubuntu-16.04-desktop-amd64.iso
补充一下,如果不需要交互进行,就用-f选项,表示强制删除,不用进一步确认了
对于普通文件使用
sudo rm -f filename
对于目录使用
sudo rm -fr dirname
1.创建虚拟机
2.
3.
用户全名:lsj123,用户名+密码:lsj123
取名root是不可以的,因为root账号是系统默认的。
4.
下一步下一步
5.安装中:
6.
7.安装成功
插曲:Ubuntu 系统的U盘挂载.
网上有教程挂载U盘,但是失败了。
主要指令步骤如下:
1: sudo fdisk -l; //显示U盘位置信息等等
2: # mount -t vfat /dev/sdb1 /media/u //用mount 挂载指令,从/dev/sdb1 挂载到文件夹 /media/u. 这里根据实际情况变换文件夹名字,所以路径也改变
3:cd /media/u //访问U盘
4:查看 ls
我的是失败的。
三:Hadoop安装
四:JDK安装
1.先在usr目录下面创建jdk文件夹
2.复制jdk到usr/jdk/下面:
sudo mv /media/lsj123/XXXXXXX. jdk在U盘中的路径 到 /usr/jdk
sudo mv /从哪里/ /到哪里/
3. ls 查看
4.解压安装jdk:
指令: sudo tar zxvf FileName.tar.gz 或者:sudo tar zcvf tar zxvf FileName.tar.gz DirName
5.配置环境变量
[环境变量的配置有三种方式:]
1.$sudo gedit ~/.bashrc
2.$ source ~/.profile
3. 【先切换到etc 目录: cd etc ; sudo gedit environment 】sudo gedit environment
添加:
切记:source Eenvironment才能生效
7.
检验是否安装成功
在终端输入如下命令
java -version
问题1:hadoop账号不能使用lsj123账号下面的jdk
问题2:lsj123账号下面不能查看jdkd java_home 路径
2017.5.4 重新安装hadoop
1.解压hadoop tar -xvzf XXXXX
2.配置环境变量:
第一步: [去environment 配置]
第二步
sudo gedit /etc/profile 里面配置
source /etc/profile
【JAVA_HOME=
HADOOP_HOM=
PATH=
】
source /etc/profile
五。伪分布式配置
1.Hadoop 的配置文件位于 /usr/soft/hadoop-2.7.3/etc/hadoop/ 中,伪分布式需要修改2个配置文件 core-site.xml 和hdfs-site.xml 。Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 name 和 value 的方式来实现。
修改配置文件 core-site.xml (通过 gedit 编辑会比较方便: gedit ./etc/hadoop/core-site.xml),将当中的
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/soft/hadoop-2.7.3/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
修改配置文件 hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/soft/hadoop-2.7.3/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/soft/hadoop-2.7.3/tmp/dfs/data</value>
</property>
</configuration>
2.配置完成后,执行 NameNode 的格式化(第一次配置格式化。以后不要多次,会出问题的):
./bin/hdfs namenode -format
配置成功:
3.接着开启 NameNode 和 DataNode 守护进程
./sbin/start-all.sh
4.通过jps查看启动的Hadoop进程
4.通过jps查看启动的Hadoop进程
五。安装成功,运行wordcount程序
1.lsj123@ubuntu:~$ cd /usr/soft/
2.lsj123@ubuntu:/usr/soft$ cd hadoop-2.7.3
3.
lsj123@ubuntu:/usr/soft/hadoop-2.7.3$ ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output
错误总结:前面不能运行自带的wordcout ,\
第一,没有正确找对jar包路径
第二。./bin/hadoop 指令不对
第三: 应该先建立一个input文件夹,文件夹里面的文件放东西。
4.运行过程
5.去根目录下面查看统计结果。
<http://www.wassenaar.org/> 1
Administration 1
Apache 1
BEFORE 1
BIS 1
Bureau 1
Commerce, 1
Commodity 1
Control 1
Core 1
Department 1
ENC 1
Exception 1
Export 2
For 1
Foundation 1
Government 1
Hadoop 1
Hadoop, 1
Industry 1
Jetty 1
License 1
Number 1
Regulations, 1
SSL 1
Section 1
Security 1
See 1
Software 2
Technology 1
The 4
This 1
U.S. 1
Unrestricted 1
about 1
algorithms. 1
and 6
and/or 1
another 1
any 1
as 1
asymmetric 1
at: 2
both 1
by 1
check 1
classified 1
code 1
code. 1
concerning 1
country 1
country's 1
country, 1
cryptographic 3
currently 1
details 1
distribution 2
eligible 1
encryption 3
exception 1
export 1
following 1
for 3
form 1
from 1
functions 1
has 1
have 1
http://hadoop.apache.org/core/ 1
http://wiki.apache.org/hadoop/ 1
if 1
import, 2
in 1
included 1
includes 2
information 2
information. 1
is 1
it 1
latest 1
laws, 1
libraries 1
makes 1
manner 1
may 1
more 2
mortbay.org. 1
object 1
of 5
on 2
or 2
our 2
performing 1
permitted. 1
please 2
policies 1
possession, 2
project 1
provides 1
re-export 2
regulations 1
reside 1
restrictions 1
security 1
see 1
software 2
software, 2
software. 2
software: 1
source 1
the 8
this 3
to 2
under 1
use, 2
uses 1
using 2
visit 1
website 1
which 2
wiki, 1
with 1
written 1
you 1
your 1
6.验证一
成功启动后,可以访问 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息,还可以在线查看 HDFS 中的文件。
7.验证二
创建目录:./bin/hdfs dfs -mkdir /input 都要加/ 才行
复制到目录 ./bin/hdfs dfs -put ./etc/hadoop/*.xml /input
00001. 查看目录: ./bin/hdfs dfs -ls /input
00002. 运行实例:
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /input /output 'dfs[a-z.]+'
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。