linux搭建hdfs环境_linux里的java没有hdfs怎么办

         最近在学习hadoop，这几天一直在配置hdfs，对linux不是很熟的我，在配置hdfs的过程中，出现了很多问题，有些也很纠结，在此总结下也记录下自己所做的努力！

首先介绍下环境，CentOS6.2 三台 ：

          10.10.80.159       master

           10.10.80.18         node1

       10.10.80.82        node2

      jdk必须的先安装，本人从网上下载的jdk-6u30-linux-i586-rpm.bin的1.6版本，下载到/usr/local/路径下，给予权限chmod 600  jdk-6u30-linux-i586-rpm.bin   并执行./jdk-6u30-linux-i586-rpm.bin，这样jdk已安装成功，再者就是配置环境变量,/etc/profile  内容如下：

export JAVA_HOME=/usr/java/jdk1.6.0_30
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPAT=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar

这样jdk完成，java -version测试是否成功！

因为在hadoop的通信都是通过ssh，但ssh总是要输入密码，所以必须配置下使之master操作node下的文件而不用密码，一般ssh都已安装好，就算没有用yum直接安装，首先ssh-keygen生成一个公钥，连按两次回车，这样把密码设为空了，生成了id_rsa和id_rsa.pub，把id_rsa.pub复制到各个node下的/root/.ssh/下并命名为 authorized_keys，可以使用scp复制，scp /root/.ssh/id_rsa.pub node1:/root/.ssh/authorized_keys  这就要注意了，一定要记得先在 /etc/hosts 文件添加这三台机器的ip和域名如上！

接着下载hadoop压缩包hadoop-0.20.203.0rc1.tar.gz，这个直接解压到/usr/local/并改名为hadoop，hadoop需要配置的地方有：

这些文件全在 /usr/local/hadoop/conf （因为本人是把hadoop安装在/usr/local下哦）

首先 hadoop-env.sh 添加
export JAVA_HOME=/usr/java/jdk1.6.0_30  （有时候配置文件已经有直接把#去掉，路径改成自己的jdk安装路径）
core-site.xml  这些添加到configuration里面即可
<property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop/hadooptmp</value>
    <description></description>
</property>

hdfs-site.xml

<property>
    <name>dfs.name.dir</name>
    <value>/usr/local/hadoop/hdfs/name</value>
    <description>namenode</description>
</property>
<property>
    <name>dfs.data.dir</name>
    <value>/usr/local/hadoop/hdfs/data</value>
    <description>datanode</description>
</property>

<property>

<name>dfs.replication</name>

<value>1</value>
</property>

mapred-site.xml

<property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

<property>
    <name>mapred.local.dir</name>
    <value>/usr/local/hadoop/mapred/local</value>
    <description>tasktracker</description>
</property>

<property>

   <name>mapred.system.dir</name>
    <value>/tmp/hadoop/mapred/system</value>
    <description></description>
</property>
还有 masters文件写入master

slaves 写入

node1

node2

最后在 /etc/profile文件最后添加

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$PATH

 

这样配置都算完成，记住把所以的配置使用scp复制到各个node节点，当然也可以用自己的方式复制过去，这样你就可以测试了hdfs哦！

首先一定要关注每个机器的 防火墙 哦

好了试试，首先 hadoop namenode -format  格式化 namenode

然后start-all.sh 这样就启动了你的hdfs系统哦

hadoop dfsadmin -report 查看这个系统的状态

 

 

这样的界面是你梦寐所求的，这也是我这几天所追求的，这样就完事了，祝大家好运！

这过程有过很多低级问题，也有些很纠结，郁闷了很久，在这就不多说了，有什么问题可以一起交流！