当前位置:   article > 正文

Hadoop之—— Linux搭建hadoop环境(简化篇)_hadoop 命令行 精简配置

hadoop 命令行 精简配置
转载请注明出处:http://blog.csdn.net/l1028386804/article/details/45771619
1、安装JDK(此处以安装JDK1.6为例,具体安装JDK的版本不限)
  (1)下载安装JDK:确保计算机联网之后命令行输入下面命令安装JDK
       sudo apt-get install sun-java6-jdk
  (2)配置计算机Java环境:打开/etc/profile,在文件最后输入下面内容
       export JAVA_HOME = (Java安装目录)
       export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
       export PATH = "$JAVA_HOME/:PATH"
  (3)验证Java是否安装成功
  输入 java -version ,输出Java版本信息即为安装成功。
2、安装配置SSH
  (1)下载安装SSH:同样在命令行输入下面命令安装SSH
      sudo apt-get install ssh
  (2)配置无密码登录本机:在命令行输入下面两条命令
     $ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
         直接回车,完成后会在~/.ssh/生成两个文件:id_rsa和id_rsa.pub;这两个成对出现,类似钥匙和锁。
        
         再把id_rsa.pub追加到授权key里面(当前并没有authorized_keys文件)
         $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
   
  (3)验证SSH是否安装成功
       输入 ssh localhost 。如果显示本机登录成功就表明安装成功。
3、关闭防火墙
   $sudo ufw disable
   注意:这步非常重要,如果不关闭,会出现找不到datanode的问题
4、安装运行Hadoop(以0.20.2版本为例)
  (1)下载Hadoop:在http://www.apache.org/dyn/closer.cgi/hadoop/core/页面上下载Hadoop。
  (2)安装配置Hadoop
   单节点配置:
   安装单节点的Hadoop无需配置,在这种方式下,Hadoop被认作为一个单独的Java进程。
   伪分布配置:
   伪分布的Hadoop是只有一个节点的集群。在这个集群中,计算机既是master也是slave,
     即使 namenode也是datanode,既是jobtracker也是tasktracker。

  配置的过程如下:

  a、进入conf文件夹修改下面的文件。
  Hadoop-env.sh中加入下面内容:
  export JAVA_HOME = (JAVA安装目录)
  core-site.xml文件内容修改为下面内容:
  1. <configuration>
  2. <!-- global properties -->
  3. <property>
  4.    <name>hadoop.tmp.dir</name>
  5.    <value>/home/liuyazhuang/tmp</value>
  6.    </property>
  7. <!-- file system properties -->
  8.    <property>
  9.    <name>fs.default.name</name>
  10.    <value>hdfs://localhost:9000</value>
  11.    </property>
  12.   </configuration>
  hdfs-site.xml文件内容修改为下面内容:(replication默认为3,如果不修改,datanode少于三台就会报错)
  1. <configuration>
  2.    <property>
  3.    <name>fs.replication</name>
  4.    <value>1</value>
  5.    </property>
  6.   </configuration>

mapred-site.xml文件内容修改为下面内容:

  1. <pre name="code" class="html">
  2.   <configuration>
  3.    <property>
  4.    <name>mapred.job.tracker</name>
  5.    <value>localhost:9001</value>
  6.    </property>
  7.   </configuration>

 

  b、格式化Hadoop文件系统,在命令行输入命令:  bin/hadoop namenode -format 

          多次格式化先删除 /home/liuyazhuang/tmp(此目录与core-site.xml中配置的目录相同)这个文件夹后在执行格式化操作,

        c、启动Hadoop,在命令行输入命令:  bin/start-all.sh  

        d、验证Hadoop是否安装成功,在浏览器中输入下面网址,如果正常打开说明安装成功。  

        http://localhost:50030 (mapreduce的web页面)  http://localhost:50070 (hdfs的web页面)

5、运行实例

    (1)先在本地磁盘建立两个输入文件 file01和file02   $echo "Hello World Bye World" > file01   $echo "Hello Hadoop Goodbye Hadoop" > file02  

    (2)在hdfs中建立一个input目录:$hadoop fs -mkdir input  

    (3)将file01和file02拷贝到hdfs中:      $hadoop fs -copyFromLocal /home/liuyazhuang/file0* input  

    (4)执行wordcount:      $hadoop jar hadoop-0.20.2-examples.jar wordcount input output  

    (5)完成之后,查看结果      $hadoop fs -cat output/part-r-00000

export JAVA_HOME = /home/chuanqing/profile/jdk-6u13-linux-i586.zip_FILES/jdk1.6.0_13
export CLASSPATH = ".:$JAVA_HOME/lib:$CLASSPATH"
export PATH = "$JAVA_HOME/:PATH"
export HADOOP_INSTALL=/home/chuanqing/profile/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin
export HADOOP_INSTALL=/home/zhoulai/profile/hadoop-0.20.203.0
export PATH=$PATH:$HADOOP_INSTALL/bin
声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/在线问答5/article/detail/1002467
推荐阅读
相关标签
  

闽ICP备14008679号