devbox
你好赵伟
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Hadoop_hadoop-env.sh

作者：你好赵伟 | 2024-05-25 11:25:17

赞

踩

hadoop-env.sh

1.Hadoop主要包括以下三大组件

    HDFS(分布式存储系统)
        NameNode:HDFS集群主节点
        SecondaryNamenode:NameNode 的冷备份
        DateNode:是 HDFS 集群从节点            
    YARN（资源管理器）----MapReduce、Storm,spark,flink
        ResourceManager
        NodeManager
    MapReduce(分布式并行计算系统)

2.HDFS分布式存储系统

1）HDFS的基础架构

 2）HDFS的特点

  •     一次写入多次读取
  •     不适合低延迟数据访问
  •     无法高效存储大量小文件
  •     不支持多用户写入及任意修改文件

3）高可用（容灾设计）

  • 在NameNode和DateNode之间维持心跳检测，如果NameNode不能正常收到DataNode的心跳，则认为该节点挂了。NameNode会检索副本数目小于设置值文件块，复制其新的副本，并分发到其他数据节点上。
  • 检测文件块的完整性：HDFS会记录每个新创建的文件的所有块的校验，检索时会优先提取校验和记录相同的副本。
  • 集群的负载均衡：当某 个数据节点的空闲空间大于一个临界值的时候，HDFS    会自动从其他数据节点迁移数据过来。

4)基本操作

  1. CLI基本操作
  2.  
  3. 创建目录	
  4.     hdfs dfs -mkdir -p /user/test/input
  5. 上传文件	
  6.     hdfs dfs -put etc/hadoop/*.xml /user/hadoop/input
  7. 查看文件列表	
  8.     hdfs dfs -ls /user/root
  9. 查看文件内容	
  10.     hdfs dfs -cat /user/test/input/*xml
  11. 删除文件	
  12.     hdfs dfs -rm -r /user/root/output

3.YARN

 4.MapReduce

 说明：该图为借用，版权归原作者所有。

 5.Hadoop集群搭建

1）环境规划

机器IDIP角色
1192.168.31.10master
2192.168.31.11slave01
3192.168.31.12slave02

2）安装SSH服务(如果已安装，则跳过)

  1. 安装SSH
  2.     yum -y install openssh-server
  3. 生成密钥对 
  4.     mkdir /var/run/sshd
  5.     ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key
  6.     ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
  7. 指定root密码
  8.     /bin/echo 'root:123456'|chpasswd
  9.     /bin/sed -i 's/.*session.*required.*pam_loginuid.so.*/session optional pam_loginuid.so/g' /etc/pam.d/sshd
  10.     /bin/echo -e "LANG=\"en_US.UTF-8\"" > /etc/default/local
  11. 启动服务
  12.     /usr/sbin/sshd -D
  13.  
  14. 检测是否可以免密SSH登录localhost,不果不能，则执行以下命令
  15.   ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  16.   cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  17.   chmod 0600 ~/.ssh/authorized_keys

3）域名配置

  1. 编辑hosts文件，添加域名：
  2. 命令：
  3.     vi /etc/hosts
  4. 内容：
  5.     192.168.31.10 master
  6.     192.168.31.11 slave01
  7.     192.168.31.12 slave02

4）JDK安装

  1. 1.下载JDK1.8安装包,上传至服务器，并解压。
  2. 2.环境变量配置
  3.         vim /etc/profile
  4.     在文件最后添加
  5.         export JAVA_HOME=/home/hadoop/java/jdk1.8.0_161
  6.         export PATH=$PATH:$JAVA_HOME/bin
  7. 3.刷新使生效
  8.     source /etc/profile

5）Hadoop安装

  1. 下载安装包，并解压至服务器。
  2.  
  3. 下载地址：	
  4.     https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
  5. 官网下载极慢，建议使用下面链接
  6.     https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/

6）Hadoop配置

  1. hadoop-env.sh
  2. 	export JAVA_HOME=/usr/local/software/java8/jdk1.8.0_311/
  3.     export HDFS_NAMENODE_USER=root
  4.     export HDFS_DATANODE_USER=root
  5.     export HDFS_SECONDARYNAMENODE_USER=root
  6.     export YARN_RESOURCEMANAGER_USER=root
  7.     export YARN_NODEMANAGER_USER=root
  8. -----------------------------------
  9. core-site.xml
  10. <configuration>
  11. 	<property>
  12. 		<name>hadoop.tmp.dir</name>
  13. 		<value>file:/usr/local/hadoop/tmp</value>
  14. 		<description>Abase for	other temporary	directories.</description>
  15. 	</property>
  16. 	<property>
  17. 		<name>fs.defaultFS</name>
  18. 		<value>hdfs://master:9000</value>
  19. 	</property>
  20. </configuration>	
  21. -----------------------------------	
  22. hdfs-site.xml
  23. <configuration>
  24.   <property>
  25.     <name>dfs.namenode.name.dir</name>
  26.     <value>file:/usr/local/software/hadoop/hadoop-3.3.1/namenode_dir</value>
  27.   </property>
  28.   <property>
  29.     <name>dfs.datanode.data.dir</name>
  30.     <value>file:/usr/local/software/hadoop/hadoop-3.3.1/datanode_dir</value>
  31.   </property>
  32.   <property>
  33.     <name>dfs.replication</name>
  34.     <value>3</value>
  35.   </property>
  36.   <!--需要配置端口，否则页面无法访问-->
  37.   <property>
  38.     <name>dfs.http.address</name>
  39.     <value>master:50070</value>
  40.   </property>
  41. </configuration>	
  42. ----------------------------------------
  43. mapred-site.xml	
  44. <configuration>
  45.   <property>
  46.     <name>mapreduce.framework.name</name>
  47.     <value>yarn</value>
  48.   </property>
  49.   <property>
  50.     <name>yarn.app.mapreduce.am.env</name>
  51.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  52.   </property>
  53.   <property>
  54.     <name>mapreduce.map.env</name>
  55.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  56.   </property>
  57.   <property>
  58.     <name>mapreduce.reduce.env</name>
  59.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  60.   </property>
  61. </configuration>
  62. ----------------------------------------	
  63. yarn-site.xml
  64. <configuration>
  65.      <!-- Site specific YARN configuration properties -->
  66.      <property>
  67.          <name>yarn.nodemanager.aux-services</name>
  68.          <value>mapreduce_shuffle</value>
  69.      </property>
  70.      <property>
  71.          <name>yarn.resourcemanager.hostname</name>
  72.          <value>master</value>
  73.      </property>
  74.      <property>
  75.          <name>yarn.nodemanager.resource.memory-mb</name>
  76.          <value>20480</value>
  77.      </property>
  78.      <property>
  79.          <name>yarn.scheduler.minimum-allocation-mb</name>
  80.          <value>2048</value>
  81.      </property>
  82.      <property>
  83.          <name>yarn.nodemanager.vmem-pmem-ratio</name>
  84.          <value>2.1</value>
  85.      </property>
  86.  </configuration>
  87. ------------------------------------
  88. 配置域名
  89. 修改主节点文件：etc/hadoop/workers，将 localhost 替换成两个 slave 的主机名
  90.     slave01
  91.     slave02

7)启动hadoop集群

  1. 格式化
  2.     hdfs namenode -format
  3. 启动hdfs集群
  4.     sbin/start-dfs.sh
  5. 启动yarn集群
  6.     sbin/start-yarn.sh

8）踩坑点说明

  1. 1.50070端口不能访问
  2. 1）hdfs-site.xml天机端口配置
  3.   <property>
  4.     <name>dfs.http.address</name>
  5.     <value>master:50070</value>
  6.   </property>
  7. 2）删除节点数据
  8. 3）格式化
  9. 4）启动hdfs集群
  10. 5）启动yarn集群
  11.  
  12.  
  13. 2.报错：Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster
  14. mapred-site.xml中添加配置：
  15.   <property>
  16.     <name>yarn.app.mapreduce.am.env</name>
  17.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  18.   </property>
  19.   <property>
  20.     <name>mapreduce.map.env</name>
  21.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  22.   </property>
  23.   <property>
  24.     <name>mapreduce.reduce.env</name>
  25.     <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  26.   </property>
  27.  
  28. 3.http://192.168.31.10:50070页面查看文件失败
  29.  
  30. 在客户端机器上，更改C:\Windows\System32\drivers\etc\hosts文件，添加hadoop集群域名信息：
  31.     192.168.31.10 master
  32.     192.168.31.11 slave01
  33.     192.168.31.12 slave02
  34.  
  35. 4.页面查看文件失败,报错：Couldn’t preview the file. NetworkError: Failed to execute ‘send’ on ‘XMLHttpRequest’: Failed to load ‘http://slave1:9864/webhdfs/v1/HelloHadoop.txt?op=OPEN&namenoderpcaddress=master:9820&offset=0&_=1609724219001’.
  36.  
  37. [root@master ~]# vim /usr/bigdata/hadoop-3.3.0/etc/hadoop/hdfs-site.xml
  38. 	<property>
  39. 		<name>dfs.webhdfs.enabled</name>
  40. 		<value>true</value>
  41. 	</property>
  42. 重启集群

6.基于IDEA搭建Windows开发环境

1）前提条件

        已成功安装JDK1.8、Maven

2)资源下载

        hadoop安装包

        winutils

3）部署

        使用7-Zip解压hadoop安装包至指定目录（两次提取）

        解压winutils，并用指定版本的bin目录覆盖hadoop的bin目录。

4）Hadoop配置

  1. Hadoop安装目录：D:\SOFT\BigData\hadoop-3.3.1
  2.  
  3. hadoop-env.cmd文件末尾添加一行：
  4.     set HADOOP_IDENT_STRING="Administrator"
  5. ----------------------------------------------
  6. core-site.xml
  7. <configuration>
  8. <!-- 指定Hadoop运行时产生文件的存储目录 -->
  9.     <property>
  10.         <name>hadoop.tmp.dir</name>
  11.         <value>/D:/SOFT/BigData/hadoop-3.3.1/workplace/tmp</value>
  12.     </property>
  13.     <property>
  14.         <name>dfs.name.dir</name>
  15.         <value>/D:/SOFT/BigData/hadoop-3.3.1/workplace/name</value>
  16.     </property>
  17. 	<!-- 指定HDFS中NameNode的地址 -->
  18. 	<property>
  19. 		<name>fs.defaultFS</name>
  20. 		<value>hdfs://localhost:9000</value>
  21. 	</property>
  22. </configuration>
  23. ----------------------------------------------
  24. hdfs-site.xml
  25. <configuration>
  26.     <!-- 这个参数设置为1，因为是单机版hadoop -->
  27.     <property>
  28.         <name>dfs.replication</name>
  29.         <value>1</value>
  30.     </property>
  31.     <property>
  32.         <name>dfs.data.dir</name>
  33.         <value>/D:/SOFT/BigData/hadoop-3.3.1/workplace/data</value>
  34.     </property>
  35. </configuration>
  36. ----------------------------------------------
  37. mapred-site.xml
  38. <configuration>
  39.     <!-- 这个参数设置为1，因为是单机版hadoop -->
  40.     <property>
  41.         <name>dfs.replication</name>
  42.         <value>1</value>
  43.     </property>
  44.     <property>
  45.         <name>dfs.data.dir</name>
  46.         <value>/D:/Environment/hadoop/workplace/data</value>
  47.     </property>
  48.  
  49. </configuration>
  50. ----------------------------------------------
  51. yarn-site.xml
  52. <configuration>
  53.  
  54. <!-- Site specific YARN configuration properties -->
  55.     <property>
  56.        <name>yarn.nodemanager.aux-services</name>
  57.        <value>mapreduce_shuffle</value>
  58.     </property>
  59.     <property>
  60.        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  61.        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  62.     </property>
  63. </configuration>

5)项目开发

        pom依赖

  1.     <dependencies>
  2.         <dependency>
  3.             <groupId>org.apache.hadoop</groupId>
  4.             <artifactId>hadoop-common</artifactId>
  5.             <version>3.3.1</version>
  6.         </dependency>
  7.         <dependency>
  8.             <groupId>org.apache.hadoop</groupId>
  9.             <artifactId>hadoop-client</artifactId>
  10.             <version>3.3.1</version>
  11.         </dependency>
  12.         <dependency>
  13.             <groupId>org.slf4j</groupId>
  14.             <artifactId>slf4j-log4j12</artifactId>
  15.             <version>1.7.30</version>
  16.             <!--            <scope>compile</scope>-->
  17.         </dependency>
  18.         <dependency>
  19.             <groupId>org.slf4j</groupId>
  20.             <artifactId>slf4j-nop</artifactId>
  21.             <version>1.7.30</version>
  22.         </dependency>
  23.     </dependencies>

        log4j.properties

  1. log4j.rootLogger=WARN, stdout
  2. log4j.appender.stdout=org.apache.log4j.ConsoleAppender
  3. log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
  4. log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

        WordCount.java

  1. package com.xxx.mapreducer;
  2.  
  3. import org.apache.commons.io.FileUtils;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.Path;
  6. import org.apache.hadoop.io.IntWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  10. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  11.  
  12. import java.io.File;
  13. import java.io.IOException;
  14.  
  15. public class WordCount {
  16.     public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {
  17.  
  18.         File file=new File(args[1]);
  19.         if (file.exists()){
  20.             FileUtils.deleteDirectory(file);
  21.         }
  22.  
  23.         System.setProperty("HADOOP_USER_NAME","root");
  24.  
  25.         Configuration configuration = new Configuration();
  26.         configuration.set("hadoop.tmp.dir", "D:/SOFT/BigData/hadoop-3.3.1/workplace/tmp");
  27.  
  28.         Job job = Job.getInstance(configuration, "wordCount");
  29.         job.setJarByClass(WordCount.class);
  30.  
  31.         job.setMapperClass(MyMapper.class);
  32.  
  33.         job.setCombinerClass(MyCombiner.class);
  34.  
  35.         job.setReducerClass(MyCombiner.class);
  36.  
  37.         job.setOutputKeyClass(Text.class);
  38.         job.setOutputValueClass(IntWritable.class);
  39.  
  40.         FileInputFormat.addInputPath(job, new Path(args[0]));
  41.         FileOutputFormat.setOutputPath(job, new Path(args[1]));
  42.  
  43.         System.exit(job.waitForCompletion(true) ? 0 : 1);
  44.     }
  45.  
  46. }

         MyMapper.java

  1. package com.xxx.mapreducer;
  2.  
  3. import org.apache.hadoop.io.IntWritable;
  4. import org.apache.hadoop.io.Text;
  5. import org.apache.hadoop.mapreduce.Mapper;
  6.  
  7. import java.io.IOException;
  8. import java.util.StringTokenizer;
  9.  
  10. public class MyMapper extends Mapper<Object, Text, Text, IntWritable> {
  11.     private final static IntWritable one = new IntWritable(1);
  12.     private Text word = new Text();
  13.  
  14.     @Override
  15.     protected void map(Object key, Text value, Context context) throws IOException, InterruptedException {
  16.         StringTokenizer itr = new StringTokenizer(value.toString());
  17.         while (itr.hasMoreTokens()) {
  18.             word.set(itr.nextToken());
  19.             context.write(word, one);
  20.         }
  21.     }
  22. }

         MyCombiner.java

  1. package com.xxx.mapreducer;
  2.  
  3. import org.apache.hadoop.io.IntWritable;
  4. import org.apache.hadoop.io.Text;
  5. import org.apache.hadoop.mapreduce.Reducer;
  6.  
  7. import java.io.IOException;
  8.  
  9. public class MyCombiner extends Reducer<Text, IntWritable, Text, IntWritable> {
  10.     private IntWritable result = new IntWritable();
  11.  
  12.     @Override
  13.     public void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException {
  14.         int sum = 0;
  15.         for (IntWritable val : values) {
  16.             sum += val.get();
  17.         }
  18.         result.set(sum);
  19.         context.write(key, result);
  20.     }
  21. }

6)调试

7）踩坑点：

  1. 代码运行报错：org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String；I)Z
  2. 	
  3. 检查环境变量是否配置正确，且Hadoop bin目录下hadoop.dll和winutils.exe
  4. 	拷贝hadoop.dll至c:\windows\system32目录

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/你好赵伟/article/detail/621872
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号