当前位置:   article > 正文

大数据~DataNode详解&MapReduce 概述_datanode block map

datanode block map

DataNode 详解

DataNode----是存储数据块元数据

一 DataNode 工作机制

killall java 删除java 全部进程

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

如上图 什么是数据校验和?

数据完整性

思考:如果电脑磁盘里面存储的数据是控制高铁信号灯的红灯信号(1)和绿灯信号(0),但是存储该数据的磁盘坏了,一直显示是绿灯,是否很危险?同理DataNode节点上的数据损坏了,却没有发现,是否也很危险,那么如何解决呢?

如下是DataNode节点保证数据完整性的方法。

1)当DataNode读取Block的时候,它会计算CheckSum。

2)如果计算后的CheckSum,与Block创建时值不一样,说明Block已经损坏。

3)Client读取其他DataNode上的Block。

4)DataNode在其文件创建后周期验证CheckSum,如下图所示

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wvn8EyYQ-1595565343682)(C:\Users\v_xjzxu\AppData\Roaming\Typora\typora-user-images\1595404867332.png)]

掉线时限参数设置

在这里插入图片描述
在这里插入图片描述

需要注意的是 hdfs-site.xml 配置文件中的heartbeat.recheck.interval的单位为毫秒,dfs.heartbeat.interval的单位为秒
    
    
<property>
    <name>dfs.namenode.heartbeat.recheck-interval</name>
    <value>300000</value>
</property>
<property>
    <name>dfs.heartbeat.interval</name>
    <value>3</value>
</property>

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

二 服役新数据节点

\0. 需求

随着公司业务的增长,数据量越来越大,原有的数据节点的容量已经不能满足存储数据的需求,需要在原有集群基础上动态添加新的数据节点。

\1. 环境准备

​ (1)在hadoop104主机上再克隆一台hadoop105主机

​ (2)修改IP地址和主机名称

​ (3)删除原来HDFS文件系统留存的文件(/opt/module/hadoop-2.7.2/data和log

​ (4)source一下配置文件

[root@hadoop105 hadoop-2.7.2]$ source /etc/profile

\2. 服役新节点具体步骤
(1)直接启动DataNode,即可关联到集群

[root@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode (不用配置主从集群什么副本 只需-但启-新增机器 ,他会自动完成注册)

在这里插入图片描述

(2)在hadoop105上上传文件

[root@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager

[root@hadoop105 hadoop-2.7.2]$ hadoop fs -put /opt/module/hadoop-2.7.2/LICENSE.txt /

(3)如果数据不均衡,可以用命令实现集群的再平衡

[root@hadoop102 sbin]$ ./start-balancer.sh

starting balancer, logging to /opt/module/hadoop-2.7.2/logs/hadoop-atguigu-balancer-hadoop102.out

Time Stamp Iteration# Bytes Already Moved Bytes Left To Move Bytes Being Moved

三 退役旧数据节点

1 添加白名单

添加到白名单的主机节点,都允许访问NameNode,不在白名单的主机节点,都会被退出。

配置白名单的具体步骤如下:

1)在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts文件
    
[root@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[root@hadoop102 hadoop]$ touch dfs.hosts
[root@hadoop102 hadoop]$ vi dfs.hosts

添加如下主机名称(不添加hadoop105)
hadoop102
hadoop103
hadoop104
    
    
(2)在NameNode的hdfs-site.xml配置文件中增加dfs.hosts属性
<property>
	<name>dfs.hosts</name>
	<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>
    
 (3)配置文件分发
xsync hdfs-site.xml

    
 (4)刷新NameNode
hdfs dfsadmin -refreshNodes  
  
返回:Refresh nodes successful 代表刷新成功
  
5)更新ResourceManager节点
yarn rmadmin -refreshNodes
  
17/06/24 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

  
如果数据不均衡,可以用命令实现集群的再平衡
./start-balancer.sh


  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38

在这里插入图片描述

刷新NameNode
hdfs dfsadmin -refreshNodes
  • 1
更新ResourceManager节点
yarn rmadmin -refreshNodes
  • 1

2 黑名单退役

在黑名单上面的主机都会被强制退出。

1.在NameNode的/opt/module/hadoop-2.7.2/etc/hadoop目录下创建dfs.hosts.exclude文件

[root@hadoop102 hadoop]$ pwd

/opt/module/hadoop-2.7.2/etc/hadoop

[root@hadoop102 hadoop]$ touch dfs.hosts.exclude

[root@hadoop102 hadoop]$ vi dfs.hosts.exclude

添加如下主机名称(要退役的节点)

hadoop105

2.在NameNode的hdfs-site.xml配置文件中增加dfs.hosts.exclude属性

<property>

<name>dfs.hosts.exclude</name>

   <value>/opt/module/hadoop-2.7.2/etc/hadoop/**dfs.hosts.exclude**</value>

</property>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7

3.刷新NameNode、刷新ResourceManager

[root@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes

Refresh nodes successful

[root@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

17/06/24 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.1.103:8033

\4. 检查Web浏览器,退役节点的状态为decommission in progress(退役中),说明数据节点正在复制块到其他节点
在这里插入图片描述

\5. 等待退役节点状态为decommissioned(所有块已经复制完成),停止该节点及节点资源管理器。注意:如果副本数是3,服役的节点小于等于3,是不能退役成功的,需要修改副本数后才能退役,

在这里插入图片描述

[root@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode

stopping datanode

[root@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager

stopping nodemanager

\6. 如果数据不均衡,可以用命令实现集群的再平衡

[atguigu@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh

注意:不允许白名单和黑名单中同时出现同一个主机名称

四 Datanode多目录配置

\1. DataNode也可以配置成多个目录,每个目录存储的数据不一样。即:数据不是副本

2.具体配置如下

hdfs-site.xml

<property>
        <name>dfs.datanode.data.dir</name>				         			              <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

  • 1
  • 2
  • 3
  • 4

五 HDFS 2.X新特性

1 集群间数据拷贝

1.scp实现两个远程主机之间的文件复制

​ scp -r hello.txt root@hadoop103… // 推 push

​ scp -r root@hadoop103…/test / // 拉 pull

2 采用distcp命令实现两个Hadoop集群之间的递归数据复制

[root@hadoop102 hadoop-2.7.2]$  bin/hadoop distcp
hdfs://haoop102:9000/user/root/hello.txt hdfs://hadoop103:9000/user/root/hello.txt

  • 1
  • 2
  • 3

2 小文件存档

在这里插入图片描述

把小文件打成一个包,打包需要yarn支持 ,启动yarn.

启动dfs/yarn

hadoop fs -put hadoop / 上传小文件

把小文件打包 bin/hadoop archive -archiveName input.har 设置名字 -p /(hadoop 要打包路径) / (打包好存放路径)

查看包里文件

hadoop fs -ls har:///input.har

六 MapReduce

在这里插入图片描述

优点:

简单(易于编程)

​ 良好扩展性

​ 较高容错性
在这里插入图片描述

在这里插入图片描述

缺点:慢

在这里插入图片描述

MapReduce核心思想

Map映射+Reduce归并

输入数据----》Map 阶段 把元数据映射成我们希望的样子(k,v)单词,1===>Reduce 阶段归并 把N个单词变成1 ,把1 变成N (1(单词),N(数量))

在这里插入图片描述

七 Hadoop 序列化概述

在这里插入图片描述

Hadoop 序列化特点

在这里插入图片描述

八 补充

如何导入idea ,导入前

在这里插入图片描述
在这里插入图片描述

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/weixin_40725706/article/detail/785810
推荐阅读
相关标签
  

闽ICP备14008679号