【大数据】Hadoop 体系（一）_大数据hadoop体系 主数据管理

Hadoop

一、大数据导论

1. 数据是什么？

• 数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号或这些物理符号的组合，它是可识别的、抽象的符号。
• 它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2…”、“阴、雨、下降”、“学生的档案记录、货物的运输情况”等都是数据。

2. 数据如何产生

• 对客观事物的计量和记录产生数据

3. 企业数据分析方向

• 把隐藏在数据背后的信息集中和提炼出来，总结出所研究对象的内在规律，帮助管理者进行有效的判断和决策。
• 数据分析在企业日常经营分析中主要有三大方向：
  • 现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比、发展、变动；
  • 原因分析（分析过去的数据）：某一现状为什么发生，确定原因，做出调整优化；
  • 预测分析（结合数据预测未来）：结合已有数据预测未来发展趋势。

4. 原因分析

• 离线分析（Batch Processing）
  • 面向过去，面向历史，分析已有的数据；
  • 在时间维度明显成批次性变化。一周一分析(T+7)，一天一分析（T+1），所以也叫做批处理。
    

5. 现状分析

• 实时分析（Real Time Processing |Streaming）
  • 面向当下，分析实时产生的数据；
  • 所谓的实时是指从数据产生到数据分析到数据应用的时间间隔很短，可细分秒级、毫秒级。
    

6. 预测分析

• 机器学习（Machine Learning）
  • 基于历史数据和当下产生的实时数据预测未来发生的事情；
  • 侧重于数学算法的运用，如分类、聚类、关联、预测。
    

7. 数据分析基本步骤

• 明确分析目的和思路
  • 目的是整个分析流程的起点，为数据的收集、处理及分析提供清晰的指引方向；
  • 思路是使分析框架体系化，比如先分析什么，后分析什么，使各分析点之间具有逻辑联系，保证分析维度的完整性，分析结果的有效性以及正确性，需要数据分析方法论进行支撑；
  • 数据分析方法论是一些营销管理类相关理论，比如用户行为理论、PEST分析法、5W2H分析法等。
• 数据收集
  • 数据从无到有的过程：比如传感器收集气象数据、埋点收集用户行为数据
  • 数据传输搬运的过程：比如采集数据库数据到数据分析平台
    
• 数据处理
  • 准确来说，应该称之为数据预处理。
  • 数据预处理需要对收集到的数据进行加工整理，形成适合数据分析的样式，主要包括数据清洗、数据转化、数据提取、数据计算；
  • 数据预处理可以保证数据的一致性和有效性，让数据变成干净规整的结构化数据。
• 数据分析
  • 用适当的分析方法及分析工具，对处理过的数据进行分析，提取有价值的信息，形成有效结论的过程；
  • 需要掌握各种数据分析方法，还要熟悉数据分析软件的操作；
• 数据展现
  • 数据展现又称之为数据可视化，指的是分析结果图表展示，因为人类是视觉动物；
  • 数据可视化（Data Visualization）属于数据应用的一种；
  • 注意，数据分析的结果不是只有可视化展示，还可以继续数据挖掘（Data Mining）、即席查询（Ad Hoc）等。
• 报告撰写
  • 数据分析报告是对整个数据分析过程的一个总结与呈现
  • 把数据分析的起因、过程、结果及建议完整地呈现出来，供决策者参考
  • 需要有明确的结论，最好有建议或解决方案

8. 总结

• 一切围绕着数据
• 通俗描述：数据从哪里来、数据到哪里去
• 核心步骤:采集、处理、分析、应用

9. 大数据时代

• 大数据定义

  • 大数据（big data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合；
  • 是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

• 大数据5V特征
  

• 应用场景

  • 电商领域
    • 精准广告位、个性化推荐、大数据杀熟
  • 传媒领域
    • 精准营销、猜你喜欢、交互推荐
  • 金融方面
    • 理财投资，通过对个人的信用评估，风险承担能力评估，集合众多理财产品、推荐响应的投资理财产品。
  • 交通领域
    • 拥堵预测、智能红绿灯、导航最优规划
  • 电信领域
    • 基站选址优化、舆情监控、客户用户画像
  • 安防领域
    • 犯罪预防、天网监控
  • 医疗领域
    • 智慧医疗、疾病预防、病源追踪

10. 分布式与集群

• 概念

  • 分布式：多台机器，每台机器上部署不同组件
  • 集群：多台机器，每台机器上部署相同组件

• 混淆点

  • 分布式、集群的共同点是：都是多台机器（服务器）组成的；
    

• 应用

  • 数据大爆炸，海量数据处理场景面临问题
  • 如何存储？单机存储有瓶颈，多台机器分布式存储
  • 如何计算？单机计算能力有限，多台机器分布式计算

二、Apache Hadoop、HDFS

1. Apache Hadoop概述

1.1 Hadoop介绍

• 狭义上Hadoop指的是Apache软件基金会的一款开源软件。
  • 用java语言实现，开源
  • 允许用户使用简单的编程模型实现跨机器集群对海量数据进行分布式计算处理
• Hadoop核心组件
  • Hadoop HDFS（分布式文件存储系统）：解决海量数据存储
  • Hadoop YARN（集群资源管理和任务调度框架）：解决资源任务调度
  • Hadoop MapReduce（分布式计算框架）：解决海量数据计算
• 广义上Hadoop指的是围绕Hadoop打造的大数据生态圈。
• Hadoop发展简史
  • Hadoop之父：Doug Cutting

1.2 Hadoop现状

• HDFS作为分布式文件存储系统，处在生态圈的底层与核心地位；
• YARN作为分布式通用的集群资源管理系统和任务调度平台，支撑各种计算引擎运行，保证了Hadoop地位；
• MapReduce作为大数据生态圈第一代分布式计算引擎，由于自身设计的模型所产生的弊端，导致企业一线几乎不再直接使用MapReduce进行编程处理，但是很多软件的底层依然在使用MapReduce引擎来处理数据。

1.3 总结①

• 狭义上Hadoop指软件，广义上Hadoop指生态圈
• Hadoop之父Doug Cutting
• Hadoop起源于Nutch项目
• 受Google3篇论文启发
• 2008年开源给Apache软件基金会

1.4 Hadoop特性优点

1.5 Hadoop国外应用

• Yahoo
  • 支持广告系统
  • 用户行为分析
  • 支持Web搜索
  • 反垃圾邮件系统
• Facebook
  • 存储处理数据挖掘和日志统计
  • 构建基于Hadoop数据仓库平台（Apache Hive来自FB）
• IBM
  • 蓝云基础设施构建
  • 商业化Hadoop发行、解决方案支持

1.6 Hadoop国内应用

• 百度
  • 用户搜索表征的需求数据、阿拉丁爬虫数据存储
  • 数据分析和挖掘 竞价排名
• 阿里巴巴
  • 为电子商务网络平台提供底层的基础计算和存储服务
  • 交易数据、信用数据
• 腾讯
  • 用户关系数据
  • 基于Hadoop、Hive构建TDW（腾讯分布式数据仓库）
• 华为
  • 对Hadoop的HA方案，以及HBase领域有深入研究

1.7 总结②

• Hadoop成功的魅力 – 通用性
  • 精准区分做什么和怎么做
  • 做什么属于业务问题 怎么做属于技术问题。
  • 用户负责业务 Hadoop负责技术
• Hadoop成功的魅力 – 简单

1.8 Hadoop发行版本

• 开源社区版
  • Apache开源社区发行
  • 也是官方发行版本
  • 优点：更新迭代快
  • 缺点：兼容稳定性不周
• 商业发行版
  • 商业公司发行
  • 基于Apache开源协议
  • 某些服务需要收费
  • 优点：稳定兼容好
  • 缺点：收费 版本更新慢

1.9 Hadoop架构变迁（1.0-2.0变迁）

• Hadoop 1.0
  • HDFS（分布式文件存储）
  • MapReduce（资源管理和分布式数据处理）
• Hadoop 2.0
  • HDFS（分布式文件存储）
  • MapReduce（分布式数据处理）
  • YARN（集群资源管理、任务调度）
• Hadoop架构变迁（3.0新版本）
  • Hadoop 3.0架构组件和Hadoop 2.0类似,3.0着重于性能优化。
  • 通用方面
    • 精简内核、类路径隔离、shell脚本重构
  • Hadoop HDFS
    • EC纠删码、多NameNode支持
  • Hadoop MapReduce
    • 任务本地化优化、内存参数自动推断
  • Hadoop YARN
    • Timeline Service V2、队列配置

2. Apache Hadoop集群搭建

2.1 Hadoop集群整体概述

• Hadoop集群包括两个集群：HDFS集群、YARN集群
• 两个集群逻辑上分离、通常物理上在一起
• 两个集群都是标准的主从架构集群
  
  
• 逻辑上分离
  • 两个集群互相之间没有依赖、互不影响
• 物理上在一起
  • 某些角色进程往往部署在同一台物理服务器上
• MapReduce集群呢？
  • MapReduce是计算框架、代码层面的组件，没有集群之说

2.2 Hadoop集群模式安装（Cluster mode）

• 集群角色规划
  • 角色规划的准则
    • 根据软件工作特性和服务器硬件资源情况合理分配
    • 比如依赖内存工作的NameNode是不是部署在大内存机器上？
  • 角色规划注意事项
    • 资源上有抢夺冲突的，尽量不要部署在一起
    • 工作上需要互相配合的。尽量部署在一起

• 服务器基础环境准备

# 主机名 
cat /etc/hostname

# hosts映射
vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.88.151 node1.itcast.cn node1
192.168.88.152 node2.itcast.cn node2
192.168.88.153 node3.itcast.cn node3

# JDK 1.8安装  上传 jdk-8u241-linux-x64.tar.gz到/export/server/目录下
cd /export/server/
tar zxvf jdk-8u241-linux-x64.tar.gz

	#配置环境变量
	vim /etc/profile
	
	export JAVA_HOME=/export/server/jdk1.8.0_241
	export PATH=$PATH:$JAVA_HOME/bin
	export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
	
	#重新加载环境变量文件
	source /etc/profile

# 集群时间同步
ntpdate ntp5.aliyun.com

# 防火墙关闭
firewall-cmd --state	#查看防火墙状态
systemctl stop firewalld.service  #停止firewalld服务
systemctl disable firewalld.service  #开机禁用firewalld服务

# ssh免密登录（只需要配置node1至node1、node2、node3即可）

	#node1生成公钥私钥 (一路回车)
	ssh-keygen  
	
	#node1配置免密登录到node1 node2 node3
	ssh-copy-id node1
	ssh-copy-id node2
	ssh-copy-id node3
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44

2.3 Hadoop安装包目录结构

2.4 修改配置文件

• 第一类1个：hadoop-env.sh

#文件最后添加
export JAVA_HOME=/export/server/jdk1.8.0_241

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root 
1
2
3
4
5
6
7
8

• 第二类4个：xxxx-site.xml ,site表示的是用户定义的配置，会覆盖default中的默认配置。
  • core-site.xml 核心模块配置

  <!-- 设置默认使用的文件系统 Hadoop支持file、HDFS、GFS、ali|Amazon云等文件系统 -->
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://node1:8020</value>
  </property>
  
  <!-- 设置Hadoop本地保存数据路径 -->
  <property>
      <name>hadoop.tmp.dir</name>
      <value>/export/data/hadoop-3.3.0</value>
  </property>
  
  <!-- 设置HDFS web UI用户身份 -->
  <property>
      <name>hadoop.http.staticuser.user</name>
      <value>root</value>
  </property>
  
  <!-- 整合hive 用户代理设置 -->
  <property>
      <name>hadoop.proxyuser.root.hosts</name>
      <value>*</value>
  </property>
  
  <property>
      <name>hadoop.proxyuser.root.groups</name>
      <value>*</value>
  </property>
  
  <!-- 文件系统垃圾桶保存时间 -->
  <property>
      <name>fs.trash.interval</name>
      <value>1440</value>
  </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19
  20
  21
  22
  23
  24
  25
  26
  27
  28
  29
  30
  31
  32
  33
  34

  • hdfs-site.xml hdfs文件系统模块配置

  <!-- 设置SNN进程运行机器位置信息 -->
  <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>node2:9868</value>
  </property>
  1
  2
  3
  4
  5

  • mapred-site.xml MapReduce模块配置

  <!-- 设置MR程序默认运行模式： yarn集群模式 local本地模式 -->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  
  <!-- MR程序历史服务地址 -->
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
  </property>
   
  <!-- MR程序历史服务器web端地址 -->
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
  </property>
  
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
  </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19
  20
  21
  22
  23
  24
  25
  26
  27
  28
  29
  30
  31
  32

  • yarn-site.xml yarn模块配置

  <!-- 设置YARN集群主角色运行机器位置 -->
  <property>
  	<name>yarn.resourcemanager.hostname</name>
  	<value>node1</value>
  </property>
  
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  
  <!-- 是否将对容器实施物理内存限制 -->
  <property>
      <name>yarn.nodemanager.pmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 是否将对容器实施虚拟内存限制。 -->
  <property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
  </property>
  
  <!-- 开启日志聚集 -->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  
  <!-- 设置yarn历史服务器地址 -->
  <property>
      <name>yarn.log.server.url</name>
      <value>http://node1:19888/jobhistory/logs</value>
  </property>
  
  <!-- 历史日志保存的时间 7天 -->
  <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
  </property>
  1
  2
  3
  4
  5
  6
  7
  8
  9
  10
  11
  12
  13
  14
  15
  16
  17
  18
  19
  20
  21
  22
  23
  24
  25
  26
  27
  28
  29
  30
  31
  32
  33
  34
  35
  36
  37
  38
  39
  40

• 第三类1个：workers

node1.itcast.cn
node2.itcast.cn
node3.itcast.cn
1
2
3

• 所有的配置文件目录：/export/server/hadoop-3.3.0/etc/hadoop

2.5 分发同步安装包

• 在node1机器上将Hadoop安装包scp同步到其他机器

cd /export/server

scp -r hadoop-3.3.0 root@node2:$PWD
scp -r hadoop-3.3.0 root@node3:$PWD
1
2
3
4

• 将hadoop添加到环境变量（3台机器）

vim /etc/profile

export HADOOP_HOME=/export/server/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile


#别忘了scp给其他两台机器哦
1
2
3
4
5
6
7
8
9

2.6 总结①

• 服务器基础环境
• Hadoop源码编译
• Hadoop配置文件修改
• shell文件、4个xml文件、workers文件
• 配置文件集群同步

2.7 NameNode format（格式化操作）

• 首次启动HDFS时，必须对其进行格式化操作。
• format本质上是初始化工作，进行HDFS清理和准备工作
• 命令：hdfs namenode -format

2.8 总结②

• 首次启动之前需要format操作;
• format只能进行一次 后续不再需要;
• 如果多次format除了造成数据丢失外，还会导致hdfs集群主从角色之间互不识别。通过删除所有机器hadoop.tmp.dir目录重新format解决

2.9 shell脚本一键启停

• 在node1上，使用软件自带的shell脚本一键启动。前提：配置好机器之间的SSH免密登录和workers文件。
• HDFS集群
  • start-dfs.sh
  • stop-dfs.sh
• YARN集群
  • start-yarn.sh
  • stop-yarn.sh
• Hadoop集群
  • start-all.sh
  • stop-all.sh

2.10 进程状态、日志查看

• 启动完毕之后可以使用jps命令查看进程是否启动成功
• Hadoop启动日志路径：/export/server/hadoop-3.3.0/logs/

2.11 HDFS集群

• 地址：http://namenode_host:9870
  • 其中namenode_host是namenode运行所在机器的主机名或者ip
  • 如果使用主机名访问，别忘了在Windows配置hosts
    
• HDFS文件系统Web页面浏览
  

2.12 YARN集群

• 地址：http://resourcemanager_host:8088
  • 其中resourcemanager_host是resourcemanager运行所在机器的主机名或者ip
  • 如果使用主机名访问，别忘了在Windows配置hosts
    

2.13 HDFS 初体验

• shell命令操作

  • hadoop fs -mkdir /itcast
  • hadoop fs -put zookeeper.out /itcast
  • hadoop fs -ls /
    

• Web UI页面操作
  

2.14 MapReduce+YARN 初体验

• 执行Hadoop官方自带的MapReduce案例，评估圆周率π的值。
  

3. HDFS分布式文件系统基础

3.1 文件系统定义

• 文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作，使得用户对文件访问和查找变得容易；
• 文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念，用户不必关心数据底层存在硬盘哪里，只需要记住这个文件的所属目录和文件名即可；
• 文件系统通常使用硬盘和光盘这样的存储设备，并维护文件在设备中的物理位置。

3.2 传统常见的文件系统

• 所谓传统常见的文件系统更多指的的单机的文件系统，也就是底层不会横跨多台机器实现。比如windows操作系统上的文件系统、Linux上的文件系统、FTP文件系统等等。
• 这些文件系统的共同特征包括：
  • 带有抽象的目录树结构，树都是从**/根目录开始**往下蔓延；
  • 树中节点分为两类：目录和文件；
  • 从根目录开始，节点路径具有唯一性。

3.3 数据、元数据

• 数据
  • 指存储的内容本身，比如文件、视频、图片等，这些数据底层最终是存储在磁盘等存储介质上的，一般用户无需关心，只需要基于目录树进行增删改查即可，实际针对数据的操作由文件系统完成。
• 元数据
  • 元数据（metadata）又称之为解释性数据，记录数据的数据；
  • 文件系统元数据一般指文件大小、最后修改时间、底层存储位置、属性、所属用户、权限等信息。

3.4 海量数据存储遇到的问题

• 成本高
  • 传统存储硬件通用性差，设备投资加上后期维护、升级扩容的成本非常高。
• 如何支撑高效率的计算分析
  • 传统存储方式意味着数据：存储是存储，计算是计算，当需要处理数据的时候把数据移动过来。
  • 程序和数据存储是属于不同的技术厂商实现，无法有机统一整合在一起。
• 性能低
  • 单节点I/O性能瓶颈无法逾越，难以支撑海量数据的高并发高吞吐场景。
• 可扩展性差
  • 无法实现快速部署和弹性扩展，动态扩容、缩容成本高，技术实现难度大。

3.5 分布式存储系统的核心属性及功能含义

• 分布式存储系统核心属性
  • 分布式存储
  • 元数据记录
  • 分块存储
  • 副本机制

3.6 分布式存储的优点

• 问题：数据量大，单机存储遇到瓶颈
• 解决：
  • 单机纵向扩展：磁盘不够加磁盘，有上限瓶颈限制
  • 多机横向扩展：机器不够加机器，理论上无限扩展

3.7 元数据记录的功能

• 问题：文件分布在不同机器上不利于寻找
• 解决：元数据记录下文件及其存储位置信息，快速定位文件位置
  

3.8 分块存储好处

• 问题：文件过大导致单机存不下、上传下载效率低
• 解决：文件分块存储在不同机器，针对块并行操作提高效率
  

3.9 副本机制的作用

• 问题：硬件故障难以避免，数据易丢失
• 解决：不同机器设置备份，冗余存储，保障数据安全
  

3.10 HDFS简介

• HDFS（Hadoop Distributed File System ），意为：Hadoop分布式文件系统。
• 是Apache Hadoop核心组件之一，作为大数据生态圈最底层的分布式存储服务而存在。也可以说大数据首先要解决的问题就是海量数据的存储问题。
  
• HDFS主要是解决大数据如何存储问题的。分布式意味着是HDFS是横跨在多台计算机上的存储系统。
• HDFS是一种能够在普通硬件上运行的分布式文件系统，它是高度容错的，适应于具有大数据集的应用程序，它非常适于存储大型数据 (比如 TB 和 PB)。
• HDFS使用多台计算机存储文件, 并且提供统一的访问接口, 像是访问一个普通文件系统一样使用分布式文件系统。
  

3.11 HDFS起源发展

• Doug Cutting领导Nutch项目研发，Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能。
• 随着爬虫抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。
• 2003年的时候, Google 发表的论文为该问题提供了可行的解决方案。
  《分布式文件系统（GFS），可用于处理海量网页的存储》
• Nutch的开发人员完成了相应的开源实现HDFS，并从Nutch中剥离和MapReduce成为独立项目HADOOP。

3.12 HDFS设计目标

• 硬件故障（Hardware Failure）是常态， HDFS可能有成百上千的服务器组成，每一个组件都有可能出现故障。因此故障检测和自动快速恢复是HDFS的核心架构目标。
• HDFS上的应用主要是以流式读取数据（Streaming Data Access）。HDFS被设计成用于批处理，而不是用户交互式的。相较于数据访问的反应时间，更注重数据访问的高吞吐量。
• 典型的HDFS文件大小是GB到TB的级别。所以，HDFS被调整成支持大文件（Large Data Sets）。它应该提供很高的聚合数据带宽，一个集群中支持数百个节点，一个集群中还应该支持千万级别的文件。
• 大部分HDFS应用对文件要求的是write-one-read-many访问模型。一个文件一旦创建、写入、关闭之后就不需要修改了。这一假设简化了数据一致性问题，使高吞吐量的数据访问成为可能。
• 移动计算的代价比之移动数据的代价低。一个应用请求的计算，离它操作的数据越近就越高效。将计算移动到数据附近，比之将数据移动到应用所在显然更好。
• HDFS被设计为可从一个平台轻松移植到另一个平台。这有助于将HDFS广泛用作大量应用程序的首选平台。

3.13 HDFS应用场景

• 适合场景
  • 大文件
  • 数据流式访问
  • 一次写入多次读取
  • 低成本部署，廉价PC
  • 高容错
• 不适合场景
  • 小文件
  • 数据交互式访问
  • 频繁任意修改
  • 低延迟处理

3.14 HDFS重要特性

• 主从架构
• 分块存储
• 副本机制
• 元数据记录
• 抽象统一的目录树结构（namespace）
  

3.15 主从架构

• HDFS集群是标准的master/slave主从架构集群。
• 一般一个HDFS集群是有一个Namenode和一定数目的Datanode组成。
• Namenode是HDFS主节点，Datanode是HDFS从节点，两种角色各司其职，共同协调完成分布式的文件存储服务。
• 官方架构图中是一主五从模式，其中五个从角色位于两个机架（Rack）的不同服务器上。

3.16 分块存储

• HDFS中的文件在物理上是分块存储（block）的，默认大小是128M（134217728），不足128M则本身就是一块。
• 块的大小可以通过配置参数来规定，参数位于hdfs-default.xml中：dfs.blocksize。
  

3.17 副本机制

• 文件的所有block都会有副本。副本系数可以在文件创建的时候指定，也可以在之后通过命令改变。
• 副本数由参数dfs.replication控制，默认值是3，也就是会额外再复制2份，连同本身总共3份副本。

3.18 元数据管理

• 在HDFS中，Namenode管理的元数据具有两种类型：
  • 文件自身属性信息
    • 文件名称、权限，修改时间，文件大小，复制因子，数据块大小。
  • 文件块位置映射信息
    • 记录文件块和DataNode之间的映射信息，即哪个块位于哪个节点上。
      
      

3.19 namespace

• HDFS支持传统的层次型文件组织结构。用户可以创建目录，然后将文件保存在这些目录里。文件系统名字空间的层次结构和大多数现有的文件系统类似：用户可以创建、删除、移动或重命名文件。
• Namenode负责维护文件系统的namespace名称空间，任何对文件系统名称空间或属性的修改都将被Namenode记录下来。
• HDFS会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件，形如：hdfs://namenode:port/dira/dir-b/dir-c/file.data。
  

3.20 数据块存储

• 文件的各个block的具体存储管理由DataNode节点承担。
• 每一个block都可以在多个DataNode上存储。

4. HDFS shell操作

4.1 HDFS shell命令行解释说明

• 命令行界面（英语：command-line interface，缩写：CLI），是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。
• Hadoop提供了文件系统的shell命令行客户端: hadoop fs [generic options]

4.2 文件系统协议

• HDFS Shell CLI支持操作多种文件系统，包括本地文件系统（file:///）、分布式文件系统（hdfs://nn:8020）等
• 具体操作的是什么文件系统取决于命令中文件路径URL中的前缀协议。
• 如果没有指定前缀，则将会读取环境变量中的fs.defaultFS属性，以该属性值作为默认文件系统。
  

4.3 HDFS shell命令行常用操作

• 创建文件夹
  • hadoop fs -mkdir [-p] <path> …
    • path 为待创建的目录
    • -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。

hadoop fs -mkdir /itcast
1

• 查看指定目录下内容

  • hadoop fs -ls [-h] [-R] [<path> …]
    • path 指定目录路径
    • -h 人性化显示文件size
    • -R 递归查看指定目录及其子目录
      

• 上传文件到HDFS指定目录

  • hadoop fs -put [-f] [-p] <localsrc> … <dst>
    • -f 覆盖目标文件（已存在下）
    • -p 保留访问和修改时间，所有权和权限。
    • localsrc 本地文件系统（客户端所在机器）
    • dst 目标文件系统（HDFS）

hadoop fs -put zookeeper.out /itcast

hadoop fs -put file:///etc/profile hdfs://node1:8020/itcast
1
2
3

• 查看HDFS文件内容
  • hadoop fs -cat <src> …
    • 读取指定文件全部内容，显示在标准输出控制台。
    • 注意：对于大文件内容读取，慎重。

hadoop fs -cat /itcast/zookeeper.out
1

• 下载HDFS文件
  • hadoop fs -get [-f] [-p] <src> … <localdst>
    • 下载文件到本地文件系统指定目录，localdst必须是目录
    • -f 覆盖目标文件（已存在下）
    • -p 保留访问和修改时间，所有权和权限。

[root@node2 ~]# mkdir test
[root@node2 ~]# cd test/
[root@node2 test]# ll
total 0
[root@node2 test]# hadoop fs -get /itcast/zookeeper.out ./
[root@node2 test]# ll
total 20
-rw-r--r-- 1 root root 18213 Aug 18 17:54 zookeeper.out
1
2
3
4
5
6
7
8

• 拷贝HDFS文件
  • hadoop fs -cp [-f] <src> … <dst>
    • -f 覆盖目标文件（已存在下）

[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast
[root@node3 ~]# hadoop fs -cp /small/1.txt /itcast/666.txt #重命令
[root@node3 ~]# hadoop fs -ls /itcast
Found 4 items
-rw-r--r-- 3 root supergroup 2 2021-08-18 17:58 /itcast/1.txt
-rw-r--r-- 3 root supergroup 2 2021-08-18 17:59 /itcast/666.txt
1
2
3
4
5
6

• 追加数据到HDFS文件中
  • hadoop fs -appendToFile <localsrc> … <dst>
    • 将所有给定本地文件的内容追加到给定dst文件。
    • dst如果文件不存在，将创建该文件。
    • 如果<localSrc>为-，则输入为从标准输入中读取。

#追加内容到文件尾部 appendToFile
[root@node3 ~]# echo 1 >> 1.txt
[root@node3 ~]# echo 2 >> 2.txt 
[root@node3 ~]# echo 3 >> 3.txt 
[root@node3 ~]# hadoop fs -put 1.txt /
[root@node3 ~]# hadoop fs -cat /1.txt
1
[root@node3 ~]# hadoop fs -appendToFile 2.txt 3.txt /1.txt
[root@node3 ~]# hadoop fs -cat /1.txt
1
2
3
1
2
3
4
5
6
7
8
9
10
11
12

• HDFS数据移动操作
  • hadoop fs -mv <src> … <dst>
    • 移动文件到指定文件夹下
    • 可以使用该命令移动数据，重命名文件的名称

5. HDFS工作流程与机制

• 官方架构图
  

5.1 主角色：namenode

• NameNode是Hadoop分布式文件系统的核心，架构中的主角色。
• NameNode维护和管理文件系统元数据，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。
• 基于此，NameNode成为了访问HDFS的唯一入口。
  
• NameNode内部通过内存和磁盘文件两种方式管理元数据。
• 其中磁盘上的元数据文件包括Fsimage内存元数据镜像文件和edits log（Journal）编辑日志。

5.2 从角色：datanode

• DataNode是Hadoop HDFS中的从角色，负责具体的数据块存储。
• DataNode的数量决定了HDFS集群的整体数据存储能力。通过和NameNode配合维护着数据块。
  

5.3 主角色辅助角色： secondarynamenode

• Secondary NameNode充当NameNode的辅助节点，但不能替代NameNode。
• 主要是帮助主角色进行元数据文件的合并动作。可以通俗的理解为主角色的“秘书”。
  

5.4 namenode职责

• NameNode仅存储HDFS的元数据：文件系统中所有文件的目录树，并跟踪整个集群中的文件，不存储实际数据。
• NameNode知道HDFS中任何给定文件的块列表及其位置。使用此信息NameNode知道如何从块中构建文件。
• NameNode不持久化存储每个文件中各个块所在的datanode的位置信息，这些信息会在系统启动时从DataNode重建。
• NameNode是Hadoop集群中的单点故障。
• NameNode所在机器通常会配置有大量内存（RAM）。

5.5 datanode职责

• DataNode负责最终数据块block的存储。是集群的从角色，也称为Slave。
• DataNode启动时，会将自己注册到NameNode并汇报自己负责持有的块列表。
• 当某个DataNode关闭时，不会影响数据的可用性。 NameNode将安排由其他DataNode管理的块进行副本复制。
• DataNode所在机器通常配置有大量的硬盘空间，因为实际数据存储在DataNode中。
  

5.6 写数据完整流程图

5.7 核心概念–Pipeline管道

• Pipeline，中文翻译为管道。这是HDFS在上传文件写数据过程中采用的一种数据传输方式。
• 客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点。
• 为什么datanode之间采用pipeline线性传输，而不是一次给三个datanode拓扑式传输呢？
• 因为数据以管道的方式，顺序的沿着一个方向传输，这样能够充分利用每个机器的带宽，避免网络瓶颈和高延迟时的连接，最小化推送所有数据的延时。
• 在线性推送模式下，每台机器所有的出口宽带都用于以最快的速度传输数据，而不是在多个接受者之间分配宽带。
  

5.8 核心概念–ACK应答响应

• ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误。
• 在HDFS pipeline管道传输数据的过程中，传输的反方向会进行ACK校验，确保数据传输安全。
  

5.9 核心概念–默认3副本存储策略

• 默认副本存储策略是由BlockPlacementPolicyDefault指定。
• 第一块副本：优先客户端本地，否则随机
• 第二块副本：不同于第一块副本的不同机架。
• 第三块副本：第二块副本相同机架不同机器。

5.10 HDFS写数据流程（上传文件）

• HDFS客户端创建对象实例DistributedFileSystem， 该对象中封装了与HDFS文件系统操作的相关方法。
• 调用DistributedFileSystem对象的create()方法，通过RPC请求NameNode创建文件。NameNode执行各种检查判断：目标文件是否存在、父目录是否存在、客户端是否具有创建该文件的权限。检查通过，NameNode就会为本次请求记下一条记录，返回FSDataOutputStream输出流对象给客户端用于写数据。
• 客户端通过FSDataOutputStream输出流开始写入数据。
• 客户端写入数据时，将数据分成一个个数据包（packet 默认64k）, 内部组件DataStreamer请求NameNode挑选出适合存储数据副本的一组DataNode地址，默认是3副本存储。DataStreamer将数据包流式传输到pipeline的第一个DataNode,该DataNode存储数据包并将它发送到pipeline的第二个DataNode。同样，第二个DataNode存储数据包并且发送给第三个（也是最后一个）DataNode。
• 传输的反方向上，会通过ACK机制校验数据包传输是否成功；
• 客户端完成数据写入后，在FSDataOutputStream输出流上调用close()方法关闭。
• DistributedFileSystem联系NameNode告知其文件写入完成，等待NameNode确认。因为namenode已经知道文件由哪些块组成（DataStream请求分配数据块），因此仅需等待最小复制块即可成功返回。最小复制是由参数dfs.namenode.replication.min指定，默认是1.

5.11 读数据完整流程图

5.12 HDFS读数据流程（下载文件）

• HDFS客户端创建对象实例DistributedFileSystem， 调用该对象的open()方法来打开希望读取的文件。
• DistributedFileSystem使用RPC调用namenode来确定文件中前几个块的块位置（分批次读取）信息。对于每个块，namenode返回具有该块所有副本的datanode位置地址列表，并且该地址列表是排序好的，与客户端的
  网络拓扑距离近的排序靠前。
• DistributedFileSystem将FSDataInputStream输入流返回到客户端以供其读取数据。
• 客户端在FSDataInputStream输入流上调用read()方法。然后，已存储DataNode地址的InputStream连接到文件中第一个块的最近的DataNode。数据从DataNode流回客户端，结果客户端可以在流上重复调用read（）。
• 当该块结束时，FSDataInputStream将关闭与DataNode的连接，然后寻找下一个block块的最佳datanode位置。这些操作对用户来说是透明的。所以用户感觉起来它一直在读取一个连续的流。客户端从流中读取数据时，也会根据需要询问NameNode来检索下一批数据块的DataNode位置信息。
• 一旦客户端完成读取，就对FSDataInputStream调用close()方法