基于Hadoop集群部署与管理系统的设计与实现（论文）_hadoop集群的部署与管理系统的设计与实现[d],王宾硕士论文

目 录
前 言 1
第一章 概 述 2
1.1 项目背景及意义 2
1.2 Hadoop产生背景概括 2
1.3 HControl系统的技术优势和应用价值 4
1.3.1 HControl系统的技术优势 4
1.3.2 HContorl系统的应用价值 5
1.4 本文主要研究的工作 6
1.5 本文的组织结构 6
第二章 技术综述 8
2.1 Hadoop相关系统 8
2.1.1 分布式文件系统HDFS 8
2.1.2 分布式计算框架MapReduce 9
2.1.3 分布式资源管理框架YARN 10
2.1.4 分布式数据库HBase 10
2.1.5 数据仓库Hive 11
2.2 研究现状分析Puppet 11
2.2.1 Puppet 概述 11
2.2.2 Puppet 框架 12
2.2.3 Puppet 资源 13
2.2.4 Puppet 模块 15
2.3 Kerberos网络认证协议 16
2.4 Metrics集群监控系统 16
2.5 本章小结 17
第三章 Hadoop集群部署与管理系统的分析与设计 18
3.1 HC系统需求分析 18
3.1.1 系统功用分析和流程分析 18
3.1.2 功能性需求分析 21
3.1.3 外部接口需求分析 25
3.2 HControl系统架构设计和模块设计 26
3.2.1 总体架构设计 26
3.2.2 配置接口框架设计 27
3.2.3 配置接口框架设计 28
3.2.4 Hadoop组件模块设计 31
3.2.5 安全模块设计 37
3.2.6 监控模块设计 37
3.3 HControl系统负载均衡设计 38
3.4 本章小结 39
第四章 HControl部署与管理系统的实现 40
4.1 HControl系统目录结构 40
4.2 配置接口框架实现 40
4.2.1 默认配置接口的实现 40
4.2.2 加载配置接口的实现 41
4.3 集群部署模块的实现 42
4.3.1 部署网络环境的实现 42
4.3.2 部署时间一致性服务的实现 43
4.3.3 应用配置到节点的实现 45
4.3.3 应用配置到节点的实现 47
4.4 实验与分析Hadoop组件模块的实现 49
4.4.1 总清单文件的实现 49
4.4.2 自定义函数的实现 50
4.4.3 模块资源管理的实现 51
4.4.4 模块资源管理的实现 52
4.5 本章小结 52
4.6 监控模块的实现 54
4.7 系统性能测试 56
4.8 本章小结 57
第五章 总结与展望 58
5.1 本文总结 58
5.2 后续工作展望 58
参考文献 59
致 谢 61
1.4 本文主要研究的工作
本文以在中移软件研发中心工作期间参与的大数据项目为背景，着重研究Hadoop相关系统的设计思想和基本框架，并设计和实现一个自动化、可扩展、可监控、可管理的应用于大规模Hadoop集群的部署管理系统，本文主要研究内容包含几个部分：
1.说明项目背景，分析项目的研究意义和应用前景。
2.研究Hadoop相关系统发展概况，说明现有的Hadoop集群部署管理技术，并对比分析它们的优缺点，为技术的选择和系统的设计提供依据。
3.深入分析Hadoop及其相关系统的设计思想和基本框架。重点研究 HDFS、MapReduce、HBase和Hive系统的核心算法和实现原理，分析它们运行的守护进程各自的职责和相互间协同工作模式，作为项目设计的理论基础。
4.深入研究项目所使用的技术。重点分析自动化配置和部署工具Puppet 的基本框架、运行机制和语法机制，为项目的设计和实现提供技术支持。
项目的分析、设计和实现。先对项目进行需求分析，分析大规模集群在硬件配置、操作系统、网络环境之间的异构性，分析Hadoop相关系统的服务、配置文件以及软件包之间的依赖关系。然后根据需求分析结果，对整个系统体系结构进行设计，接着对设计进行评估，预计工作量及实现难度并更改相关设计，最后具体实现并测试。
1.5 本文的组织结构
本文的组织结构如下：
第一章 引言部分。介绍了项目背景，国内外在该方向的研究现状以及本文的主要研究工作。
第二章 技术综述。将项目所要涉及的技术和框架做了介绍，包括Hadoop相关系统以及Puppet工具。
第三章 大规模Hadoop集群部署管理系统的分析与设计。分析项目基本需求，设计HControl系统总体架构，将系统分为集群部署模块、Hadoop组件管理模块、安全模块、监控模块，并对每个模块的设计进行详细阐述。
第四章 大规模Hadoop集群部署管理系统的实现。在需求分析和设计的基础上，阐述了HControl系统中各个模块的具体实现，并详细了Intel® Manager for Apache Hadoop*与HControl交互的实现细节。
第五章 总结与展望。总结论文期间所做的工作，并且就该系统的未来扩展作了进一步展望。

安全模块将使用自定义Puppet资源类型host_keytab，为Hadoop特定组件和特定节点提供创建账户和密码文件的自定义类型。具体代码如图4.19所示。
define create_princs {	      # 创建 principal 自定义类型
	exec { "addprinc.$tit1e":
		command => "kadmin -w secure -p kadmin/admin -q 'addprinc \
		-randkey $title/$localfqdn'",
		unless => "kadmin -w secure -p kadmin/admin -q listprincs \
		| grep -q $title/$localfqdn", require => \
		Package[$packages["kerberos-client"]],
	}
}

define host_keytab($princs = undef) {	  # 生成 keytab
	$real_princs = $princs ? { 
		undef => [ Stitle ], 
		default => $princs,
	}
	$keytab = "/etc/${title}.keytab”
	$exports = inline_template("<% = real_princs.join('/$localfqdn ')\
	 + '/$localfqdn' %>")

	create_princs { $real_princs:
	}

	exec { "xst.$title":
		command => "kadmin -w secure -p kadmin/admin -q 'xst -k \
		$keytab $exports'; chown $title $keytab",
		unless => "klist -kt $keytab 2>/dev/null | grep -q \
		$title/$localfqdn",
		require => [ create_princs[$real_princs]],
	}
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31