Hadoop+Spark大数据技术（微课版）曾国荪、曹洁版思维导图第一章 Hadoop大数据开发环境（整理复习自用

		* 高速型
		
		
			+ 处理速度快。
		* 准确性
		* 价值密度低，商业价值高。
		
		
			+ “大海捞金”
	- ### 简述Hadoop及其优势
	
	
		* #### Hadoop
		
		
			+ 基于Java语言开发，具有很好的跨平台特性，可以部署在廉价的计算机集群中。
			+ 核心是分布式文件系统（HDFS）和分布式并行计算模型（MapResuce）。
			+ 是公认的行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。
		* #### 优势
		
		
			+ 高可靠性
			
			
				- 采用冗余副本机制，一旦发生故障，冗余机器可提供服务。
			+ 高扩展性
			
			
				- 在计算机集群众数以千计的节点上分配数据并完成任务。
			+ 高效性
			
			
				- Hadoop并行处理Data，在节点间动态移动数据，并保证节点动态负载均衡。
			+ 低成本
			
			
				- 可以部署在廉价服务器集群上。
	- ### 简述Linux命令的功能
	
	
		* sudo
		
		
			+ 以超级用户的权限执行命令
		* cd
		
		
			+ 切换目录
		* mv
		
		
			+ 移动或重命名文件
		* chown
		
		
			+ 修改文件或目录的所有权和所属组
		* ls
		
		
			+ 列出目录下的文件和子目录
		* mkdir
		
		
			+ 创建新文件夹
		* cp
		
		
			+ 复制文件或目录
		* cat
		
		
			+ 查看文件内容
		* gedit
		
		
			+ 打开文本编辑器（比vim更方便）
		* whoami
		
		
			+ 显示当前登录用户的用户名
		* df
		
		
			+ 显示磁盘空间使用情况
		* ping
		
		
			+ 向目标主机发送网络Data包并接受响应（测试网络连接）
	- ### 简述如何安装VitualBox虚拟机的设备增强功能及作用
	
	
		* 关于增强功能的介绍（部分功能需要额外配置）
		
		
			+ 自动适配分辨率。
			+ 开启了无缝模式：虚拟系统中打开的应用，将出现在原生系统的任务栏，可以在原生系统中使用。
			+ 增加粘贴板共享功能。
			+ 增加共享文件夹功能。
			+ 增加与主机之间拖拽文件功能。
+ ### Hadoop的安装与配置


	- #### 单机模式
	
	
		* Hadoop 默认的运行模式为非分布式模式（即单机模式），Hadoop 解压后无须进行其他配置就可运行单机模式，非分布式表示单Java 进程。
		* Hadoop单机模式只在一台机器上运行，存储采用本地文件系统，而不是HDFS（分布式文件系统）。
		* 无须任何守护进程（daemon），所有的应用程序都在单个JVM（Java virtual machine，Java虚拟机）上执行。
		* 在单机模式下调试MapReduce 程序非常高效方便，这种模式适用于开发阶段。
	- #### 伪分布式模式
	
	
		* Hadoop可以在单个节点（一台机器）上以伪分布式模式运行。
		* 读取的是HDFS的文件。
		* 同一个节点既作为NameNode、又作为DataNode。守护进程都在同一台机器上运行，是相互独立的Java进程。
	- #### 分布式模式
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

/topics/618545628)**

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！