大数据概论和Linux虚拟机安装_大数据分析实验虚拟机和liunx系统的安装以及配置实验报告册

大数据概论和Linux虚拟机安装

大数据导论

数据是什么

数据是指对客观事件进行记录并可以鉴别的符号，是对客观事物的性质、状态以及相互关系等进行记载的物理符号 或这些物理符号的组合，它是可识别的、抽象的符号。

它不仅指狭义上的数字，还可以是具有一定意义的文字、字母、数字符号的组合、图形、图像、视频、音频等，也 是客观事物的属性、数量、位置及其相互关系的抽象表示。例如，“0、1、2…”、“阴、雨、下降”、“学生的 档案记录、货物的运输情况”等都是数据。

数据如何产生

对客观事物的计量和记录产生数据

数据分析方向

• 现状分析（分析当下的数据）：现阶段的整体情况，各个部分的构成占比、发展、变动

  

• 原因分析（分析过去的数据）：某一现状为什么发生，确定原因，做出调整优化

• 预测分析（结合数据预测未来）：结合已有数据预测未来发展趋势

  

  数据分析步骤

  • 明确需求
  • 数据收集
  • 数据处理
  • 数据分析
  • 数据展示

VM虚拟机安装和配置

开始安装

安装完成输入许可证

1. 生成许可证（在当时安装包的同名的目录下）

2. 选择版本并生成许可证

3. 复制生成好的序列号

4. 将生成好的序列号粘贴到vmware里

5. 安装完成

Centos操作系统安装

系统的安装得分两个步骤，第一步得配置一台电脑，选配CPU，内存，磁盘，网卡等硬件。第二步才是安装系统。

配置电脑

1. 进入VMware

2. 自定义新的虚拟机

3. 解决虚拟机的兼容性

4. 选择当前虚拟机的操作系统

我们先配置电脑，再安装系统。

5. 选择虚拟机将来需要安装的系统

因为不同的操作系统需要解决不同的兼容性问题，所以需要选择将来用什么系统，提前做适配。

6. 配置电脑

给自己配置电脑取个名字，并存放在物理机的位置在哪。

7. 选择CPU的个数

有个原则就是选满（跟物理机的CPU个数相同，但是不能超过）

• 查看物理机CPU个数（Windows10为例）

  

• 设置虚拟机处理器的数量

8. 设置虚拟机的内存

内存大小有一定要求，建议4G，不能给太多，后期会有多台虚拟机同时启动

9. 选择虚拟机上网方式

• 选择NAT的方式

• 没有VMware之前物理机的网络适配器信息（每个人不同，我只有3个）
  

• 安装VMware之后物理机的网络适配器信息（会多两个vmnet1和vmnet8）

  

注：vmnet8是虚拟机使用NAT模式上网的网卡

10. 选择对应的文件系统的IO方式

11. 选择磁盘的类型

12. 选择磁盘的种类

13. 选择虚拟机的磁盘大小

14. 虚拟机文件的存放位置

15. 电脑配置完毕

安装系统

注意：在安装系统之前需要检查自己虚拟机的bios的虚拟化是否打开（大部分的电脑都是打开的，大家可以先尝试直接安装，如果出现错误再去调试，没有出错就不用管了）

以下是查看虚拟机bios是否开启的方式

• window10

• window7里面看不到（得去bios里面看）
• 如果发现bios虚拟化没有开启怎么办，重启电脑，在加载界面时按f1-f10,或者电脑旁边一个小洞，具体怎么进入得去查一下（按照自己电脑的型号去查）
• 修改虚拟化为开启（thinkpad为例）找到security 里面的VT并改成enabled
  

注：如果虚拟化没有开启报的是以下错误

1. 选择cd/dvd的方式安装系统

2. 系统安装引导界面

你得需要将鼠标点击进入界面中，但是鼠标会消失，你此刻得用键盘的上下键来控制选项，图标变白了表示当前选中的是哪个选项，然后敲回车，表示执行所选选项。

注意：如果这个时候你需要鼠标可以使用ctrl+alt一起按呼出鼠标

• 耐心等待它的安装

• 会自动跳转下面的界面

3. 需要定制化的内容

• 按照编号依次点击

• 调整时间差

• 安装GHOME（图形化界面的方式）注意图上标注的点击顺序

• 配置磁盘分区

（1）手动添加分区

（2） 添加boot区 给上1G容量后点击添加挂载点

（3）添加swap交换分区

（4）配置根(/)目录

根目录作为存储使用，将剩下的空间都给他（50 - 4 - 1）= 45

3个分区都配置完毕过后可以点击完成

（5）分区配置完毕，点击接受更改

（6）关闭kdump本身虚拟机内存就不够，他会吃掉一部分内存，我们尽量省一点

（7）修改主机名

（8）是否打开安全协议（开启与否都可以）

（9）开始安装

（10）安装时间比较长，大概需要10几分钟（设置root****用户密码，一定要设置）

4. 虚拟机的使用引导界面

1） 安装完成 重启虚拟机

2）进入引导界面（以下内容就按照图片走，就不做过多解释）**

5. 切换root用户

当前登录的用户是刚刚创建的用户，权限会缺少，所以使用root，修改一些内容更加方便

1）切换root用户

刚才的引导再来一遍（就不再放图片了）

最后的用户变成root表示切换成功

网络配置(重点)

对安装好的VMware进行网络配置，方便虚拟机连接网络，

本次设置建议选择NAT模式，需要宿主机的Windows和虚拟机的Linux能够进行网络连接，同时虚拟机的Linux可以通过宿主机的Windows进入互联网。

1. 编辑VMware的网络配置

然后全部点击确定，VMware的网络配置就好了。

2. Windows的网络配置

以下以Window10为例

1）找到

按如上格式修改IP信息（地址，网关，DNS服务器），修改完毕后全部点击确定退出。

虚拟机网络IP修改地址配置

1）修改网络IP地址为静态IP地址，避免IP地址经常变化，从而方便节点服务器间的互相通信。

vim /etc/sysconfig/network-scripts/ifcfg-ens33
1

2）以下加粗的项必须修改，有值的按照下面的值修改，没有该项的则需要增加。

BOOTPROTO=“static”

IPADDR=192.168.10.100

GATEWAY=192.168.10.2

DNS1=192.168.10.2

TYPE="Ethernet"    #网络类型（通常是Ethemet）
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"   #IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"   
UUID="e83804c1-3257-4584-81bb-660665ac22f6"   #随机id
DEVICE="ens33"   #接口名（设备,网卡）
ONBOOT="yes"   #系统启动的时候网络接口是否有效（yes/no）
#IP地址
IPADDR=192.168.10.100  
#网关  
GATEWAY=192.168.10.2      
#域名解析器
DNS1=192.168.10.2

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

3）修改IP地址后的结果如图所示，执行“:wq”命令，保存退出

4）执行systemctl restart network命令，重启网络服务。如果报错，则执行“reboot”命令，重启虚拟机

systemctl restart network
1

5）使用ifconfig命令查看当前IP

ifconfig
1

6）保证Linux系统ifcfg-ens33文件中IP地址、虚拟网络编辑器地址和Windows系统VM8网络IP地址相同

修改主机名和hosts文件

1）修改主机名称

vim /etc/hostname
1

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts

vim /etc/hosts
1

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

3）重启克隆机hadoop102

reboot
1

4）修改windows的主机映射文件（hosts文件）

• 进入C:\Windows\System32\drivers\etc路径

• 打开hosts文件并添加如下内容，然后保存

192.168.10.100 hadoop100

192.168.10.101 hadoop101

192.168.10.102 hadoop102

192.168.10.103 hadoop103

192.168.10.104 hadoop104

192.168.10.105 hadoop105

192.168.10.106 hadoop106

192.168.10.107 hadoop107

192.168.10.108 hadoop108

远程终端工具安装

通常在工作过程中，公司中使用的真实服务器或者是云服务器，都不允许除运维人员之外的员工直接接触，因此就需要通过远程登录的方式来操作。所以，远程登录工具就是必不可缺的，目前，比较主流的有Xshell，SecureCRT等，同学们可以根据自己的习惯自行选择，以下以Xshell5为例。

Xshell5安装和配置

安装官方网址：https://www.xshell.com/zh/xshell-download/

安装Xshell5

1）一直点击下一步，但是有一页收费页，点击免费版，图如下

2）出现如下界面安装成功

配置Xshell终端

1）打开安装好的Xshell

2）编辑新链接

3）测试链接

4）连接成功

Xftp传输工具

安装官方网址：https://www.xshell.com/zh/xftp/

安装Xftp

1）一直点击下一步，但是有一页收费页，点击免费版，图如下

2）出现如下界面表示安装成功

配置Xftp

1）打开安装好的Xftp

2）创建新链接

3）编辑新链接

4）测试新链接

出现以上界面表示链接成功，可以进行windows和linux系统互传数据

注：有可能会有部分人右边是乱码，可以使用以下方式修改，修改后重启Xftp

如何导入别人的虚拟机和注意事项

上面是从头开始自己安装虚拟机的教程，如果我们有别人的虚拟机要导入有什么要注意的

导入虚拟机

启动虚拟机

注意！！！选择我已移动该虚拟机

如果导入的寻积极与我们先前配置的网段不一样，那么需要重新配置，步骤看前面

虚拟机常规使用

内存、磁盘调整

在虚拟机关机状态下，可以根据需求调整每台机器的资源大小

虚拟机启动、停止

快照使用

VMware虚拟机软件提供了非常便捷的快照功能，用于记录某一时间点的状态，用于备份恢复；

拍好快照之后，可以在任何时间恢复到指定的快照时间点；