云计算关键技术_分布式系统 谷歌

一、了解谷歌分布式存储系统GFS

1.1、云计算的关键技术有哪些

1.2、分布式存储技术

1.3、3分布式计算技术

1.4、分布式数据库技术

二、了解GOOgle“三剑客”之间的关系

2.1、Google三剑客指的是什么？

2.2、Google三剑客之间的关系如何？

三、GFS的系统架构

3.1 、由什么组成呢

3.2、GFS系统的节点角色——从物理层面

3.3、GFS的实现机制

四、实操练习——私有云平台环境配置

4.1、需求描述

4.2、实现思路

一、了解谷歌分布式存储系统GFS

1.1、云计算关键技术分为哪些？

分布式存储技术、分布式计算技术MapReduce、分布式数据库技术Bigtable

1.2、分布式存储技术是什么？

是一种数据存储架构，它将数据分散存储在多台计算机或服务器上，以实现数据的高可靠性、可扩展性和性能。

特点：（1）巨量数据、数据类型极其丰富，无法依赖传统数据库；

（2）面向全球用户提供实时服务，需要引入新的计算模式

包括高可用性和安全性；可扩展性、数据安全性、低成本、易于管理、

• 支持多副本一致性。采用多副本备份机制，保证多个数据副本之间的一致性。
• 支持容灾与备份。支持多时间点快照备份，降低了故障定位的难度，确保数据安全高可用。

1.3、分布式计算技术

分布式计算技术是指将计算机系统中的计算任务分配到多个计算机节点上,并通过网络协同工作完成计算任务的技术。

分布式计算比起其它算法具有以下几个优点：

1、稀有资源可以共享。

2、通过分布式计算可以在多台计算机上平衡计算负载。

3、可以把程序放在最适合运行它的计算机上。其中，共享稀有资源和平衡负载是计算机分布式计算的核心思想之一。

cr：baidu.com

1.4、分布式数据库技术

分布式数据库系统通常使用较小的计算机系统，每台计算机可单独放在一个地方，每台计算机中都可能有DBMS的一份完整拷贝副本，或者部分拷贝副本，并具有自己局部的数据库，位于不同地点的许多计算机通过网络互相连接，共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。

具有的优点：

1. 灵活的体系结构。

2. 分布式的管理和控制机制。

3. 经济性能优越。

4. 系统可靠性高可用性好。

5. 局部应用的响应速度快。

二、了解Google“三剑客”之间的关系

2.1、Google三剑客指的是什么？

Google三剑客通常指的是Google搜索、YouTube和Google Ads。

这三个平台是Google公司旗下最适合外贸营销的平台，它们在数字营销领域扮演着重要角色。

2.2、他们之间的关系是怎么样的呢？接下来会针对这三个进行说明。

• Google搜索：作为Google的核心服务，它提供了全球最大的搜索引擎，帮助用户查找信息。例如为应用程序提供访问Google云端存储的途径，这样就可以在各种设备之间共享文件。
• YouTube：作为Google旗下的视频分享平台，它是世界上访问量最大的网站之一，对于品牌推广和内容营销至关重要。
• Google Ads：即Google广告服务，它允许企业通过关键词广告、展示广告等多种形式在Google搜索和其他Google服务上投放广告，以吸引潜在客户。

三、GFS的系统架构

3.1 由什么组成呢？

组成：client、master server、若干chunk server

3.2、GFS系统的节点角色——从物理层面

GFS将整个系统的节点分为三种角色：

Client(客户端)、Master(主服务器)和Chunk Server(数据块服务器)。

Client （客户端）：Client是GFS提供给应用程序的访问接口，以库文件的形式提供。

Master （主服务器）：Master是GFS的管理节点，负责整个文件系统的管理。

Chunk Server （数据块服务器）：Chunk Server （数据块服务器）

3.3、GFS的实现机制

• 控制流和数据流的分离：客户端首先访问Master节点，获取交互的Chunk Server信息，然后访问这些Chunk Server，完成数据存取工作。
• Client与Chunk Server之间直接传输数据流，同时由于文件被分成多个Chunk进行分布式存储，Client可以同时访问多个Chunk Server，从而使得整个系统的I/O高度并行，系统整体性能得到提高。
• Client与Master之间只有控制流，而无数据流，极大地降低了Master的负载。

GFS的优点有五大：

1. 存储资源的弹性可伸缩、支持海量存储。
2. 由文件系统来处理容错任务，系统容错性高。
3. 支持文件以追加方式批量写入。
4. 支持多个客户端对一个文件的高并发性写入操作，系统性能高。
5. 支持多个客户端对一个文件的高并发性写入操作，系统性能高。

四、实操练习

4.1、需求描述

• 准备私有云平台的计算节点和控制节点中所需的镜像和数据存储设备
• 准备好私有云的安装软件，搭建内部ftp服务，设置环境变量

4.2实现思路

1. 使用fdisk命令，对sdb和sdc进行分区，并进行文件系统创建，指派sdb供cinder服务,sdc供swift服务。
2. 将centos7和iaas2.2软件复制到controller的/opt文件中，配置安装源为/opt文件夹的软件。
3. 配置vsftp,以方便内网安装openstack，配置安装openstack环境变量。

实验开始~

一、存储设备准备

1.在controller中确定已添加两块20G的scsi硬盘，用命令fdisk -l ，观察到有/dev/sdb和/dev/sdc字样。(若无则 ehco “- - -” > /sys/class/scsi_host/host0/scan识别它们)，如图

2.执行 fdisk /dev/sdb进行分区，n进行新建，选p指定分区类型为主分区，选1指定分区编号为1，分区起点和终点均回车采用默认值，选t进行系统类型选择，输入8e，最后w存务退出。对/dev/sdc执行同样的操作。再用命令fdisk -l 观察结果

3.对上述两个新分区进行文件系统创建，mkfs.xfs /dev/sdb1,mkfs.xfs /dev/sdc1

4.在compute中重复1-3。这里就不做演示了，重复以上操作就可以啦

二、网卡和主机名准备

1.在controller中修改和添加/etc/sysconfig/network-scripts/ifcfg-ens*（具体是两个网卡,*一般是33和34）文件,主要改动以下参数:ONBOOT=yes,BOOTPROTO=static，第二网卡的gateway要删除。

2.确认主机名为controller，输入命令hostnamectl set-hostname controller。

3.在compute中重复前面第1步。

4.确认当前主机名为compute，输入命令hostnamectl set-hostname compute。

三、配置yum源

1.在controller中，先备份原来的安装源 #mv /etc/yum.repos.d/*  /opt/

2.创建repo文件，在/etc/yum.repos.d创建centos.repo源文件，内容如下:

[centos]

name=centos

baseurl=file:///opt/centos

gpgcheck=0

enabled=1

[iaas]

name=iaas

baseurl=file:///opt/iaas-repo

gpgcheck=0

enabled=1

3.在compute中，先备份原来的安装源

#mv /etc/yum.repos.d/*  /opt/

4.创建repo文件，在/etc/yum.repos.d创建centos.repo源文件，内容如下:

[centos]

name=centos

baseurl=ftp://192.168.1.241/centos

gpgcheck=0

enabled=1

[iaas]

name=iaas

baseurl=ftp://192.168.1.241/iaas-repo

gpgcheck=0

enabled=1

四、复制centos7和iaas2.2光盘中的文件到/opt

1.在controller中，将光驱中光盘指为定centos7并确认已连接。

2.挂载光盘到/mnt文件夹并复制文件

[root@controller ~]# mount /dev/cdrom  /mnt/

[root@controller ~]# mkdir /opt/centos

[root@controller ~]# cp -rvf  /mnt/*  /opt/centos/

[root@controller ~]# umount  /mnt/

3.将光驱中光盘指为定iaas2.2确认已连接。      

4.挂载光盘到/mnt文件夹并复制文件

[root@controller ~]# mount  /dev/cdrom  /mnt/

[root@controller ~]# cp -rvf /mnt/* /opt/

[root@controller ~]# umount  /mnt/

五、搭建ftp服务器，开启并设置自启      

1.在controller中，安装并设置ftp。    

 [root@controller ~]# yum install vsftpd –y  

 [root@controller ~]# vi /etc/vsftpd/vsftpd.conf      

添加anon_root=/opt/

 2.启动并设置ftp开机启动  

[root@controller ~]# systemctl start vsftpd    

[root@controller ~]# systemctl enable vsftpd

六、关闭防火墙并设置开机不自启

【controller/compute都要做】  

systemctl stop firewalld  

systemctl disable firewalld      

  七、清除缓存，验证yum源      

【controller/compute都要做】      

# yum clean all      

# yum list

八、编辑环境变量 【controller/compute都要做】

# yum install iaas-xiandian -y

# vi /etc/xiandian/openrc.sh

在文件后面添加如下内容:

HOST_IP=192.168.1.241

HOST_NAME=controller

HOST_IP_NODE=192.168.1.242

HOST_NAME_NODE=compute

RABBIT_USER=openstack

RABBIT_PASS=000000

DB_PASS=000000

DOMAIN_NAME=demo

ADMIN_PASS=000000

DEMO_PASS=000000

KEYSTONE_DBPASS=000000

GLANCE_DBPASS=000000

GLANCE_PASS=000000

NOVA_DBPASS=000000

NOVA_PASS=000000

NEUTRON_DBPASS=000000

NEUTRON_PASS=000000

METADATA_SECRET=000000

INTERFACE_NAME=ens34

CINDER_DBPASS=000000

CINDER_PASS=000000

TROVE_DBPASS=000000

TROVE_PASS=000000

BLOCK_DISK=sdb1

SWIFT_PASS=000000

OBJECT_DISK=sdc1

STORAGE_LOCAL_NET_IP=192.168.1.242

HEAT_DBPASS=000000

HEAT_PASS=000000

CEILOMETER_DBPASS=000000

CEILOMETER_PASS=000000

AODH_DBPASS=000000

AODH_PASS=000000     

到这实验就结束啦！