【openstack】学习笔记一_proxy server、storage server和consistency server是什么的

作者：weixin_40725706 | 2024-03-27 12:56:35

踩

proxy server、storage server和consistency server是什么的意思

一. OpenStack概要

OpenStack既是一个社区，也是一个项目和一个开源软件，它提供了一个部署云的操作平台或工具集。其宗旨在于，帮助组织运行为虚拟计算或存储服务的云，为公有云、私有云，也为大云、小云提供可扩展的、灵活的云计算。

1.以下是5个重要组成部分

nova--计算服务
swift--存储服务
glance--镜像服务
keystone--认证服务
horizon--UI服务

OpenStack Compute (Nova)是一套控制器，用于为单个用户或使用群组启动虚拟机实例。它同样能够用于为包含着多个实例的特定项目设置网络
OpenStack 对象存储(Swift)是一套用于在大规模可扩展系统中通过内置冗余及容错机制实现对象存储的系统。这些对象能够通过一个REST API或是像Cyberduck这样可以对接对象存储API的客户端加以恢复
OpenStack镜像服务 (Glance)是一套虚拟机镜像查找及检索系统

OpenStack Nova 使用 nova-volume 服务来管理存储，实现和 Amazon 的 Elastic Block Storage (EBS) 不同，nova-volume 提供的是一种基于 Linux LVM 的 iSCSI 解决方案

二. swift（虚拟机镜像图片存储邮件存储存档备份）

http://www.programmer.com.cn/12403/
Swift主要有三个组成部分：Proxy Server、Storage Server和Consistency Server
其中Storage和Consistency服务均允许在Storage Node上。Auth认证服务目前已从Swift中剥离出来，使用OpenStack的认证服务Keystone，目的在于实现统一OpenStack各个项目间的认证管理。

Proxy Server
Server是提供Swift API的服务器进程，负责Swift其余组件间的相互通信。对于每个客户端的请求，它将在Ring中查询Account、Container或Object的位置，并且相应地转发请求。Proxy提供了Rest-full API，并且符合标准的HTTP协议规范，这使得开发者可以快捷构建定制的Client与Swift交互

Storage Server

Storage Server提供了磁盘设备上的存储服务。在Swift中有三类存储服务器：Account、Container和Object。其中Container服务器负责处理Object的列表，Container服务器并不知道对象存放位置，只知道指定Container里存的哪些Object。这些Object信息以sqlite数据库文件的形式存储。Container服务器也做一些跟踪统计，例如Object的总数、Container的使用情况

Consistency Servers

在磁盘上存储数据并向外提供Rest-ful API并不是难以解决的问题，最主要的问题在于故障处理。Swift的Consistency Servers的目的是查找并解决由数据损坏和硬件故障引起的错误。主要存在三个Server：Auditor、Updater和Replicator。 Auditor运行在每个Swift服务器的后台持续地扫描磁盘来检测对象、Container和账号的完整性。如果发现数据损坏，Auditor就会将该文件移动到隔离区域，然后由Replicator负责用一个完好的拷贝来替代该数据。图2给出了隔离对象的处理流图。在系统高负荷或者发生故障的情况下，Container或账号中的数据不会被立即更新。如果更新失败，该次更新在本地文件系统上会被加入队列，然后Updaters会继续处理这些失败了的更新工作，其中由Account Updater和Container Updater分别负责Account和Object列表的更新。 Replicator的功能是处理数据的存放位置是否正确并且保持数据的合理拷贝数，它的设计目的是Swift服务器在面临如网络中断或者驱动器故障等临时性故障情况时可以保持系统的一致性。

1.swift源码分析--服务启动
swift-init main start执行swift初始化工作（bin/swift-init）
commands = dict(Manager.list_commands()).keys() 获取所有可公开访问的命令
manager = Manager(servers, run_dir=options.run_dir) Manager管理各个server执行操作的类

commands = ['status', 'start', 'force-reload', 'stop', 'no-wait', 'no-daemon', 'reload', 'shutdown', 'restart', 'once']

servers = ['swift-init', 'main']
server_names = ['proxy-server', 'account-server', 'container-server', 'object-server']，这是swift四个服务的名称
for name in server_names:
self.servers.add(Server(name, run_dir))

command = start

options = {'run_dir': '/var/run/swift', 'daemon': True, 'verbose': False, 'number': 0, 'kill_wait': 15, 'graceful': False, 'wait': True, 'once': False}

status = manager.run_command(command, **options. __dict__)

这个方法中将会依次启动servers指定的服务，即servers = ['proxy-server', 'account-server', 'container-server', 'object-server']；
def start(self, **kwargs)

for server in self.servers:
server.launch(**kwargs)

一. Nove Scheduler

1.request_spce

{ 
  u'num_instances': 1, 
  u'block_device_mapping': [ { 
         u'instance_uuid': u'c99560fa-6580-4b5f-a94e-28e81db75d81', 
         u'guest_format': None, 
         u'boot_index': 0, 
         u'delete_on_termination': True, 
         u'no_device': None, 
         u'connection_info': None, 
         u'snapshot_id': None, 
         u'device_name': None, 
         u'disk_bus': None, 
         u'image_id': u'a0247584-9a5e-4d43-861a-e4a78f708d3b', 
         u'source_type': u'image', 
         u'device_type': u'disk', 
         u'volume_id': None, 
         u'destination_type': u'local', 
         u'volume_size': None     
  }], 
  u'image': {
         u'status': u'active', 
         u'name': u'F17-x86_64-cfntools', 
         u'deleted': False, 
         u'container_format': u'bare', 
         u'created_at': u'2014-08-19T07:03:32.000000', 
         u'disk_format': u'qcow2', 
         u'updated_at': u'2014-08-19T07:05:38.000000', 
         u'id': u'a0247584-9a5e-4d43-861a-e4a78f708d3b', 
         u'owner': u'eca87d47c0fe4a05bc4d24802658fa10', 
         u'min_ram': 0, 
         u'checksum': u'afab0f79bac770d61d24b4d0560b5f70', 
         u'min_disk': 0, 
         u'is_public': True, 
         u'deleted_at': None, 
         u'properties': {}, 
         u'size': 476704768     
  }, 
  u'instance_type': {  
         u'root_gb': 4, 
         u'name': u'm1.small', 
         u'ephemeral_gb': 0, 
         u'memory_mb': 2048, 
         u'vcpus': 1, 
         u'extra_specs': {}, 
         u'swap': 0, 
         u'rxtx_factor': 1.0, 
         u'flavorid': u'c75e2199-b09e-4e9e-9997-bd6d6676541d', 
         u'vcpu_weight': None, 
         u'id': 10    
  }, 
  u'instance_properties': {
         u'vm_state': u'building', 
         u'availability_zone': u'nova', 
         u'terminated_at': None, 
         u'ephemeral_gb': 0, 
         u'instance_type_id': 10, 
         u'user_data': None, 
         u'cleaned': False, 
         u'vm_mode': None, 
         u'deleted_at': None, 
         u'reservation_id': u'r-a58urz33', 
         u'id': 576, 
         u'security_groups': [], 
         u'disable_terminate': False, 
         u'display_name': u'CCCC', 
         u'uuid': u'c99560fa-6580-4b5f-a94e-28e81db75d81', 
         u'default_swap_device': None, 
         u'info_cache': {   
                u'instance_uuid': u'c99560fa-6580-4b5f-a94e-28e81db75d81', 
                u'deleted': False, 
                u'created_at': u'2014-08-22T03:47:00.000000', 
                u'updated_at': None, 
                u'network_info': [], 
                u'deleted_at': None  
         }, 
         u'hostname': u'cccc', 
         u'launched_on': None, 
         u'display_description': u'CCCC', 
         u'key_data': None, 
         u'kernel_id': u'', 
         u'power_state': 0, 
         u'default_ephemeral_device': None, 
         u'progress': 0, 
         u'project_id': u'eca87d47c0fe4a05bc4d24802658fa10', 
         u'launched_at': None, 
         u'scheduled_at': None, 
         u'node': None, 
         u'ramdisk_id': u'', 
         u'access_ip_v6': None, 
         u'access_ip_v4': None, 
         u'deleted': False, 
         u'key_name': None, 
         u'updated_at': None, 
         u'host': None, 
         u'ephemeral_key_uuid': None,          u'architecture': None, 
         u'user_id': u'7ae57473c4de4bfa84015a2e73f7182b', 
         u'system_metadata': {
               u'image_min_disk': u'4',                u'instance_type_memory_mb': u'2048', 
               u'instance_type_swap': u'0', 
               u'instance_type_vcpu_weight': None,                u'instance_type_root_gb': u'4', 
               u'instance_type_id': u'10', 
               u'instance_type_name': u'm1.small',                u'instance_type_ephemeral_gb': u'0', 
               u'instance_type_rxtx_factor': u'1.0', 
               u'instance_type_flavorid': u'c75e2199-b09e-4e9e-9997-bd6d6676541d', 
               u'image_container_format': u'bare', 
               u'instance_type_vcpus': u'1', 
               u'image_min_ram': u'0',                u'image_disk_format': u'qcow2', 
               u'image_base_image_ref': u'a0247584-9a5e-4d43-861a-e4a78f708d3b'
         }, 
         u'task_state': u'scheduling', 
         u'shutdown_terminate': False, 
         u'cell_name': None, 
         u'root_gb': 4, 
         u'locked': False, 
         u'name': u'instance-00000240', 
         u'created_at': u'2014-08-22T03:47:00.000000', 
         u'locked_by': None, 
         u'launch_index': 0, 
         u'metadata': {},          u'memory_mb': 2048, 
         u'vcpus': 1, 
         u'image_ref': u'a0247584-9a5e-4d43-861a-e4a78f708d3b', 
         u'root_device_name': None,          u'auto_disk_config': True, 
         u'os_type': None, 
         u'config_drive': u''
   }, 
   u'security_group': [u'default'], 
   u'instance_uuids': [u'c99560fa-6580-4b5f-a94e-28e81db75d81']
}

2.filter_properties

{
   u'instance_type': {
       u'memory_mb': 2048, 
       u'root_gb': 4, 
       u'deleted_at': None, 
       u'name': u'm1.small', 
       u'deleted': 0, 
       u'created_at': u'2014-08-21T03:27:37.000000',        u'ephemeral_gb': 0, 
       u'updated_at': None, 
       u'disabled': False, 
       u'vcpus': 1, 
       u'extra_specs': {}, 
       u'swap': 0, 
       u'rxtx_factor': 1.0, 
       u'is_public': True, 
       u'flavorid': u'c75e2199-b09e-4e9e-9997-bd6d6676541d', 
       u'vcpu_weight': None, 
       u'id': 10
   }, 
   u'scheduler_hints': {}
 }

2.get_all_host_states()

{"host1":hoststate for host1, "host2":hoststate for host2,...}.

3.filter_host()


'nova.scheduler.filters.isolated_hosts_filter.IsolatedHostsFilter'
'nova.scheduler.filters.compute_filter.ComputeFilter'
'nova.scheduler.filters.availability_zone_filter.AvailabilityZoneFilter'
'nova.scheduler.filters.ram_filter.RamFilter'
'nova.scheduler.filters.json_filter.JsonFilter'
'nova.scheduler.filters.all_hosts_filter.AllHostsFilter'
'nova.scheduler.filters.core_filter.CoreFilter'
'nova.scheduler.filters.affinity_filter.AffinityFilter'
'nova.scheduler.filters.affinity_filter.DifferentHostFilter'
'nova.scheduler.filters.affinity_filter.SameHostFilter'
'nova.scheduler.filters.affinity_filter.SimpleCIDRAffinityFilter

4.filter_host()

2.openstack scheduler


(1) SchedulerManager.run_instance
    |
    |-->(11) driver.scheduler_run_instance
             |
             |-->(111) _scheduler(context, request_spec, filter_properties)
                       |
                       |-->(1111) _setup_instance_group(context, filter_properties)
                                  |-->(1112) _get_configuration_options()
                                  |-->(1113) populate_filter_properties(request_spec, filter_properties)
                                  |-->(1114) self.get_all_host_state(elevated)
                                  |          |
                                  |          |-->(11141) HostManager.get_all_host_states(self, context)
                                  |
                                  |-->(1115) HostManager.get_filtered_hosts(hosts, filter_properties, index=num)
                                  |-->(1116) HostManager.get_weighed_hosts(hosts, filter_proerties)


(2) HostManager.get_all_host_states(self, context)
    |
    |-->(21) db.compute_node_get_all(context)
             |
             |-->(211) compute_node_get_all  [db/sqlalchemy/api.py]
                       | 
                       |-->(2111) select
                       |-->(2112) conn.execute