服务端高并发分布式结构演进之路_千万级高并发分布式架构演进之路

一、概述

本文以一个 “电子商务” 应用为例，介绍从一百个到千万级并发情况下服务端的架构的演进过程，同时列举出每个演进阶段会遇到的相关技术，了解过后可以对架构的演进有一个整体的认知。

---

二、常见概念

在正式引入架构演进之前，先对其中一些比较重要的概念做前置介绍。

---

1、基本概念

（1）应用（Application）/ 系统（System）

为了完成一整套服务的一个程序或者一组相互配合的程序群。

一个应用就是一个 / 组服务器程序。

拿一个生活中的例子来做类比：为了完成一项任务，而搭建的由一个人或者一群相互配的人组成的团队。

---

（2）模块（Module）/ 组件（Component）

当应用较复杂时，为了分离职责，将其中具有清晰职责的、内聚性强的部分，抽象出概念，便于理解。

一个应用里面有很多功能，每个独立的功能就可以称为是一个模块 / 组件。

拿一个生活中的例子来做类比：军队中为了进行某据点的攻克，将人员分为突击小组、爆破小组、掩护小组、通信小组等。

---

（3）分布式（Distributed）

系统中的多个模块被部署于不同服务器之上，即可以将该系统称为分布式系统。如 Web 服务器与

数据库分别工作在不同的服务器上，或者多台 Web 服务器被分别部署在不同服务器上。

引入多个主机 / 服务器，协同配合完成一系列的工作，把这些主机 / 服务器放在一起就称为分布式。主要说的是物理上的多个主机。

拿一个生活中的例子来做类比：为了更好的满足现实需要，一个在同一个办公场地的工作小组被分散到多个城市的不同工作场地中进行远程配合工作完成目标。跨主机之间的模块之间的通信基本要借助网络支撑完成。

---

（4）集群（Cluster）

被部署于多台服务器上的、为了实现特定目标的一个 / 组特定的组件，整个整体被称为集群。比如多个 MySQL 工作在不同服务器上，共同提供数据库服务目标，可以被称为一组数据库集群。

主要说的是逻辑上的多个主机。

拿一个生活中的例子来做类比：为了解决军队攻克防守坚固的大城市的作战目标，指挥部将大批炮兵部队集中起来形成⼀个炮兵打击集群。

---

（5）分布式 VS 集群

通常不用太严格区分两者的细微概念，细究的话，分布式强调的是物理形态，即工作在不同服务器上并且通过网络通信配合完成任务；而集群更在意逻辑形态，即是否为了完成特定服务目标。

---

（6）主（Master）/ 从（Slave）

集群中，通常有⼀个程序需要承担更多的职责，被称为主；其他承担附属职责的被称为从。

是分布式系统中一种比较典型的结构。多个服务器节点，其中一个是主，另外的是从，从节点的数据要从主节点这里同步过来。

比如 MySQL 集群中，只有其中⼀台服务器上数据库允许进行数据的写入（增 / 删 / 改），其他数据库的数据修改全部要从这台数据库同步而来，则把那台数据库称为主库，其他数据库称为从库。

---

（7）中间件（Middleware）

一类提供不同应用程序用于相互通信的软件，即处于不同技术、工具和数据库之间的桥梁。

中间件是和业务无关的服务（功能更通用的服务）：

• 数据库
• 缓存
• 消息队列
• ... ...

拿一个生活中的例子来做类比：一家饭店开始时，会每天去市场挑选买菜，但随着饭店业务量变大，成立一个采购部，由采购部专职于采买业务，称为厨房和菜市场之间的桥梁。

---

（8）容器（Docker）

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的镜像中，然后发布到任何流行的 Linux 或 Windows 操作系统的机器上，也可以实现虚拟化。可以理解为一个集装箱，集装箱里面是每个用户的货物，整体打包。 

---

（9）容器编排（K8S）

kubernetes，简称 K8s，是用 8 代替名字中间的 8 个字符 "ubernete" 而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes 的目标是让部署容器化的应用简单并且高效。可以理解为一个货船，安装集装箱的大小，货物情况合理的来组织集装箱完成整体货物的搬运。

---

2、评价指标（Metric）

（1）可用性（Availability）

考察单位时间段内，系统可以正常提供服务的概率 / 期望。例如：年化系统可用性 = 系统正常提供；服务时长 / 一年总时长。这里暗含着一个指标，即如何评价系统提供无法是否正常。

可用性是一个系统的第一要务。

平时我们常说的 4 个 9 即系统可以提供 99.99% 的可用性，5 个 9 是 99.999% 的可用性，以此类推。平时只是用高可用（High Availability HA）这个非量化目标简要表达我们系统的追求。

---

（2）响应时长（Response Time RT）

指用户完成输入到系统给出用户反应的时长。

响应时长用来衡量服务器的性能。

例如点外卖业务的响应时长 = 拿到外卖的时刻 - 完成点单的时刻。通常我们需要衡量的是最长响应时长、平均响应时长和中位数响应时长。

这个指标原则上是越小越好，但很多情况下由于实现的限制，和具体服务器要做的业务密切相关，需要根据实际情况具体判断。

---

（3）吞吐（Throughput）VS 并发（Concurrent）

吞吐考察单位时间段内，系统可以成功处理的请求的数量。并发指系统同⼀时刻⽀持的请求最高量。

吞吐和并发是衡量系统处理请求的能力，衡量性能的一种方式。

例如一条辆车道高速公路，一分钟可以通过 20 辆车，则并发是 2，一分钟的吞吐量是 20。实践中，并发量往往无法直接获取，很多时候都是用极短的时间段（比如 1 秒）的吞吐量做代替。我们平时用高并发（Hight Concurrnet）这个非量化目标简要表达系统的追求。

---

三、架构演进

1、单机架构（应用服务程序 + 数据库服务器共用一台服务器）

初期，我们需要利用我们精干的技术团队，快速将业务系统投入市场进行检验，并且可以迅速响应变化要求。但好在前期用户访问量很少，没有对我们的性能、安全等提出很高的要求，而且系统架构简单，无需专业的运维团队，所以选择单机架构是合适的。

---

（1）相关软件

• Web 服务器软件：Tomcat、Netty、Nginx、Apache 等。
• 数据库软件：MySQL、Oracle、PostgreSQL、SQL Server 等。

---

2、应用数据分离架构（应用服务程序和数据库服务器分别放到不同的主机上进行部署）

一台主机的硬件资源是有上限的，包括但不限于以下几种：

• CPU
• 内存
• 硬盘
• 网络
• ... ...

服务器每收到一个请求，都是需要消耗上述的一些资源的。如果同一时刻处理的请求多了，此时就可能导致某个硬件资源不够用了。无论是哪个方面的资源不够用，都可能导致服务器处理请求的时间变长，甚至于处理出错。

如果真的遇到了这样的服务器不够用的场景，应该如何处理呢？

1. 开源（简单粗暴，增加更多的硬件资源。一个主机上面能增加的硬件资源也是有限的，这取决于主板的扩展能力）
2. 节流（软件上进行优化，需要通过性能测试来找出是哪个环节出现了瓶颈，再去对症下药）

随着系统的上线，我们不出意外地获得了成功。市场上出现了一批忠实于我们的用户，使得系统的访问量逐步上升，逐渐逼近了硬件资源的极限，同时团队也在此期间积累了对业务流程的一批经验。面对当前的性能压力，我们需要未雨绸缪去进行系统重构、架构挑战，以提升系统的承载能力。但由于预算仍然很紧张，我们选择了将应用和数据分离的做法，可以最小代价的提升系统的承载能力。

和之前架构的主要区别在于将数据库服务独立部署在同一个数据中心的其他服务器上，应用服务通过网络访问数据。

---

3、应用服务集群架构（负载均衡，应用服务器 =》集群）

我们的系统受到了用户的欢迎，并且出现了爆款，单台应用服务器已经无法满足需求了。我们的单机应用服务器首先遇到了瓶颈，摆在我们技术团队面前的有两种方案，大家针对方案的优劣展示了热烈的讨论：

• 垂直扩展 / 纵向扩展 Scale Up。通过购买性能更优、价格更高的应用服务器来应对更多的流量。这种方案的优势在于完全不需要对系统软件做任何的调整；但劣势也很明显：硬件性能和价格的增长关系是非线性的，意味着选择性能 2 倍的硬件可能需要花费超过 4 倍的价格，其次硬件性能提升是有明显上限的。

• 水平扩展 / 横向扩展 Scale Out。通过调整软件架构，增加应用层硬件，将用户流量分担到不同的应用层服务器上，来提升系统的承载能力。这种方案的优势在于成本相对较低，并且提升的上限空间也很大。但劣势是带给系统更多的复杂性，需要技术团队有更丰富的经验。

• 经过团队的学习、调研和讨论，最终选择了水平扩展的方案，来解决该问题，但这需要引入一个新的组件 —— 负载均衡：为了解决用户流量向哪台应用服务器分发的问题，需要一个专门的系统组件做流量分发。实际中负载均衡不仅仅指的是工作在应用层的，甚⾄可能是其他的网络层之中。同时流量调度算法也有很多种，这里简单介绍几种较为常见的：

1. Round-Robin 轮询算法。即非常公平地将请求依次分给不同的应用服务器。

2. Weight-Round-Robin 轮询算法。为不同的服务器（比如性能不同）赋予不同的权重（weight），能者多劳。

3. 一致哈希散列算法。通过计算用户的特征值（比如 IP 地址）得到哈希值，根据哈希结果做分发，优点是确保来自相同用户的请求总是被分给指定的服务器。也就是我们平时遇到的专项客户经理服务。

• 应用服务器，里面可能会包含很多的业务逻辑，可能会吃 CPU 和内存。
• 数据库服务器，需要更大的硬盘空间，更快的数据访问速度。可以配置更大硬盘的服务器，甚至可以选择 SSD 硬盘（固态硬盘，价格高、访问速度快）。

类比：

• 负载均衡器，是领导，分配工作。
• 应用服务器，是组员，执行任务。

通过负载均衡器，把请求比较均匀的分发给集群中的每个应用服务器。

当集群中的某个主机挂了，其他的主机仍然可以承担服务，这就提高了整个系统的可用性。

---

（1）相关软件

• 负载均衡软件：Nginx、HAProxy、LVS、F5 等。

---

4、读写分离 / 主从分离架构（数据库主从结构）

前面提到，我们把用户的请求通过负载均衡分发到不同的应⽤服务器之后，可以并行处理了，并且可以随着业务的增长，可以动态扩张服务器的数量来缓解压力。但是现在的架构里，无论扩展多少台服务器，这些请求最终都会从数据库读写数据，到一定程度之后，数据的压力称为系统承载能力的瓶颈点。我们可以像扩展应用服务器一样扩展数据库服务器么？答案是否定的，因为数据库服务有其特殊性：如果将数据分散到各台服务器之后，数据的⼀致性将无法得到保障。所谓数据的一致性，此处是指：针对同⼀个系统，无论何时何地，我们都应该看到一个始终维持统一的数据。想象一下，银行管理的账户金额，如果收到一笔转账之后，一份数据库的数据修改了，但另外的数据库没有修改，则用户得到的存款金额将是错误的。

我们采用的解决办法是：保留一个主要的数据库作为写入数据库，其他的数据库作为从属数据库。从库的所有数据全部来自主库的数据，经过同步后，从库可以维护着与主库一致的数据。然后为了分担数据库的压力，我们可以将写数据请求全部交给主库处理，但读请求分散到各个从库中。由于大部分的系统中，读写请求都是不成比例的，例如 100 次读 1 次写，所以只要将读请求由各个从库分担之后，数据库的压力就没有那么大了。当然这个过程不是无代价的，主库到从库的数据同步其实是由时间成本的。

实际的应用场景中，读的频率是比写的频率更高的。

主服务器一般是一个，从服务器可以有多个（一主多从）。同时让数据库通过负载均衡的方式，让应用服务器进行访问。

一个数据库节点作为主节点，其它 N 个数据库节点作为从节点。主节点负责写数据，从节点负责读数据。主节点需要把修改过的数据同步给从节点。

应用中需要对读写请求做分离处理，所以可以利用一些数据库中间件，将请求分离的职责托管出去。

---

（1）相关软件

• MyCat、TDDL、Amoeba、Cobar 等类似数据库中间件等。

---

5、引入缓存 —— 冷热分离架构（进一步的提升了服务器针对请求的处理能力 —— “二八原则”）

随着访问量继续增加，发现业务中一些数据的读取频率远大于其他数据的读取频率。我们把这部分数据称为热点数据，与之相对应的是冷数据。针对热数据，为了提升其读取的响应时间，可以增加本地缓存，并在外部增加分布式缓存，缓存热门商品信息或热门商品的 html 页面等。通过缓存能把绝大多数请求在读写数据库前拦截掉，大大降低数据库压力。其中涉及的技术包括：使用 memcached 作为本地缓存，使用 Redis 作为分布式缓存，还会涉及缓存一致性、缓存穿透 / 击穿、缓存雪崩、热点数据集中失效等问题。

数据库有个天然的问题 —— 响应速度慢。把数据分为 “热数据” 和 “冷数据”，“热数据” 放到缓存中，缓存的访问速度比数据库要快得多。

Redis 在一个分布式系统中，通常扮演者缓存这样的角色。缓存服务器帮助数据库服务器 “负重前行”。

引入缓存的问题：数据库和缓存的数据一致性问题。

---

（1）相关软件

• Memcached、Redis 等缓存软件。

随着业务的数据量增大，大量的数据存储在同一个库中已经显得有些力不从心了，所以可以按照业务，将数据分别存储。比如针对评论数据，可按照商品ID进行 hash，路由到对应的表中存储；针对⽀付记录，可按照小时创建表，每个小时表继续拆分为小表，使用用户 ID 或记录编号来路由数据。只要实时操作的表数据量足够小，请求能够⾜够均匀的分发到多台服务器上的小表，那数据库就能通过水平扩展的方式来提高性能。其中前面提到的 Mycat 也支持在大表拆分为小表情况下的访问控制。这种做法显著的增加了数据库运维的难度，对DBA的要求较高。数据库设计到这种结构时，已经可以称为分布式数据库，但是这只是⼀个逻辑的数据库整体，数据库⾥不同的组成部分是由不同的组件单独来实现的，如分库分表的管理和请求分发，由 Mycat 实现，SQL 的解析由单机的数据库实现，读写分离可能由网关和消息队列来实现，查询结果的汇总可能由数据库接口层来实现等等，这种架构其实是 MPP （大规模并行处理）架构的一类实现。

---

（1）相关软件

• Greenplum、TiDB、Postgresql XC、HAWQ 等，商用的如南大通用的 GBase、睿帆科技的雪球 DB、华为的 LibrA 等。

---

7、业务拆分 —— 微服务（从业务上进一步拆分应用服务器）

随着人员增加，业务发展，我们将业务分给不同的开发团队去维护，每个团队独立实现自己的微服务，然后互相之间对数据的直接访问进行隔离，可以利用 Gateway、消息总线等技术，实现相互之间的调用关联。甚至可以把一些类似用户管理、安全管理、数据采集等业务提成公共服务。

前面的应用服务器，一个服务器程序里面做了很多的业务，这就可能会导致这一个服务器的代码变得越来越复杂。为了更方便代码的维护，可以把这样一个复杂的服务器拆分成更多的，功能更单一的，但是更小的服务器（微服务），服务器的种类和数量也就增加了。

注意：微服务的本质是在解决 “人” 的问题。

当应用服务器复杂了，势必就需要更多的人来维护了。当人多了，就需要配套的管理把这些人组织好。划分组织结构，分成多个组（就需要进行分工），每个组分别配备领导进行管理。

从业务功能的角度来看，把应用服务器拆分成更多的功能更单一、更简单、更小的服务器。

---

（1）相关软件 

• Spring Cloud、Dubbo

---

引入微服务，虽然解决了 “人” 的问题，但是需要付出的代价？

1. 系统的性能下降（要想保证性能不下降太多，只能引入更多的机器和资源（需要资金）。
2. 系统的复杂程度提高了，可用性受到影响（服务器更多了，出现问题的概率也就更高了）。这就需要一系列的手段来保证系统的可用性（更丰富的监控报警，以及配套的运维人员）。

微服务的优势有什么？

1. 解决了 “人” 的问题。
2. 使用微服务可以更方便于功能的服用。
3. 可以给不同的服务进行不同的部署。

---

8、容器化引入 —— 容器编排架构

随着业务增长，然后发现系统的资源利用率不高，很多资源用来应对短时高并发，平时又闲置，需要动态扩缩容，还没有办法直接下线服务器，而且开发、测试、生产每套环境都要隔离的环境，运维的工作量变的非常大。容器化技术的出现给这些问题的解决带来了新的思路。

目前最流行的容器化技术是 Docker，最流行的容器管理服务是 Kubernetes(K8S)，应用 / 服务可以打包为 Docker 镜像，通过 K8S 来动态分发和部署镜像。Docker 镜像可理解为一个能运行你的应用/服务的最小的操作系统，里面放着应用 / 服务的运行代码，运行环境根据实际的需要设置好。把整个 “操作系统” 打包为一个镜像后，就可以分发到需要部署相关服务的机器上，直接启动 Docker 镜像就可以把服务起起来，使服务的部署和运维变得简单。服务通常会有生产和研发 k8s 集群，一般不会公用，而研发集群通过命名空间来完成应用隔离，有的公司按照研发目的划分为研发和测试集群，有的公司通过组织架构完成部门间的资源复用。

---

（1）相关软件

• Docker、K8S

---

9、一个互联网应用架构

---

四、尾声

至此，一个还算合理的高可用、高并发系统的基本雏形已显。注意，以上所说的架构演变顺序只是针对某个侧面进行单独的改进，在实际场景中，可能同⼀时间会有几个问题需要解决，或者可能先达到瓶颈的是另外的方面，这时候就应该按照实际问题实际解决。如在政府类的并发量可能不大，但业务可能很丰富的场景，高并发就不是重点解决的问题，此时优先需要的可能会是丰富需求的解决方案。

对于单次实施并且性能指标明确的系统，架构设计到能够支持系统的性能指标要求就足够了，但要留有扩展架构的接口以便不备之需。对于不断发展的系统，如电商平台，应设计到能满足下一阶段用户量和性能指标要求的程度，并根据业务的增长不断的迭代升级架构，以支持更高的并发和更丰富的业务。

所谓的 “大数据” 其实是海量数据采集清洗转换、数据存储、数据分析、数据服务等场景解决方案的一个统称，在每一个场景都包含了多种可选的技术，如数据采集有Flume、Sqoop、Kettle等，数据存储有分布式文件系统 HDFS、FastDFS，NoSQL 数据库 HBase、MongoDB 等，数据分析有 Spark 技术栈、机器学习算法等。总的来说大数据架构就是根据业务的需求，整合各种大数据组件组合而成的架构，一般会提供分布式存储、分布式计算、多维分析、数据仓库、机器学习算法等能力。而服务端架构更多指的是应用组织层面的架构，底层能力往往是由大数据架构来提供。

业务是更重要的，技术只是给业务提供支持的。

所谓的分布式系统，就是想办法引入更多的硬件资源。

---

如何决策要不要演进？

不是说我们的架构越大就越好，要结合实际业务场景，考虑成本、团队，再来决定是否要引进，满足业务需求即可。

架构必须这么演进吗？

当然不是。例如，从微服务架构开始，至于要不要引入 docker、k8s，要看团队技术栈的储备，如果贸然引进，出现问题就很麻烦。

架构必须是这么几个吗？

不是，可以将上述架构再进行拆分。

Docker 的核心作用是什么？

完成了核心的打包，进行容器化的运行。