Tair_tair 存储的架构

Tair(Taobao Pair)是淘宝开发的分布式Key-Value存储引擎，用于服务器端自动负载均衡 分为持久化和非持久化两种方式存储：

非持久化：分布式缓存使用 Memcached（mdb）、Redis（rdb）

持久化：SQL-DB使用FireBird（fdb），NoSQL-DB：使用Kyoto Cabinet（kdb）、LevelDB（ldb）

Tair采用可插拔存储引擎设计，以上这些存储引擎可以很方便的替换，还可以引入新的存储引擎比如： MySQL。

使用场景：

1，分布式缓存，集成Redis，可以用于大多数使用场景，大访问少量临时数据的存储（kb左右） 用于缓存，降低对后端数据库的访问压力，session场景 高速访问某些数据结构的应用和计算（rdb）

2，数据源存储，快速读取数据（fdb）， 持续大数据量的存入读取（ldb），交易快照 ，高频度的更新读取（ldb），库存

---

Tair整体架构

 Config Server

• Config Server是单点，采用一主一备的方式保证可靠性。 管理所有的data server, 维护data server的状态信息 用户配置的桶数量、副本数、机房信息 数据分布的对照表 协调数据迁移、管理进度，将数据迁移到负载较小的节点上。
• Client和ConfigServer的交互主要是为了获取数据分布的对照表，当client获取到对照表后，会cache这 张表，然后通过查这张表决定数据存储的节点，所以不需要和configserver交互，这使得Tair对外的服务不依赖configserver，所以它不是传统意义上的中心节点。
• Config server维护的对照表有版本概念，由于集群变动或管理触发，构建新的对照表后，对照表的版本 号递增，并通过Data server的心跳，将新表同步给数据节点。客户端和Data server交互时，Dataserver每次都把自己缓存的对照表版本号放入response结构中，返 回给客户端，客户端将Data server的对照表版本号和自己缓存的对照表版本号比较，如果不相同，会 主动和Config server通信，请求新的对照表。（所以根本上，数据的信息并不是主动去维护到Config Server中去的，而是通过Client端获取的数据版本号与Config Server中的数据信息版本号对比不同步才去更新数据信息到Config Server）
• Tair的Configserver使客户端使用时候，不需要配置数据节点列表，也不需要处理节点的的状态变化， 这使得Tair对最终用户来说使用和配置都很简单。

Data Server

Data server负责数据的物理存储，并根据Configserver构建的对照表完成数据的复制和迁移工作。 Data server具备抽象的存储引擎层，可以很方便地添加新存储引擎。Data server还有一个插件容器， 可以动态地加载/卸载插件。

Tair的存储引擎有一个抽象层，只要满足存储引擎需要的接口，便可以很方便地替换Tair底层的存储引擎。

Tair默认包含两个存储引擎：mdb和fdb：

• mdb是一个高效的缓存存储引擎，它有着和memcached类似的内存管理方式。mdb支持使用share memory（tmpfs），这使得我们在重启Tair数据节点的进程时不会导致数据的丢失，从而使升级对应 用来说更平滑，不会导致命中率的较大波动。
• fdb是一个简单高效的持久化存储引擎，使用树的方式根据数据key的hash值索引数据，加快查找速度。索引文件和数据文件分离，尽量保持索引文件在内存中，以便减小IO开销。使用空闲空间池管理被 删除的空间。

---

Tair高可用与负载均衡

Tair使用的意义并不是去取代Redis，是对Redis的集成，在高可用上，根据上面的架构，很多方面可以参照Redis的集群与高可用，例如对于单节点的ConfigServer进行主从设置，为了高可用可以添加SndNode。对于DataNode，可以对于每个DataNode都去做主从备份的概念。负载均衡则可以通过一致性hash均衡的分布在DataNode上。

对照表

在Tair系统中，采用对照表将数据均衡的分布在DataServer上，便于动态适应节点的扩容和缩容。Tair基于一致性Hash算法存储数据，根据配置建立固定数量的桶（bucket），桶为Hash环节点，hash(key) 顺时针设置桶，桶是负载均衡和数据迁移的基本单位，因为数据按照key做hash算法，所以可以认为每个桶中的数据基本是平衡的， 保证了桶分布的均衡性, 就保证了数据分布的均衡性。

---

Tair数据迁移 

当DataServer增加时，config server负责重新计算一张新的桶在data server上的分布表 将桶较为平均的分配到各个DataServer上 当DataServer发生故障时， config server负责重新计算一张新的桶在data server上的分布表, 将原来由故障机器服务的桶的访问重新指派到其它的data server中 ，同时也就会去进行数据迁移

• 1、设置当前正在迁移的桶ID
• 2、DataServer写入桶数据时，会写入redolog
• 3、migrate_manager迁移内存中的桶数据
• 4、migrate_manager迁移redolog数据
• 5、redolog数据迁移完成后，将桶标记为迁移完成
• 6、将信息发送给ConfigServer用于同步对照表

 

---

Tair可插拔存储引擎

Tair默认包含四种存储引擎：mdb、fdb、kdb和ldb

• mdb 数据存储：Memcached 高效缓存存储 使用share memory ，重启不会数据丢失 支持K-V存储、prefix操作 适用于：String缓存使用 （json）、大访问少量的临时数据存储、Session分离
• fdb 数据存储：FireBird 高效的持久化SQL存储 索引文件和数据文件分离------>mysql MyISam 使用Tree的方式根据key的hash值索引数据 B tree 索引文件在内存中 适用于：快速访问较小的数据
• kdb 数据存储：Kyoto Cabinet Cabinet开发的KV的持久化存储，简单的包含记录的数据文件 存储形式为hash表或B+Tree 适用于：简单临时存储
• ldb 数据存储：LevelDB 是Google开发的高性能持久化KV存储 可内嵌mdb缓存 mdb+ldb 支持kv、prefix 支持批量操作 适用于：大数据量的存取（交易快照）、高频度的更新（库存）、离线大批量数据导入
• rdb 数据存储：Redis 高效缓存存储 多种数据结构和计算 适用于：复杂数据结构存储、商品属性、粉丝列表、商品评论、消息队列

---

mdb的存储结构（Memcached） 

 mem_pool

用于共享内存管理(系统内存)，将内存分为若干个page page个数根据slab_mem_size设置，单位为MB，单个DataServer最多使用64G内存

mem_cache

用于管理slab（Linux 缓存分配器），存放slab_manager列表 slab_manager管理item(数据块) slab个数为100，一个slab可存储800kb

cache_hash_map

用于存储hash表，根据key进行hash对应item数据 hash冲突，产生链表

mdb_area_stat

用于维护area（namespace）状态，记录了该area的数据链表和数据量限制(tablespace)

---

常用API