Apache Doris的分区与分桶原理解析

介绍

在 Apache Doris 中，“分区”和“分桶”是两种用于管理和优化数据的技术，分别解决不同的数据存储和查询优化问题。

在 Doris 中，数据都以表（Table）的形式进行逻辑上的描述。
Row & Column

一张表包括行（Row）和列（Column）：

Row：即用户的一行数据；
Column：用于描述一行数据中不同的字段；
Column 可以分为两大类：Key 和 Value。从业务角度看，Key 和 Value 可以分别对应维度列和指标列。Doris 的 key 列是建表语句中指定的列，建表语句中的关键字’unique key’或’aggregate key’或’duplicate key’后面的列就是 key 列，除了 key 列剩下的就是 value 列。从聚合模型的角度来说，Key 列相同的行，会聚合成一行。其中 Value 列的聚合方式由用户在建表时指定。关于更多聚合模型的介绍，可以参阅 Doris 数据模型。

分区和分桶

Doris 支持两层的数据划分。第一层是分区（Partition），支持 Range 和 List 的划分方式。第二层是 Bucket（Tablet），支持 Hash 和 Random 的划分方式。建表时如果不建立分区，此时 Doris 会生成一个默认的分区，对用户是透明的。使用默认分区时，只支持 Bucket 划分。

在 Doris 的存储引擎中，用户数据被水平划分为若干个数据分片（Tablet，也称作数据分桶