Doris-01-Doris的简介和安装_doris安装搭建

Doris简介

概述

Apache Doris 由百度大数据部研发（之前叫百度 Palo，2018 年贡献到 Apache 社区后，更名为 Doris ），在百度内部，有超过 200 个产品线在使用，部署机器超过 1000 台，单一业务最大可达到上百 TB。

Apache Doris 是一个现代化的 MPP（Massively Parallel Processing，即大规模并行处理）分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris 的分布式架构非常简洁，易于运维，并且可以支持 10PB 以上的超大数据集。

Apache Doris 可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fiZl3Poc-1687518900931)(null#pic_center)]

核心优势

• 简单易用：部署只需两个进程，不依赖其他系统；在线集群扩缩容，自动副本修复；兼容 MySQL 协议，并且使用标准 SQL；
• 高性能：依托列式存储引擎、现代的 MPP 架构、向量化查询引擎、预聚合物化视图、数据索引的实现，在低延迟和高吞吐查询上, 都达到了极速性能；
• 统一数仓：单一系统，可以同时支持实时数据服务、交互数据分析和离线数据处理场景；
• 联邦查询：支持对 Hive、Iceberg、Hudi 等数据湖和 MySQL、Elasticsearch 等数据库的联邦查询分析；
• 多种导入：支持从 HDFS/S3 等批量拉取导入和 MySQL Binlog/Kafka 等流式拉取导入；支持通过HTTP接口进行微批量推送写入和 JDBC 中使用 Insert 实时推送写入；
• 生态丰富：Spark 利用 Spark Doris Connector 读取和写入 Doris；Flink Doris Connector 配合 Flink CDC 实现数据 Exactly Once 写入 Doris；利用 DBT Doris Adapter，可以很容易的在 Doris 中完成数据转化。

使用场景

如下图所示，数据源经过各种数据集成和加工处理后，通常会入库到实时数仓 Doris 和离线湖仓（Hive, Iceberg, Hudi 中），Apache Doris 被广泛应用在以下场景中。

• 报表分析
  • 实时看板 （Dashboards）
  • 面向企业内部分析师和管理者的报表
  • 面向用户或者客户的高并发报表分析（Customer Facing Analytics）。比如面向网站主的站点分析、面向广告主的广告报表，并发通常要求成千上万的 QPS ，查询延时要求毫秒级响应。著名的电商公司京东在广告报表中使用 Apache Doris ，每天写入 100 亿行数据，查询并发 QPS 上万，99 分位的查询延时 150ms。
• 即席查询（Ad-hoc Query）：面向分析师的自助分析，查询模式不固定，要求较高的吞吐。小米公司基于 Doris 构建了增长分析平台（Growing Analytics，GA），利用用户行为数据对业务进行增长分析，平均查询延时 10s，95 分位的查询延时 30s 以内，每天的 SQL 查询量为数万条。
• 统一数仓构建 ：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。海底捞基于 Doris 构建的统一数仓，替换了原来由 Spark、Hive、Kudu、Hbase、Phoenix 组成的旧架构，架构大大简化。
• 数据湖联邦查询：通过外表的方式联邦分析位于 Hive、Iceberg、Hudi 中的数据，在避免数据拷贝的前提下，查询性能大幅提升。

架构

Doris 的架构很简洁，只设 FE(Frontend)、BE(Backend)两种角色、两个进程，不依赖于外部组件，方便部署和运维，FE、BE 都可线性扩展。

• FE（Frontend）：存储、维护集群元数据；负责接收、解析查询请求，规划查询计划，调度查询执行，返回查询结果。主要有三个角色：

  Leader 和 Follower：主要是用来达到元数据的高可用，保证单节点宕机的情况下，元数据能够实时地在线恢复，而不影响整个服务。

  Observer：用来扩展查询节点，同时起到元数据备份的作用。如果在发现集群压力非常大的情况下，需要去扩展整个查询的能力，那么可以加 observer 的节点。observer 不参与任何的写入，只参与读取。

• BE（Backend）：负责物理数据的存储和计算；依据 FE 生成的物理计划，分布式地执行查询。

  数据的可靠性由 BE 保证，BE 会对整个数据存储多副本或者是三副本。副本数可根据需求动态调整。

这两类进程都是可以横向扩展的，单集群可以支持到数百台机器，数十 PB 的存储容量。并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠。这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。

• MySQL Client：Doris 借助 MySQL 协议，用户使用任意 MySQL 的 ODBC/JDBC 以及 MySQL 的客户端，都可以直接访问 Doris。

• Broker：Broker 为一个独立的无状态进程。封装了文件系统接口，提供 Doris 读取远端存储系统中文件的能力，包括 HDFS，S3，BOS 等

技术概述

• 在使用接口方面，Doris 采用 MySQL 协议，高度兼容 MySQL 语法，支持标准 SQL，用户可以通过各类客户端工具来访问 Doris，并支持与 BI 工具的无缝对接。

• 在存储引擎方面，Doris 采用列式存储，按列进行数据的编码压缩和读取，能够实现极高的压缩比，同时减少大量非相关数据的扫描，从而更加有效利用 IO 和 CPU 资源。

• Doris 也支持比较丰富的索引结构，来减少数据的扫描：

  • Sorted Compound Key Index，可以最多指定三个列组成复合排序键，通过该索引，能够有效进行数据裁剪，从而能够更好支持高并发的报表场景
  • Z-order Index ：使用 Z-order 索引，可以高效对数据模型中的任意字段组合进行范围查询
  • Min/Max ：有效过滤数值类型的等值和范围查询
  • Bloom Filter ：对高基数列的等值过滤裁剪非常有效
  • Invert Index ：能够对任意字段实现快速检索

• 在存储模型方面，Doris 支持多种存储模型，针对不同的场景做了针对性的优化：

  • Aggregate Key 模型：相同 Key 的 Value 列合并，通过提前聚合大幅提升性能
  • Unique Key 模型：Key 唯一，相同 Key 的数据覆盖，实现行级别数据更新
  • Duplicate Key 模型：明细数据模型，满足事实表的明细存储

• 在查询引擎方面，Doris 采用 MPP 的模型，节点间和节点内都并行执行，也支持多个大表的分布式 Shuffle Join，从而能够更好应对复杂查询。

  

  Doris 查询引擎是向量化的查询引擎，所有的内存结构能够按照列式布局，能够达到大幅减少虚函数调用、提升 Cache 命中率，高效利用 SIMD 指令的效果。在宽表聚合场景下性能是非向量化引擎的 5-10 倍。

  

  Doris 采用了 Adaptive Query Execution 技术， 可以根据 Runtime Statistics 来动态调整执行计划，比如通过 Runtime Filter 技术能够在运行时生成生成 Filter 推到 Probe 侧，并且能够将 Filter 自动穿透到 Probe 侧最底层的 Scan 节点，从而大幅减少 Probe 的数据量，加速 Join 性能。Doris 的 Runtime Filter 支持 In/Min/Max/Bloom Filter。

• 在优化器方面 Doris 使用 CBO 和 RBO 结合的优化策略，RBO 支持常量折叠、子查询改写、谓词下推等，CBO 支持 Join Reorder。目前 CBO 还在持续优化中，主要集中在更加精准的统计信息收集和推导，更加精准的代价模型预估等方面。

编译与安装

安装 Doris，需要先通过源码编译，主要有两种方式：使用 Docker 开发镜像编译（推荐）、直接编译。

直接编译的方式，可以参考官网：https://doris.apache.org/zh-CN/installing/compilation.html

使用 Docker 开发镜像编译

（1）下载源码并解压

wget https://dist.apache.org/repos/dist/dev/incubator/doris/0.15/0.15.0-rc04/apache-doris-0.15.0-incubating-src.tar.gz
1

解压到/opt/software/:

tar -zxvf apache-doris-0.15.0-incubating-src.tar.gz -C /opt/software
1

（2）下载 Docker 镜像

docker pull apache/incubator-doris:build-env-for-0.15.0
1

可以通过以下命令查看镜像是否下载完成。

docker images
1

（3）挂载本地目录运行镜像

以挂载本地 Doris 源码目录的方式运行镜像，这样编译的产出二进制文件会存储在宿主机中，不会因为镜像退出而消失。同时将镜像中 maven 的 .m2 目录挂载到宿主机目录，以防止每次启动镜像编译时，重复下载 maven 的依赖库。

docker run -it \ -v /opt/software/.m2:/root/.m2 \ -v /opt/software/apache-doris-0.15.0-incubating-src/:/root/apache-doris-0.15.0-incubating-src/ \
apache/incubator-doris:build-env-for-0.15.0
1
2

（4）切换到 JDK 8

alternatives --set java java-1.8.0-openjdk.x86_64
alternatives --set javac java-1.8.0-openjdk.x86_64
export JAVA_HOME=/usr/lib/jvm/java-1.8.0
1
2
3

（5）准备 Maven 依赖

编译过程会下载很多依赖，可以将我们准备好的 doris-repo.tar.gz 解压到 Docker 挂载的对应目录，来避免下载依赖的过程，加速编译。

tar -zxvf doris-repo.tar.gz -C /opt/software
1

也可以通过指定阿里云镜像仓库来加速下载：

vim /opt/software/apache-doris-0.15.0-incubating-src/fe/pom.xml
在<repositories>标签下添加：
<repository>
    <id>aliyun</id>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>
vim /opt/software/apache-doris-0.15.0-incubating-src/be/pom.xml
在<repositories>标签下添加：
<repository>
    <id>aliyun</id>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
</repository>
1
2
3
4
5
6
7
8
9
10
11
12

（6）编译 Doris

sh build.sh
1

如果是第一次使用 build-env-for-0.15.0 或之后的版本，第一次编译的时候要使用如下命令：

sh build.sh --clean --be --fe --ui
1

因为 build-env-for-0.15.0 版本镜像升级了 thrift(0.9 -> 0.13)，需要通过–clean 命令强制使用新版本的 thrift 生成代码文件，否则会出现不兼容的代码。

安装要求

软硬件需求

（1）Linux 操作系统要求

（2）软件需求

（3）开发测试环境

（4）生产环境

注1：

1. FE 的磁盘空间主要用于存储元数据，包括日志和 image。通常从几百 MB 到几个 GB 不等。
2. BE 的磁盘空间主要用于存放用户数据，总磁盘空间按用户总数据量 * 3（3副本）计算，然后再预留额外 40% 的空间用作后台 compaction 以及一些中间数据的存放。
3. 一台机器上可以部署多个 BE 实例，但是只能部署一个 FE。如果需要 3 副本数据，那么至少需要 3 台机器各部署一个 BE 实例（而不是1台机器部署3个BE实例）。生产环境建议 FE 和 BE 分开。 多个FE所在服务器的时钟必须保持一致（允许最多5秒的时钟偏差）
4. 测试环境也可以仅适用一个 BE 进行测试。实际生产环境，BE 实例数量直接决定了整体查询延迟。
5. 所有部署节点关闭 Swap。

注2：FE 节点的数量

1. FE 角色分为 Follower 和 Observer，（Leader 为 Follower 组中选举出来的一种角色，以下统称 Follower）。
2. FE 节点数据至少为1（1 个 Follower）。当部署 1 个 Follower 和 1 个 Observer 时，可以实现读高可用。当部署 3 个 Follower 时，可以实现读写高可用（HA）。
3. Follower 的数量必须为奇数，Observer 数量随意。
4. 根据以往经验，当集群可用性要求很高时（比如提供在线业务），可以部署 3 个 Follower 和 1-3 个 Observer。如果是离线业务，建议部署 1 个 Follower 和 1-3 个 Observer。

• 通常我们建议 10 ~ 100 台左右的机器，来充分发挥 Doris 的性能（其中 3 台部署 FE（HA），剩余的部署 BE）
• 当然，Doris的性能与节点数量及配置正相关。在最少4台机器（一台 FE，三台 BE，其中一台 BE 混部一个 Observer FE 提供元数据备份），以及较低配置的情况下，依然可以平稳的运行 Doris。
• 如果 FE 和 BE 混部，需注意资源竞争问题，并保证元数据目录和数据目录分属不同磁盘。

端口需求

注：

1. 当部署多个 FE 实例时，要保证 FE 的 http_port 配置相同。
2. 部署前请确保各个端口在应有方向上的访问权限。

集群部署

生产环境建议 FE 和 BE 分开。

（1） 创建目录并拷贝编译后的文件

• 创建目录并拷贝编译后的文件

  mkdir /opt/module/apache-doris-0.15.0
  cp -r /opt/software/apache-doris-0.15.0-incubating-src/output 
  /opt/module/apache-doris-0.15.0
  1
  2
  3

• 修改可打开文件数（每个节点）

  sudo vim /etc/security/limits.conf
  * soft nofile 65535
  * hard nofile 65535
  * soft nproc 65535
  * hard nproc 65535
  1
  2
  3
  4
  5

  重启永久生效，也可以用 ulimit -n 65535 临时生效。

（2）部署 FE 节点

• 创建 fe 元数据存储的目录

  mkdir /opt/module/apache-doris-0.15.0/doris-meta
  1

• 修改 fe 的配置文件

  vim /opt/module/apache-doris-0.15.0/fe/conf/fe.conf
  #配置文件中指定元数据路径：
  meta_dir = /opt/module/apache-doris-0.15.0/doris-meta
  #修改绑定 ip（每台机器修改成自己的 ip）
  priority_networks = 192.168.8.101/24
  1
  2
  3
  4
  5

  注意：

  • 生产环境强烈建议单独指定目录不要放在 Doris 安装目录下，最好是单独的磁盘（如果有 SSD 最好）。
  • 如果机器有多个 ip, 比如内网外网, 虚拟机 docker 等, 需要进行 ip 绑定，才能正确识别。
  • JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。

• 启动 hadoop1 的 FE

  /opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --daemon
  1

（3）配置 BE 节点

• 分发 BE

  scp -r /opt/module/apache-doris-0.15.0/be hadoop2:/opt/module
  scp -r /opt/module/apache-doris-0.15.0/be hadoop3:/opt/module
  1
  2

• 创建 BE 数据存放目录（每个节点）

  mkdir /opt/module/apache-doris-0.15.0/doris-storage1
  mkdir /opt/module/apache-doris-0.15.0/doris-storage2
  1
  2

• 修改 BE 的配置文件（每个节点）

  vim /opt/module/apache-doris-0.15.0/be/conf/be.conf
  #配置文件中指定数据存放路径：
  storage_root_path = /opt/module/apache-doris-0.15.0/doris-storage1;/opt/module/apache-doris-0.15.0/doris-storage2 #修改绑定 ip（每台机器修改成自己的 ip）
  priority_networks = 192.168.8.101/24
  1
  2
  3
  4

注意：

• storage_root_path 默认在 be/storage 下，需要手动创建该目录。多个路径之间使用英文状态的分号;分隔（最后一个目录后不要加）。

• 可以通过路径区别存储目录的介质，HDD 或 SSD。可以添加容量限制在每个路径的末尾，通过英文状态逗号，隔开，如：

  说明：

  /home/disk1/doris.HDD,50，表示存储限制为 50GB，HDD;

  /home/disk2/doris.SSD,10，存储限制为 10GB，SSD；

  /home/disk2/doris，存储限制为磁盘最大容量，默认为 HDD

• 如果机器有多个 IP, 比如内网外网, 虚拟机 docker 等, 需要进行 IP 绑定，才能正确识别。

（4）在 FE 中添加所有 BE 节点

BE 节点需要先在 FE 中添加，才可加入集群。可以使用 mysql-client 连接到 FE。

• 安装 MySQL Client：

  • 创建目录：

    mkdir /opt/software/mysql-client/
    1

  • 上传相关以下三个 rpm 包到/opt/software/mysql-client/：

    mysql-community-client-5.7.28-1.el7.x86_64.rpm

    mysql-community-common-5.7.28-1.el7.x86_64.rpm

    mysql-community-libs-5.7.28-1.el7.x86_64.rpm

  • 检查当前系统是否安装过 MySQL

    sudo rpm -qa|grep mariadb
    #如果存在，先卸载
    sudo rpm -e --nodeps mariadb mariadb-libs mariadb-server
    1
    2
    3

  • 安装

    rpm -ivh /opt/software/mysql-client/*
    1

• 使用 MySQL Client 连接 FE：

  mysql -h hadoop1 -P 9030 -uroot
  1

  默认 root 无密码，通过以下命令修改 root 密码。

  SET PASSWORD FOR 'root' = PASSWORD('000000');
  1

• 添加 BE

  ALTER SYSTEM ADD BACKEND "hadoop1:9050";
  ALTER SYSTEM ADD BACKEND "hadoop2:9050";
  ALTER SYSTEM ADD BACKEND "hadoop3:9050";
  1
  2
  3

• 查看 BE 状态

  SHOW PROC '/backends';
  1

（5）启动 BE

• 启动 BE（每个节点）

  /opt/module/apache-doris-0.15.0/be/bin/start_be.sh --daemon
  1

• 查看 BE 状态

  mysql -h hadoop1 -P 9030 -uroot -p
  SHOW PROC '/backends';
  1
  2

  Alive 为 true 表示该 BE 节点存活。

（6）部署 FS_Broker（可选）

Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

• 编译 FS_BROKER 并拷贝文件

  进入源码目录下的 fs_brokers 目录，使用 sh build.sh 进行编译

  拷贝源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点上，改名为: apache_hdfs_broker。建议和 BE 或者 FE 目录保持同级。

• 启动 Broker

  /opt/module/apache-doris-0.15.0/apache_hdfs_broker/bin/start_broker.sh --daemon
  1

• 添加 Broker：要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节点列表。

  使用 mysql-client 连接启动的 FE，执行以下命令：

  mysql -h hadoop1 -P 9030 -uroot -p
  ALTER SYSTEM ADD BROKER broker_name "hadoop1:8000","hadoop2:8000","hadoop3:8000";
  1
  2

  其中 broker_host 为 Broker 所在节点 ip；broker_ipc_port 在 Broker 配置文件中的conf/apache_hdfs_broker.conf。

• 查看 Broker 状态

  使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：

  SHOW PROC "/brokers";
  1

  注：在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor（opens new window）。如需使用守护进程启动，在 0.9.0 及之前版本中，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号。从 0.10.0 版本开始，直接调用 sh start_xx.sh 启动即可。

扩容和缩容

Doris 可以很方便的扩容和缩容 FE、BE、Broker 实例。

FE 扩容和缩容

可以通过将 FE 扩容至 3 个以上节点来实现 FE 的高可用。

（1）使用 MySQL 登录客户端后，可以使用 sql 命令查看 FE 状态，目前就一台 FE

mysql -h hadoop1 -P 9030 -uroot -p
SHOW PROC '/frontends';
1
2

也可以通过页面访问进行监控，访问 8030，账户为 root，密码默认为空不用填写。

（2）增加 FE 节点

FE 分为 Leader，Follower 和 Observer 三种角色。 默认一个集群，只能有一个 Leader，可以有多个 Follower 和 Observer。其中 Leader 和 Follower 组成一个 Paxos 选择组，如果Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。Observer 同步Leader 的数据，但是不参加选举。

如果只部署一个 FE，则 FE 默认就是 Leader。在此基础上，可以添加若干 Follower 和Observer。

ALTER SYSTEM ADD FOLLOWER "hadoop2:9010";
ALTER SYSTEM ADD OBSERVER "hadoop3:9010";
1
2

（3）配置及启动 Follower 和 Observer

第一次启动时，启动命令需要添加参–helper leader 主机: edit_log_port：

• 分发 FE，修改 FE 的配置：

  scp -r /opt/module/apache-doris-0.15.0/fe hadoop2:/opt/module/apache-doris-0.15.0
  scp -r /opt/module/apache-doris-0.15.0/fe hadoop3:/opt/module/apache-doris-0.15.0
  1
  2

• 在 hadoop2 启动 Follower：

  /opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --helper hadoop1:9010 --daemon
  1

• 在 hadoop3 启动 Observer

  /opt/module/apache-doris-0.15.0/fe/bin/start_fe.sh --helper hadoop1:9010 --daemon
  1

（4）查看运行状态

使用 mysql-client 连接到任一已启动的 FE。

SHOW PROC '/frontends';
1

（5）删除 FE 节点命令

ALTER SYSTEM DROP FOLLOWER[OBSERVER] "fe_host:edit_log_port";
1

注意：删除 Follower FE 时，确保最终剩余的 Follower（包括 Leader）节点为奇数。

BE 扩容和缩容

（1）增加 BE 节点

在 MySQL 客户端，通过 ALTER SYSTEM ADD BACKEND 命令增加 BE 节点。

（2）DROP 方式删除 BE 节点（不推荐）

ALTER SYSTEM DROP BACKEND "be_host:be_heartbeat_service_port";
1

注意：DROP BACKEND 会直接删除该 BE，并且其上的数据将不能再恢复！！！所以我们强烈不推荐使用 DROP BACKEND 这种方式删除 BE 节点。当你使用这个语句时，会有对应的防误操作提示。

（3）DECOMMISSION 方式删除 BE 节点（推荐）

ALTER SYSTEM DECOMMISSION BACKEND "be_host:be_heartbeat_service_port";
1

• 该命令用于安全删除 BE 节点。命令下发后，Doris 会尝试将该 BE 上的数据向其他 BE 节点迁移，当所有数据都迁移完成后，Doris 会自动删除该节点。
• 该命令是一个异步操作。执行后，可以通过 SHOW PROC ‘/backends’; 看到该 BE 节点的 isDecommission 状态为 true。表示该节点正在进行下线。
• 该命令不一定执行成功。比如剩余 BE 存储空间不足以容纳下线 BE 上的数据，或者剩余机器数量不满足最小副本数时，该命令都无法完成，并且 BE 会一直处于isDecommission 为 true 的状态。
• DECOMMISSION 的进度，可以通过 SHOW PROC ‘/backends’; 中的 TabletNum 查看，如果正在进行，TabletNum 将不断减少。
• 该操作可以通过如下命令取消：CANCEL DECOMMISSION BACKEND “be_host:be_heartbeat_service_port”；取消后，该 BE 上的数据将维持当前剩余的数据量。后续 Doris 重新进行负载均衡。

Broker 扩容缩容

Broker 实例的数量没有硬性要求。通常每台物理机部署一个即可。Broker 的添加和删除可以通过以下命令完成：

ALTER SYSTEM ADD BROKER broker_name "broker_host:broker_ipc_port"; 
ALTER SYSTEM DROP BROKER broker_name "broker_host:broker_ipc_port"; 
ALTER SYSTEM DROP ALL BROKER broker_name;
1
2
3

Broker 是无状态的进程，可以随意启停。当然，停止后，正在其上运行的作业会失败，重试即可。