赞
踩
Doris由百度大数据部研发 ,之前叫百度 Palo,2018年贡献到 Apache 社区后,更名为 doris 。本博客主要从业务角度(我们为什么会选择使用它,如何用)来对doris 进行简要介绍。
Doris是一个MPP的OLAP系统,以较低的成本提供在大数据集上的高性能分析和报表查询功能。
MPP (Massively Parallel Processing),即大规模并行处理。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到最终的结果(与Hadoop相似)。
MPPDB是将运算分布到节点中独立运算后进行结果合并(分布式计算),但由于依据的理论和采用的技术路线不同而有各自的优缺点和适用范围。我们现在大数据存储与处理趋势:用MPP处理PB级别的、高质量的结构化数据,同时为应用提供丰富的SQL和事物支持能力;
首先我们将Doris和Kylin进行对比,来探讨我们在什么情况下会选择使用Doris。当然此处对比,仅仅是方便我们知道在什么场景下该如何选择,技术本身是没有好坏之分的。
http://doris.apache.org/master/zh-CN/downloads/downloads.html
https://github.com/apache/incubator-doris/releases
目前0.14.0是最新的release版本
可实体机编译也可容器编译。
1.3配置修改
fe.conf
在fe/conf目录下修改fe.conf 配置:修改fe内存及创建目录
1、网络修改:priority_networks = 192.168.244.129/24
2、注意默认的原数据目录为:Default value is ${DORIS_HOME}/doris-meta
3、内存修改:JAVA_OPTS 及 JAVA_OPTS_FOR_JDK_9
be.conf
1、在fe/conf目录下修改fe.conf 配置,创建be目录及修改系统文件打开数
2、修改linux系统文件打开数
1)/etc/security/limits.conf 加入
* hard nofile 65536
* soft nofile 65536
* soft nproc 4096
* hard nproc 4096
1.4服务起停
1、启动FE:在fe的bin目录下执行./start_fe.sh --daemon
2、启动BE:在be的bin目录下执行./start_be.sh --daemon
3、增加 FE 节点:
ALTER SYSTEM ADD FOLLOWER "host:port";
或
ALTER SYSTEM ADD OBSERVER "host:port";
4、增加 BE 节点:
ALTER SYSTEM ADD BACKEND "192.168.244.130:9500";
当测试出现如下图代表搭建成功
详细可参考官网地址:http://doris.apache.org/
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。