Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大规模数据_项目中集成开源大数据分析框架

Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL接口及多维分析（OLAP）能力以支持大规模数据，最初由eBay Inc. 开发并贡献到开源社区。它能在亚秒内查询PB级数据，并提供了标准的SQL接口和多维分析（OLAP）能力，使分析师和工程师能够快速地探索大规模数据。
Kylin的主要特点如下：
标准SQL接口：Kylin提供了一个标准SQL接口，使得用户可以方便地查询大规模数据。
多维分析（OLAP）：Kylin支持多维分析，这是数据仓库的一个重要特性。通过多维分析，用户可以从多个角度对数据进行探索和分析。
亚秒级查询：尽管Kylin处理的数据量级可以达到PB，但用户可以在亚秒内获得查询结果。
扩展性：Kylin设计为在Hadoop/Spark集群上运行，具有良好的扩展性。
轻量级：Kylin的安装和配置相对简单，不需要复杂的系统环境。
支持多种数据源：Kylin支持多种数据源，如MySQL、Oracle、PostgreSQL等。
数据湖友好的接口：Kylin的查询结果与原始数据文件系统（如HDFS）紧密集成，使得它可以直接读取湖中数据。
与BI工具集成：Kylin可以与多种BI工具集成，如Tableau、PowerBI、Superset等，使得用户可以方便地将Kylin作为数据源进行可视化分析。
元数据驱动：Kylin使用元数据来描述cube的统计信息，这使得添加新数据源变得相对简单。
支持增量更新：Kylin支持增量更新，这意味着当新数据加入到存储时，Kylin可以自动捕获这些变化并进行处理。
Apache Kylin的这些特性使其成为处理大规模数据的理想工具，特别是在需要快速分析和可视化大规模数据时。
Kylin(麒麟)是什么？我们听到过有麒麟芯片、麒麟OS等等，我们这个全名是叫Apache Kylin，是一个大数据分析的项目。
从名字上或许可以猜到，它来自中国，的确这也是我们想让世界知道的，有一群来自中国的工程师在向Hadoop贡献着这样一个独特的项目。
Apache Kylin 是在Hadoop之上的分布式的大数据分析引擎，它对外暴露的是标准SQL接口，支持TB到PB量级的数据，以秒级甚至亚秒级的时间返回响应。
2013年的时候，Kylin项目的创始人韩卿(Luke)，授命带着工程师研究这个难题，经过不断的尝试和摸索，Kylin探索出了在Hadoop之上做预计算、做Cube这条路线，这是之前没有人尝试过的。
最终这个项目在2014年10月在Github开源 。一个月之后项目被Apache接受成为其一个孵化器项目。
2015年11月份，经过Apache软件基金会（ASF）的投票，Kylin正式毕业，称为其大数据领域的一个顶级项目。值得一提的是，2015年的9月，Kylin获得 了美国InfoWorld评选的最佳开源大数据工具奖，同时获奖的还有Spark、Storm、Kafka等知名项目。
2016年3月, 由Apache Kylin主要开发人员组成的公司Kyligence成立，致力于Kylin在业界的推广和使用。
任何一个项目的诞生都有一定的背景和原因。
今天我们看到越来越多的企业正在使用Hadoop，正在把Hadoop作为他们的基础平台来管理和分析数据。
但是，企业在使用Hadoop的时候，往往发现有一个很大的Gap：
一方面，现有的分析系统或分析工具，不能很好支持Hadoop； Hadoop上的数据的体量是远远超过传统单机或者传统关系型数据库的体量，原有的系统接入Hadoop根本无法承受这么大的数据量。
此外这些遗留系统当初设计的时候就不是一个分布式的架构，没办法水平地扩容。
另一方面，对于数据使用者或者分析师，让他们直接使用Hadoop，写MapReduce或者Spark的任务，是难以接受的。此外，Hadoop主要是用于做批量运算， 通常需要几十分钟，最快也要几分钟，对于分析人员来说很难有一个好的使用体验；等几分钟才能看到结果数据，大大影响了他们的工作效率。
这个问题当年就是在eBay内部就被提出来，为此专门成立了一个项目。
怎么样用Kylin来构建大数据的分析平台？
很简单。Kylin部署和安装是非常方便的，我们称为非侵入式的安装。如果你已经有一套Hadoop，安装Kylin，只要增加一台机器，下载Kylin安装包运行就可以了，Kylin使用标准Hadoop API跟各种组件通信，不需要对现有的Hadoop安装额外的agent。
Kylin非常适合于做读写分离，原因是Kylin的工作负载有两种：
前者是Cube的计算，它是批量的、延时很长的计算，有密集的CPU和IO；
后者是在线的计算，是只读的，因为面向用户，它要求低延迟。Cube计算的过程会对集群带来很大的负载，从而产生噪音；所以我们有充足的理由进行读写分析。
Kylin很容易做到这一点，你可以把HBase单独部署成一个集群，在部署Kylin的节点上，hadoop 配置指向运算的集群，Hbase的配置指向HBase集群。通过这样的部署，可以确保Hbase的查询可以在很短时间完成，而计算集群可以跟公司其它部门分享。
现在目前Kylin使用中估计99%的情况是前面三种部署。还有一种更高级的部署是Staging和Prod多环境的部署。
Cube是怎么计算出来的？
这是在1.5之前版本中的的算法，也叫逐层算法。它会启动N+1轮MapReduce计算。
第一轮读取原始数据，去掉不相关的列，只保留相关的。同时对维度列进行压缩编码；以此处的四维Cube为例，经过第一轮计算出ABCD组合，我们也称为Base Cuboid；
此后的每一轮MapReduce，输入是上一轮的输出，以重用之前计算的结果，去掉要聚合的维度，算出新的Cuboid。以此往上，直到最后算出所有的Cuboid。
首先，毋庸置疑, Kylin对外暴露的是标准的SQL，支持大多数的SELECT语法，可以把各种工具和系统直接对接进来。这意味着当您使用Kylin的时候，不需要对业务系统做额外的改动。
第二，Kylin提供了各种接入方式， 如ODBC、JDBC; 如果您的系统不使用这两种方式，还可以使用RESTful API查询。
Kylin架构天生就非常适合Scale out，当查询量上升，单节点不能满足的时候，只需要相应增加Kylin的节点就可以满足。
针对企业对安全的要求，我们有不同力度做安全控制。Kylin有不同用户角色做不同的事情，此外在project和cube层级可以定义ACL帮助在更细力度掌控对cube的使用。
企业通常会使用目录服务来管理用户和群组，Kylin支持LDAP认证登录；如果对安全有更高的要求，Kylin还支持了基于SAML的单点登录(SingleSign-On)，只要做一些配置就可以完成，不需要额外开发。
Kylin提供了丰富的RESTful API，非常方便从用各种已有系统，如任务调度，监控等接入Kylin。Kylin的Web UI做到的事情通过API都可以做到。我们看到网易、美团等在Kylin之上开做了封装，跟他们各自的BI做深度的融合，就是利用了这个特性。