Cloudera Impala官方文档中文翻译-1_impala中文文档

Impala官方文档中文翻译版

2014-08-25

参考链接：

Cloudera Impala User Guide：http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH5/latest/Impala/impala.html

 

1、Impala简介

1.1概述

         Impala提供针对Hadoop文件格式的高性能、低延迟SQL查询，快速的查询响应可以让我们能够对分析查询进行交互探索和微调，而传统的长时间批处理job无法与之相比。

         Impala与Hivemetastore database相集成，这两个组件之间可以共享database和table。与Hive的高度集成，与HiveQL语法的兼容，让你可以使用Impala或Hive进行表的创建、查询、加载数据等。

         Impala的核心优势如下：

l  Impala与现有的CDH生态系统集成，意味着data能通过CDH的不同手段进行存储、共享、访问。这也能避免数据储藏（avoid data silos）且最小化数据移动开销。

l  Impala提供对CDH中数据的访问，而无需懂得MapReduce编程需要的Java技能。Impala能直接从HDFS中获取数据。Impala也能提供访问HBase数据库系统数据的SQL前端。

l  Impala通常能在几分钟或者秒级时间内返回结果，而不像hive查询需要数十分钟或者数个小时。

l  Impala首创使用Parquet文件格式，它是一种面向数据仓库大规模查询优化的列存储格式。

 

1.2 Using cloudera impala

         Impala提供针对HDFS、HBase数据的快速、交互式查询。与Hive相比，除了使用相同的统一存储平台外，Impala也使用相同的元数据、SQL语法、ODBC驱动和用户界面Hue。这样就为实时或批处理查询提供了统一的平台。

1.2.1 Impala Benefits

         Impala提供了：

l  熟悉的SQL界面；

l  在Hadoop上进行交互查询的能力；

l  在集群环境中进行分布式查询，便于扩展和使用廉价机器；

l  在不同组件上无需copy、export/import而进行数据共享的能力，比如用Pig写—impala读，或者用impala写—Hive读；

l  针对大数据处理和分析的单系统，客户可以避免在modeling和ETL上的开销；

1.2.2 How impala work with CDH

         下图展示了Impala在Cloudera环境中的位置：

        

         Impala由以下组件构成：

l  Clients：Hue，ODBC客户端，JDBC客户端，impala shell都可以和impala交互。这些接口通常用于提交query或者完成管理任务，比如连接到impala；

l  Hiver Metastore：关于可访问数据的存储信息。例如，metastore可以让impala知道哪些数据库可用以及它们的结构。当你执行create，drop，alter schema objects，load data into tables等其他SQL语句，相关的元数据metadata变化自动广播给所有的impala nodes，这是通过catalog service实现的（impala 1.2引入）；

l  Cloudera Impala：这个进程，运行在DataNodes上，协调并执行query。每个impala实体可以receive，plan，coordinate query from impala client。查询被分发到impala nodes上，这些节点像worker一样，执行并行的查询片段；

l  HBase和HDFS：存储待查询的data；

 

Imala查询执行的流程：

1、  用户应用通过ODBC,JDBC发送SQL查询给Impala。用户应用可以连接到任何一个impalad节点，该impalad节点成为这个query的协调者；

2、  Impala解析query，分析并决定impalad实体需要执行什么tasks。执行会针对优化效率进行plan；

3、  Impalad实体访问本地HBase，HDFS服务获取数据；

4、  每个impalad返回数据给协调者impalad，协调者返回result给client；

1.2.3 Impala的主要特点

         Impala支持：

l  Hive Query语言的大部分常见特征，如select，joins和聚集函数；

l  HDFS和HBase存储，包含：

HDFS文件格式：Text file，SequenceFile，RCFile，Avro file，Parquet；

压缩编码：Snappy，GZIP，Deflate，BZIP；

l  常见的Hive接口：

JDBC driver；

ODBC driver；

Hue Beeswax，和新的impala query UI；

l  Impala命令行接口；

l  Kerberos授权；

 

1.3 Impala概念和架构

1.3.1 Impala Server组件

         Impalaserver是一个分布式的，大规模并行处理（MPP）的数据库引擎。它包括不同的守护进程，运行在CDH集群中特定的主机上。各个components如下：

The Impala Daemon

         这是ImpalaServer的核心组件，即运行在集群每个node上的impalad守护进程。它负责读写数据文件，接受impala-shell、Hue、JDBC、ODBC传来的query，对查询进行并行化处理，并分发work给集群的每个节点，传递中间结果给协调者节点。

         你可以查询给任何一个impalad节点，该节点变为协调者节点。其他节点传递部分结果给协调者，协调者构建最终结果。在实际中，为了负载均衡，你可以提交不同查询给不同的impalad节点。

         Impalad进程会与statestore进行通信，确认哪些节点是健康的，可以接受新的work。

         每当任何impala节点创建，修改，删除任何类型的对象或者插入，加载数据通过impala执行时，所有的Impalad都会收到catalogd守护进程发来的广播消息。

 

The impala Statestore

         Statestore组件检查impalad的健康状况，并不断传递它的发现给每个impalad。它由一个statestored守护进程代表，仅仅需要运行在集群的一个节点上。如果一个impala节点掉线了，statestore通知所有其他节点以便未来的查询可以避免向该坏节点发送请求。

         由于statestore的目的是在出错时提供帮助，故它对于impala集群正常操作并不重要。如果statestore停止了或者变的不可达了，其他节点会继续运行，继续分发work；只是集群变的不太健壮了，试想如果有节点在statestore掉线后失效。当statestore恢复正常后，它再次和其他节点建立通信，并恢复它的监控功能。

 

The Impala Catalog Service

         Catalogservice组件在所有节点中传递metadata的变化。它由catalogd进程代表，仅需要运行在一个节点上。由于请求是通过statestore进程传递的，故通常把statestored进程和catalogd进程运行在同一个节点上。

         该组件取代了对REFRESH和INVALIDATEMETADATA语句的需求。通常，如果你发出CREATE DATABASE, DROP DATABASE, CREATE TABLE, ALTER TABLE, 或者DROP TABLE语句执行，你需要在其他任何一个节点上执行INVALIDATE METADATA，以便你能获取到最新的改变。类似地，如果你在一个节点上进行INSERT操作，那么你需要在其他节点执行REFRESH table_name，才能进行query。Catalog service是你不在需要这么做，但是前提是你的更新语句是在impala上执行的，如果是在hive中执行的，那么你仍然需要在某一个impala节点（不需要在所有的impala节点上）上执行REFRESH, INVALIDATE操作。

         默认情况下，启动时metadata加载和缓存是异步进行的，故impala可以立即接受request。如果想等待metadata加载完毕在接受查询，那么可以配置catalogd的启动参数--load_catalog_in_background=false。

Note：在impala 1.2.4或者更新版中，在hive中创建一个新的table后，你可以给INVALIDATEMETADATA加上table name参数，这样可以只更新该表的元数据，而不必重新加载所有的元数据。

 

1.3.2 Programming Impala Applications

         Impala的核心开发语言是SQL。你也可以使用Java或者其他语言通过JDBC，ODBC与impala交互。对于特定类型的分析，你可以提供自己编写的UDF函数。

Impala SQL语言总览

         ImpalaSQL语言从HiveQL演化而来。目前，Impala SQL支持HiveQL语句、数据类型、内建函数的一个子集。

         对于来自传统数据库背景的人，下面的特征可能看起来很熟悉：

l  Impala SQL集中于query，只包含很少的DML。没有UPDATE和DELETE语句。过期数据通常被丢弃（通过DROP TABLE或者ALTER TABLE…DROP PARTITION语句）或者被替换（INSERTREPLACE语句）；

l  所有的数据加载通过INSERT语句完成，通常是通过其他表的查询来大批量插入数据（insert data in bulk by querying from other tables）。有两个变种，INSERTINTO是插入到现有数据后面，INSERT OVERWRITE是替换一个table或者partition的全部内容（类似于TRUNCATE TABLE followed by a new INSERT）。没有INSERT …VALUES这种插入一行的用法；

l  通常构建table和数据文件在其他环境中，然后绑定impala以便进行实时查询。相同的数据文件和table元数据在Hadoop的不同组件中共享；

l  由于Hadoop和Impala集中于大数据上的数据仓库风格的操作，Impala SQL包含一些传统数据库系统导入数据的风格，如你可以创建一个table，它读取逗号分隔的文本文件，可以在CREATE TABLE语句中指定分隔符。你可以创建external table，读取已经存在的数据文件，但是无需移动转换；

l  由于impala读取大量的可能未经整理的或者不可预见的数据，故它没有对string数据类型强加长度限制。例如，你可以定义一个STRING类型的列，而不用CHAR(1)或者VARCHAR(64)；

l  对于查询密集的应用，你会发现熟悉的 joins，built-in functions，用于处理string，number，date，aggregate function，subquery和比较操作符例如IN()和BETWEEN；

l  从数据仓库来看，你能发现这也有partitioned tables；

l  在impala 1.2或更高版本中，UDFs让你在SELECT和INSERT…SELECT语句中进行自定义的比较和转换逻辑；

 

Impala Programming Interfaces总览

         你可以连接并提交查询给impalad通过：

l  Impala-shell交互命令解释器；

l  Apache Hue基于web的用户接口；

l  JDBC

l  ODBC

通过在非Linux平台上的JDBC，ODBC应用，你可以在异构环境中使用Impala。你也可以使用多种BI工具与Impala进行连接。

每个impalad守护进程运行在不同的节点，监听几个接受请求的端口。来自impala-shell和Hue的请求使用同一个端口到达impalad。Impalad为JDBC，ODBC请求监听不同的端口。

1.3.3 How Impala Fits into the Hadoop Ecosystem

         Impala利用许多Hadoop中熟悉的组件，它可以与其他Hadoop组件交换数据，既可以作为消费者也可以作为生产者，它可以灵活地融入你的ETL，ELT管道中。

How Impala works with Hive

         impala一个主要的的目标就是使SQLon Hadoop足够快，有效率地适用于新类型用户并开辟Hadoop新的用例类型。实际上，它利用了已有的Hive框架，这是许多Hadoop用户已经执行长时间运行、面向批处理的SQL查询的平台。

         特别地，Impala在传统的MySQL或者PostgreSQL中保存table定义，就是metastore，Hive也在相同的数据库中保存这类数据。因此，Impala能访问由Hive定义或加载过的table，只要所有的列使用Impala支持的数据类型、文件格式和压缩编码。

         最初关注查询特征和性能意味着Impala用SELECT能读取的数据类型要比它用INSERT能写入的数据类型多。为了查询Avro，RCFile，SequenceFile文件格式，你可以使用Hive加载这类数据。

         Impala查询优化器也能利用tablestatistics和cloumn statistics。原来使用ANALYZE TABLE在Hive中收集这类信息，在impala 1.2.2以后，使用impala的COMPUTE STATS语句替代，该语句需要的设置更少，更可靠更快，不需要在impala-shell和Hive shell中进行切换。

Impala Metadata和Metastore总览

         Impala利用metastore维护着table定义信息。Impala也跟踪数据文件低级特性的其他metadata：即HDFS中block的物理位置。

         对于一个有大量数据and/or许多分区的table来说，获取所有的metadata可能很耗时。因此，每个impala节点缓存着所有这些元数据，便于针对这些表的未来查询重用这些元数据。

         如果数据表或者其中的数据被更新，所有其他的impalad进程必须收到最新的元数据，以便在新的查询到来之前代替过时的缓存数据。在impala1.2之后，对于所有在impala中提交的DDL和DML语句的元数据更新是由catalogd进程协调自动进行的。

         对于通过Hive提交的DDL和DML，或者HDFS中进行的手动更改，依然需要使用REFRESH（新数据加到现有table中）语句或者INVALIDATE METADATA（新建table，drop table，进行HDFS rebalance操作，删除数据文件）语句在impala中进行元数据刷新。执行INVALIDATE METADATA会自动获取metastore跟踪的所有table的元数据。如果你知道只有特定的table在impala之外被改变了，你可以使用REFRESH table_name只更新这些表的元数据。

How Impala Users HDFS

         Impala使用HDFS作为主要数据存储介质。Impala依赖HDFS提供的冗余机制来防止单节点的硬件或者网络中断。Impala表格数据时存放在HDFS中的数据文件，使用熟悉的HDFS文件格式和压缩编码。当某个目录中的数据文件提供给新的table，impala会读取该目录所有的数据，忽略文件名。新的数据被添加到有impala控制名字的文件中。

How Impala Users HBase

         HBase也是impala可选的存储介质。它是建立在HDFS之上的数据库存储系统，没有内置的SQL支持。许多Hadoop用户已经用它存储大量数据，通过在impala中定义table并映射到HBase中等价的table，你可以通过Impala查询HBase的数据表内容，甚至进行同时包含Impala和HBase数据表的join查询。