【Hive】内部表（Managed Table）和外部表（External Table）相关知识点_hive external table

在Hive中，有两种类型的表：外部表（External Table）和内部表（Managed Table）。它们在数据存储和管理方式上存在一些重要的区别。
本文就来对这些知识做一个总结。
1、如何在hive中创建内部表和外部表？
2、内部表和外部表的一些区别。
3、怎么查看一个表是内部表还是外部表？
4、如何选择内部表还是外部表？它们的应用场景是什么？

一、如何在Hive中创建外部表和内部表？

在Hive中，可以使用CREATE TABLE语句创建外部表和内部表。下面是创建外部表和内部表的示例：

创建外部表：

CREATE EXTERNAL TABLE external_table_name (
  column1 data_type,
  column2 data_type,
  ...
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ','
LOCATION '/path/to/table';
1
2
3
4
5
6
7
8

在上述示例中，注意关键字EXTERNAL，需要指定外部表的名称（external_table_name），定义表的列和数据类型，指定行格式（例如，使用逗号作为字段分隔符），并提供外部表的位置（LOCATION）。

创建内部表：

CREATE TABLE internal_table_name (
  column1 data_type,
  column2 data_type,
  ...
)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';
1
2
3
4
5
6
7

在上述示例中，需要指定内部表的名称（internal_table_name），定义表的列和数据类型，以及行格式信息（例如，使用逗号作为字段分隔符）。创建表时可以根据自己的需求选择适当的列和数据类型，并根据实际情况调整行格式和字段分隔符等设置。

创建外部表时，通过指定LOCATION来指示Hive外部表的数据存储位置，Hive将在该位置查找数据文件。而创建内部表时，Hive会自动为表创建一个默认的数据目录，并将数据存储在该目录中。

无论是外部表还是内部表，你都可以根据需要定义其他属性（如分区、存储格式、表注释等），并在CREATE TABLE语句中添加相应的选项和设置。

请注意，在创建表之前，需要确保已经在Hive中创建了相应的数据库（使用CREATE DATABASE语句）并在使用表之前切换到正确的数据库（使用USE database_name语句）。

note：
在Hive中，内部表的数据存储位置是由Hive自动管理的，因此在创建内部表时不能直接指定LOCATION参数来指定数据存储的路径。内部表的数据将被存储在Hive管理的默认位置，通常是在HDFS上的一个目录。

当创建内部表时，Hive会自动为表创建一个默认的数据目录，并将数据存储在该目录中。这个默认的数据目录的路径是根据Hive的配置和表的元数据来确定的，我们无法直接指定它的位置。

二、内部表和外部表的一些区别

①数据存储位置：

• 内部表：内部表的数据存储在Hive管理的默认位置（通常是HDFS上的一个目录），称为表的数据目录或表的位置。Hive会完全管理内部表的数据，包括数据的加载、存储和清理。

• 外部表：外部表的数据存储在用户指定的位置，可以是HDFS上的任意目录，也可以是本地文件系统或远程存储系统。Hive仅在元数据中记录外部表的结构和位置，而不管理实际的数据文件。

②数据的生命周期：

• 内部表：对于内部表，当删除表时，Hive会自动删除表的数据和元数据，包括数据目录中的所有文件。
• 外部表：对于外部表，当删除表时，Hive仅删除元数据，而不会删除实际的数据文件。这意味着外部表的数据在表被删除后仍然可以保留，并且可以在之后重新创建表时重新使用。

③数据管理责任：

• 内部表：Hive对内部表的数据管理负责，包括数据的加载、存储和清理。它会自动创建和维护数据目录，并处理数据的格式和分区等细节。
• 外部表：外部表的数据由用户自行管理。Hive仅负责记录外部表的元数据，例如表的结构、分区信息和数据位置。用户需要自己加载和维护数据文件，并确保数据的一致性和完整性。

④数据丢失风险：

• 内部表：由于Hive管理内部表的数据，因此在表的删除或重建时，数据可能会被意外删除或覆盖。如果没有备份数据，数据丢失的风险较高。
• 外部表：外部表的数据由用户管理，因此在删除表后数据仍然可用。这为数据的保护和恢复提供了更大的灵活性和控制权。

⑤数据导入和导出：

• 内部表：对于内部表，可以使用Hive的LOAD DATA语句将数据加载到表中，并使用INSERT INTO语句将数据导出到其他表或文件。
• 外部表：对于外部表，可以使用Hive的LOAD DATA语句将数据加载到表中，也可以直接将数据文件放置在外部表的位置。数据导出的方式与内部表类似。

总的来说，内部表适合由Hive完全管理和控制的数据，适用于需要对数据进行更细粒度的管理和操作的场景。而外部表适合用户自行管理数据的场景，提供了更大的灵活性和数据保护的能力。选择使用内部表还是外部表取决于数据处理和管理的需求以及对数据的控制程度。

三、如何判断一个表是内部表还是外部表？

在Hive中，可以通过执行DESCRIBE FORMATTED命令来查看表的详细信息，并从中确定一个表是内部表还是外部表。具体步骤如下：

#如果表位于特定数据库中，切换到所需的数据库
USE database_name;
#获取表的详细信息
DESCRIBE FORMATTED table_name;
1
2
3
4

在输出结果中，查找Table Type字段的值。该字段指示表的类型，即内部表还是外部表。
如果Table Type的值是MANAGED_TABLE，则表示该表是内部表（Managed Table）。
如果Table Type的值是EXTERNAL_TABLE，则表示该表是外部表（External Table）。

四、内部表和外部表的使用场景

内部表和外部表在Hive中具有不同的应用场景，根据您的需求可以选择适合的表类型：

内部表的应用场景：

1. 数据完全受控： 如果您希望Hive完全管理表的数据，包括数据的加载、存储和清理，可以选择内部表。内部表适合需要对数据进行更细粒度管理和控制的场景。

2. 临时数据处理： 如果您只需要在Hive中进行临时数据处理，并且不需要长期保留数据，可以使用内部表。内部表在表被删除时会自动删除表的数据和元数据，适合用于临时数据分析和处理。

3. 更高的性能： 由于内部表的数据存储在Hive管理的默认位置，Hive可以更好地优化查询和执行计划，从而提供更高的查询性能和效率。

外部表的应用场景：

1. 数据共享和多系统集成： 如果您的数据需要与其他系统进行集成或共享，可以使用外部表。外部表的数据存储在用户指定的位置，可以是HDFS上的任意目录，也可以是本地文件系统或远程存储系统。这使得外部表的数据可以与其他系统方便地进行共享和访问。

2. 数据保留和可恢复性： 如果您希望在删除表后仍然保留数据，或者需要在重新创建表时重新使用数据，可以选择外部表。外部表仅删除元数据，而不会删除实际的数据文件，因此数据在表被删除后仍然可以保留。

3. 数据的灵活管理： 外部表允许用户自行管理数据文件，包括加载、更新和删除文件。这种灵活性使得外部表适合需要手动处理和管理数据的场景，例如从外部源加载数据或与外部数据源进行交互。

内部表和外部表都有各自的优势和适用场景，需要根据具体需求和数据管理方式选择适合的表类型。