大数据Flink（一百零九）：阿里云Flink的基本名称概念

文章目录

阿里云Flink的基本名称概念

一、层次结构

二、​​​​​​​​​​​​​​概念说明

1、工作空间（Workspace）

2、项目空间（Namespace）

3、资源（Resource）

4、草稿（Draft）

5、部署（Deployment）

6、作业实例（Job）

7、集群（Cluster）

8、连接器（Connector）

9、函数（Function）

10、元数据（Catalog）

11、角色（Role）

12、成员（User）

---

阿里云Flink的基本名称概念

一、​​​​​​​​​​​​​​层次结构

通过了解实时计算Flink版产品基本概念的层次结构，为后期作业开发、作业部署、作业运维和安全管理等操作提供思路。实时计算Flink版产品基本概念的层次结构如下图所示。

二、​​​​​​​​​​​​​​概念说明

1、工作空间（Workspace）

工作空间是Flink全托管管理项目空间的基本单元，每个工作空间的计算资源隔离，开发控制台相互独立。

重要：创建成功后工作空间名称和OSS存储地址不可修改。

2、项目空间（Namespace）

项目空间是Flink全托管管理作业的基本单元，我们的所有配置、作业、权限均在单个项目空间下进行。我们可以创建多个项目空间，为每个项目空间分配单独的资源和权限，实现多租户通过项目空间进行资源和权限的完全隔离。

3、资源（Resource）

Flink全托管的基本计量单位为Compute Unit（CU），即计算资源，1 CU=1核CPU+4 GiB内存+20 GB本地存储（放置日志、系统检查点等信息）。

CU对应实时计算底层系统的CPU计算能力。1个实时计算作业的CU使用量取决于此Job输入数据流的QPS、计算复杂程度，以及具体的输入数据分布情况。我们可以根据业务规模以及实时计算的计算能力，估算所需购买的资源数量。

4、草稿（Draft）

在实时计算Flink版SQL开发界面中创建的SQL作业称为草稿。该概念只适用于通过实时计算控制台方式进行作业开发，不适用于SDK方式。

5、部署（Deployment）

为了避免修改草稿中的内容会影响到线上正在运行的作业，提出了部署（Deployment）概念，目的是将开发和生产隔离，SQL开发中的作业草稿、上传的JAR和Python包都可以成为部署。通过部署使草稿变为线上作业，具有确定的流批属性。该概念只适用于通过实时计算控制台和SDK方式进行的作业开发。

6、作业实例（Job）

线上运行的一个作业实例，由部署生成，具有确定的流批属性。

7、集群（Cluster）

集群为作业上线后的运行环境，以内存速度和任何规模执行计算。Flink全托管支持Per-Job集群和Session集群两种集群模式，分别用于正式和测试开发环境。

8、连接器（Connector）

实时计算Flink版内置了丰富的连接器用于多种上下游的数据读写与同步，并支持上传和使用自定义连接器。

9、函数（Function）

实时计算Flink版提供函数功能，包括内置函数和自定义函数。

10、元数据（Catalog）

数据处理最关键的方面之一是管理元数据，实时计算Flink版的元数据提供了元数据信息，例如数据库、表、字段、分区以及数据库或其他外部系统中存储的信息。

11、角色（Role）

角色是实时计算Flink版安全功能中的概念，可以理解为拥有相同权限的用户的集合。多个用户可以同时存在于一个角色下，一个用户也可以隶属于多个角色。给角色授权后，该角色下的所有用户拥有相同的权限。

12、成员（User）

成员是实时计算Flink版安全功能中的概念，支持将阿里云账号和RAM用户添加为成员。非实时计算Flink项目所有者的成员必须被加入实时计算Flink项目中，且被授予相应的权限，才能操作实时计算Flink项目中的数据、作业、资源及函数。

---

• 声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/煮酒与君饮/article/detail/936567