aws lakeformation跨账号共享数据的两种方式和相关配置

lakeformation授权方式分为

• 基于tag的授权
• 基于命名资源的授权

先决条件

跨账号共享数据的先决条件（命名资源和tag授权都需要）

分两种情况

1. 如果账户中没有glue data catalog资源策略，则LakeFormation跨账户授予将照常进行

2. 如果存在glue data catalog基于资源策略，则需要glue如下基于资源策略，授权RAM服务共享账号下的所有资源

   {
         "Effect": "Allow",
         "Action": [
         	"glue:ShareResource"
         ],
         "Principal": {
           "Service":"ram.amazonaws.com"
         },
         "Resource": [
             "arn:aws:glue:region:account-id:table/*/*",
             "arn:aws:glue:region:account-id:database/*",
             "arn:aws:glue:region:account-id:catalog"
         ]
   }
   1
   2
   3
   4
   5
   6
   7
   8
   9
   10
   11
   12
   13
   14

   如果同时使用tag和命名资源授权，则需要通过命令行附加glue基于资源的策略，注意--enable-hybrid参数

   aws glue put-resource-policy --policy-in-json glue-resource-policy --enable-hybrid TRUE
   1

命名资源的授权方式

需要撤销database和tables中授权条目IAMAllowedPrincipals的权限

关闭账号级别的setting设置（需要额外的PutDataLakeSettings权限）

向消费者账户授权，可以选择账号或者组织

选择指定database的所有表和所有权限，如果出现下面的报错，表明从报错信息来看，是由于 A 账号的 database 的 “Use only IAM access control for new tables in this database” 并未清除。

Error granting catalog permissions to ARNs: 797181602929. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.
1

授权所有表之后，授权条目没有database但是能看到是为什么？

可以授予对单个表的权限，也可以通过一次授予操作来授予对数据库中所有表的权限。如果您授予对数据库中所有表的权限，则将隐式授予对数据库的 DESCRIBE 权限。然后，数据库将显示在控制台的数据库页面上

如果在此之前没有关闭setting配置，则会出现授权失败的问题,需要关闭表的setting配置

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please remove Create Table Default Permissions from the database.
1
2

如果该数据库已经和IAM_ALLOWED_PRINCIPALS关联(没有撤销)，则会出现以下报错

Grant permissions failed
Error granting catalog permissions to ARNs: arn:aws-cn:organizations::362115975032:organization/o-vut99korpx. Unexpected error has occurred trying to grant permissions. Invalid Grant. Please revoke permission(s) for IAM_ALLOWED_PRINCIPALS on the database.
1
2

如果输出arn或账号后没有回车会出现没有选中principal的问题

Grant permissions failed
No principals selected. Please select a principal to grant permissions to.
1
2

授权成功后查看table权限出现消费者账号信息

在消费者账号的lakeformation控制台可以看到以下提示

Pending Resource Shares Alert
You have 3 pending resource share invitation(s) from Amazon Resource Access Manager (RAM). Open the RAM console  to view these invitations. For more information, see Accepting RAM invitations .
1
2

点击跳转接受请求（中国区控制台直接点击会跳转到美东区），手动跳转到Resource Access Manager服务

搜索之前分享的资源

最终的共享资源类型

在消费者账户的glue控制台已经能看到table了

此时已经能够在消费者账户找到表，但是athena查询无法找到database

在消费者账户创建database的资源链接（别名链接）

在athena中能够找到database，执行查询报错

忘记在lakeforamtion中注册location，此时尽管消费者账户能够通过lakeformation获取临时凭证，但是找不到s3数据

注册完毕后查询成功

注意事项

如果用户不是lakeformation管理员，则

• 单纯指定账户并不能在具体的user下看到表，仅仅是创建了RAM

• 因此需要在具体的user授权，才能看到database（此时复用了之前的RAM，不需要再接受了）

向外部账户或组织授予权限时，必须包括可授予的权限选项。只有外部账户中的数据湖管理员才能访问共享资源，直到管理员向外部账户中的其他主体授予对共享资源的权限。
1

将属于另一个 Amazon 账户的数据目录资源与账户共享后，作为数据湖管理员，可以向账户中的其他主体授予对共享资源的权限。但是，不能向其他 Amazon 账户或组织授予对该资源的权限

基于LF-tag的授权方式

使用 LF-TBAC 用于以下使用案例：

• 有大量的表和主体，数据湖管理员必须授予访问权限
• 想根据本体对数据进行分类并根据分类授予权限
• 数据湖管理员希望以松散耦合的方式动态分配权限

数据湖管理员具有隐式 Lake Formation 权限，可以创建、更新和删除 LF-Tag，将 LF-Tag 分配给资源，以及向主体授予 LF-Tag 权限。

基于标记的访问控制 – 使用此方法可以将一个或多个 LF 标记分配给数据目录数据库、表和列，并将对一个或多个 LF 标记的权限授予主体

LF tag支持跨账号共享

Currently, the LF-TBAC method supports granting cross-account permissions to IAM principals, Amazon Web Services accounts, organizations, and organizational units (OUs).

database和table都有名为LF tag的标签，在这里统一管理

可以在资源上（database和table）添加LF tag

• table默认继承database
• column默认继承table
  
  授权B账号可以操作的LF tag

在B账号直接查表，正常没有问题，但是表上没有命名方式的授权条目，表示授权是通过LF tag进行的

很明显，LF tag使用上要比命名标签更加简单

可以通过命令查看tag policy的结果

• 注意，必须是数据湖管理源才有权限，否则结果为空

$ aws lakeformation list-permissions --resource-type LF_TAG_POLICY

{
    "PrincipalResourcePermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "4xxxxxxxx6"
            },
            "Resource": {
                "LFTagPolicy": {
                    "CatalogId": "037xxxxxxx284",
                    "ResourceType": "DATABASE",
                    "Expression": [
                        {
                            "TagKey": "testk",
                            "TagValues": [
                                "testv"
                            ]
                        }
                    ]
                }
            },
            "Permissions": [
                "ALTER",
                "CREATE_TABLE",
                "DESCRIBE"
            ],
            "PermissionsWithGrantOption": [],
            "AdditionalDetails": {
                "ResourceShare": [
                    "arn:aws-cn:ram:cn-north-1:03xxxxxxxxx84:resource-share/f73648ea-5c1c-47f6-a63b-db1fadb23984"
                ]
            }
        },

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35

此外，在控制台也能看到对应的授权权限