【kafka资源权限】_kafka transactional 权限

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

本文主要介绍kafka的权限控制相关的资源类型以及针对不同资源的权限。

一、资源类型

kafka的ACL可对如下资源进行控制。

1、cluster资源，对集群的相关操作需要相应的权限，如果授权不通过，会报： CLUSTER_AUTHORIZATION_FAILED错误。

2、topic资源，对topic的操作需要相应的权限，如果授权不通过，会报：TOPIC_AUTHORIZATION_FAILED错误。

3、consumer-group资源，表示消费者组，对消费者组的操作，比如将某消费者加到消费者组需要具有相应的权限，如果授权不通过，会报：GROUP_AUTHORIZATION_FAILED错误。

4、transactionalid资源，kafka的事务ID，表示事务的相关操作，如果授权不通过，会报：TRANSACTIONAL_ID_AUTHORIZATION_FAILED错误。

5、delegationtoken资源，集群的委托令牌。

二、不同资源所对应的权限

1.cluster资源权限

2.topic资源权限

---

3.consumer-group资源权限

---

4.transactionalid资源权限

---

5.delegationtoken资源权限

三、topic的创建、生产以及消费操作所对应的权限

1、创建topic

1、创建topic需要用户具有creat和describe

权限，如果需要对已有的topic的相关配置进行查询和修改，需要Alter Configs和Describe Configs权限。如果需要进行扩容操作，需要Configure权限。如果不需要该topic可以获取delete权限进行删除。

2、生产操作

生产消息过程：

• Kafka 会将发送消息包装为 ProducerRecord 对象， ProducerRecord 对象包含了目标主题和要发送的内容，同时还可以指定键和分区。在发送 ProducerRecord 对象前，生产者会先把键和值对象序列化成字节数组，这样它们才能够在网络上传输。
• 接下来，数据被传给分区器。如果之前已经在 ProducerRecord 对象里指定了分区，那么分区器就不会再做任何事情。如果没有指定分区 ，那么分区器会根据 ProducerRecord 对象的键来选择一个分区，紧接着，这条记录被添加到一个记录批次里，这个批次里的所有消息会被发送到相同的主题和分区上。有一个独立的线程负责把这些记录批次发送到相应的 broker 上。
• 服务器在收到这些消息时会返回一个响应。如果消息成功写入 Kafka，就返回一个 RecordMetaData 对象，它包含了主题和分区信息，以及记录在分区里的偏移量。如果写入失败，则会返回一个错误。生产者在收到错误之后会尝试重新发送消息，如果达到指定的重试次数后还没有成功，则直接抛出异常，不再重试。

涉及到的资源操作：

1、topic：用户进行生产消息时，消息最后是落到topic的分区上的，因此需要具有写入数据的topic的生产权限，此外还需要describe权限。

2、transactionalid：当客户端开启事务特性时，会对客户端请求和Coordinator请求进行鉴权，建议是当开启事务特性时，给用户同事授予“publish”和“Describe”权限。

3、cluster：

​ 1）当集群配置了自动创建topic，当客户端向服务还未创建的topic发送消息时，会检查集群是否具有cluster资源的creat权限。

​ 2）当数据写入leader分区之后，需要进行主从数据同步，因此需要cluster的Cluster Action权限，更新元数据。

​ 3）当生产者需要写入topic中的数据不重复，则需要获取cluster的Idempotent Write幂等写入权限。

3、消费操作

消费消息过程：

• cousumer 向boker 集群提交连接请求，返回 broker controller 的通信url。
• consumer 指定要消费的topic 后， 向broker bontroller提交 消息请求。
• broker controller 将consumer 分配一个或者多个 partition leader 。并且将对应的parittion的offset 发送给 consumer。
• consumer 消费完消息后，消费者会向broker 发送一个消息被消费的反馈。也就是提交 该消息的offset。
• 当broker 接收到 offset 后，会更新到对应的consumer_offset中。

涉及到的资源操作：

1、topic：消费者需要消费指定topic中的消息的，因此需要具有topic的Consume权限，此外还需要describe权限。

2、consumer-group：消费者是以consumer-group消费者组的方式工作的，一个或者多个消费者组成消费者组消费一个topic，每个分区在同一时间消费者组中只能有一个消费者消费。因此消费消息时，需要获取consumer-group的Consume权限。

3、cluster：

​ 1）当数据消费后，需要进行主从数据同步，因此需要cluster的Cluster Action权限，更新元数据。

备注

1、当指定用户具有生产消费权限时，该用户会默认具有describe权限，也可以进行新增describe权限。

2、当指定用户单独拒绝消费权限时，需要排除describe权限，因为生产时还需要describe权限。【单独拒绝生产同理】

3、如果测试hadoop用户的消费策略的话，需要在all-consumergroup策略中添加用户hadoop。否则，即使给了hadoop用户消费权限，会报消费者组异常，用户访问消费者组权限认证失败。权限拒绝的报错信息应该是topic认证失败。所以消费的权限认证应该是先进行consumergroup的权限认证，然后是topic权限的认证。

总结

以上内容主要介绍了kafka权限相关的资源类型，不同资源所涉及的权限配置以及topic创建生产和消费操作所需要的权限，为之后实现kafka权限配置做准备工作。