Kafka Stream 总结与使用

一. KafKa Streams简介

• 功能强大

高拓展性，弹性，容错
有状态和无状态处理
基于事件时间的Window，Join，Aggergations

• 轻量级

无需专门的集群
没有外部以来
一个库，而不是框架

• 完全集成

100%的Kafka 0.10.0版本兼容
易于集成到现有的应用程序
程序部署无需手工处理(这个指的应该是Kafka多分区机制对Kafka Streams多实例的自动匹配)

• 实时性

毫秒级延迟
并非微批处理
窗口允许乱序数据
允许迟到数据

虽然Kafka Streams只是一个java库，但是它可以解决如下类似问题：

1.一次一件事件的处理而不是微批处理，延迟在毫秒级别；
2.有状态的处理，包括连接操作（join）和聚合操作
3.提供了必要的流处理原语，包括高级流处理DSL和低级流处理API。高级流处理DSL提供了常用的流处理变换操作，低级处理器API支持客户端自定义处理器并与状态仓库（state store）交互；
4.使用类似于DataFlow的模型来处理乱序数据的事件窗口问题；
5.分布式处理，有容错机制，可以快速容错；
6.有重新处理数据的能力；

二. KafKa Streams基本概念

Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。

1.流

流（stream）是Kafka Streams提供的最重要的抽象，它代表一个无限的、不断更新的数据集。一个流就是由一个有序的、可重放的、支持故障转移的不可变的数据记录（data record）序列，其中每个数据记录被定义成一个键值对。

2. KTable vs. KStream

KTable和KStream是Kafka Stream中非常重要的两个概念，它们是Kafka实现各种语义的基础。因此这里有必要分析下二者的区别。

KStream是一个数据流，可以认为所有记录都通过Insert only的方式插入进这个数据流里。而KTable代表一个完整的数据集，可以理解为数据库中的表。由于每条记录都是Key-Value对，这里可以将Key理解为数据库中的Primary Key，而Value可以理解为一行记录。可以认为KTable中的数据都是通过Update only的方式进入的。也就意味着，如果KTable对应的Topic中新进入的数据的Key已经存在，那么从KTable只会取出同一Key对应的最后一条数据，相当于新的数据更新了旧的数据。

以下图为例，假设有一个KStream和KTable，基于同一个Topic创建，并且该Topic中包含如下图所示5条数据。此时遍历KStream将得到与Topic内数据完全一样的所有5条数据，且顺序不变。而此时遍历KTable时，因为这5条记录中有3个不同的Key，所以将得到3条记录，每个Key对应最新的值，并且这三条数据之间的顺序与原来在Topic中的顺序保持一致。这一点与Kafka的日志compact相同。

三.Kafka API实战

需求1：测试消费端实时流输出

1.创建maven工程，导入kafka-stream依赖包

 <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka_2.11</artifactId>
      <version>2.0.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-streams</artifactId>
      <version>2.0.0</version>
    </dependency>
1
2
3
4
5
6
7
8
9
10

2.创建一个工程，代码如下：

public class MyStream {
    public static void main(String[] args) {
        Properties prop =new Properties();
        prop.put<
1
2
3