赞
踩
**Kafka Stream**
定义: Kafka Stream是一个无限的,不断更新的数据集。流是一个有序的,可重放(反复的使用),不可变的容错序列,数据记录的格式是键值对(key-value)。
实现过程: 通过编写一个或多个的计算逻辑的处理器拓扑来实现的.
两个主要的处理器:
源处理器(Source Processor):源处理器是一个没有任何上游处理器的特殊类型的流处理器。它从一个或多个kafka主题 生成输入流。通过消费这些主题的消息并将它们转发到下游处理器。
Sink处理器:sink处理器是一个没有下游流处理器的特殊类型的流处理器。它接收上游流处理器的消息发送到一个指定的 Kafka主题。
处理器处理过程:由源处理器(source processor)将生产者发来的topic以流的形式进行传入,然后中间经过流计算,让sink处理器将流计算的结果发送给相应的消息订阅者.
存储方式,即流的传参类型:
KStream数据流:即是一段顺序的,可以无限长,不断更新的数据集。每一次操作都是向其中插入(insert)新数据。
KTable传统数据库:存储了大量状态(state)的表格。KTable负责抽象的,就是表状数据。每一次操作,都是更新插入.
使用:
一. 首先引入kafka-streams的依赖
二. 在配置文件中添加kafka的相关配置
三. KafkaStreamConfig的相关配置
1. new 一个map集合将StreamsConfig的bootstrap_servers_config作为键,当前的kafka的地址作为值进行绑定.当前的kafka地址, 可以写进配置文件中,
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。