当前位置:   article > 正文

Kafka Stream_kafkastream

kafkastream
                                                                        **Kafka Stream**
  定义:  Kafka Stream是一个无限的,不断更新的数据集。流是一个有序的,可重放(反复的使用),不可变的容错序列,数据记录的格式是键值对(key-value)。
 实现过程:  通过编写一个或多个的计算逻辑的处理器拓扑来实现的.
 两个主要的处理器:    
  源处理器(Source Processor):源处理器是一个没有任何上游处理器的特殊类型的流处理器。它从一个或多个kafka主题  生成输入流。通过消费这些主题的消息并将它们转发到下游处理器。
 Sink处理器:sink处理器是一个没有下游流处理器的特殊类型的流处理器。它接收上游流处理器的消息发送到一个指定的          Kafka主题。
处理器处理过程:由源处理器(source processor)将生产者发来的topic以流的形式进行传入,然后中间经过流计算,让sink处理器将流计算的结果发送给相应的消息订阅者.
 存储方式,即流的传参类型:  
 KStream数据流:即是一段顺序的,可以无限长,不断更新的数据集。每一次操作都是向其中插入(insert)新数据。
 KTable传统数据库:存储了大量状态(state)的表格。KTable负责抽象的,就是表状数据。每一次操作,都是更新插入.
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10

使用:
一. 首先引入kafka-streams的依赖
二. 在配置文件中添加kafka的相关配置
三. KafkaStreamConfig的相关配置
1. new 一个map集合将StreamsConfig的bootstrap_servers_config作为键,当前的kafka的地址作为值进行绑定.当前的kafka地址, 可以写进配置文件中,

本文内容由网友自发贡献,转载请注明出处:【wpsshop博客】
推荐阅读
相关标签
  

闽ICP备14008679号