Storm集成Kafka简单实现_storm直连kafka 不通过zk

Storm集成Kafka简单实现

kafka有比较大的吞吐量，不仅在实时流数据处理上有很大的优势，更大的优势还在于它的缓存机制，storm做实时流数据的处理也是很不错的框架，比较合适的使用场景在于kafka对流数据的缓存，然后storm作为kafka的消费者，kafka作为storm的spout实现对实时数据的处理

• 以下为storm集成kafka简单实现的demo
• 由于kafka和storm都依赖zookeeper配置通讯，所以节点需要开启三个组件的进程

一、引入maven依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>top.it1002</groupId>
    <artifactId>StormDemo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <dependencies>
        <dependency>
            <groupId>org.apache.storm</groupId>
            <artifactId>storm-core</artifactId>
            <version>1.2.2</version>
        </dependency>

        <!-- 整合kafka -->
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka_2.11</artifactId
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20