Hadoop环境搭建学习之kafka(5)_kafka兼容hadoop的版本

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

最近存放机台Recipe的磁盘空不够，里面的机台Recipe实在多，以为19年之前的不用了清空了，谁知道19年之前产线还要，一个个根据文件名筛选太麻烦了，每一段时间都要清理太烦了，公司太小气也不给扩容，在想将RMS系统与半导体设备通讯操作产生的日志信息，机台报警信息，Recipe的存储放到大数据Hadoop里，Hadoop有高容灾，高扩展等一系列优势，不需要停机就能动态扩容，而且普通配置的电脑就可以了

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、kafka是什么？

Kafka 是一种分布式的，基于发布/订阅的消息系统（redis也可以实现该功能），主要设计目标如下：
以时间复杂度为 O(1) 的方式提供消息持久化能力，即使对 TB 级以上数据也能保证常数时间复杂度的访问性能。
高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 100K 条以上消息的传输。
支持 Kafka Server 间的消息分区，及分布式消费，同时保证每个 Partition 内的消息顺序传输。
同时支持离线数据处理和实时数据处理。

二、使用步骤

1.环境准备

操作系统：Windows 10
虚拟机：VMware 15.5
集群系统：Centos 7 64位
Zookeeper版本：zookeeper-3.4.10
Hadoop版本：hadoop-3.3.1
HBase版本：Hbase2.4.4
Hive版本：Hive3.1.2
Kafka版本：kafka_2.12-3.0.0.tgz

2.单点部署安装kafka

代码如下（示例）：

# 创建一个新目录root
mkdir -p /data/kafka
chown hadoop:hadoop /data/kafka

su hadoop

cd /data/kafka
tar -zxvf kafka_2.12-3.0.0.tgz
# 重命名一下文件夹
mv kafka_2.12-3.0.0 app

cd /data/fkafka/app/conf

# 配置server.properties
vim server.properties
# 如果是kafka集群，需配置全局id
broker.id=10
############################# Socket Server Settings #############################
# 可以不设置，kafka自动获取hostname
listeners=PLAINTEXT://nn:9092
advertised.listeners=PLAINTEXT://nn:9092
############################# Log Basics #############################
# 最终存放消息的路径,建议放在kafka组件目录下，方便管理
log.dirs=/data/fkafka/kafka-logs
num.partitions=3

############################# Zookeeper #############################
zookeeper.connect=hadoop01:2181,hadoop02:2181,hadoop03:2181/kafka-zk
# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=6000

# 考虑到后面项目中，对kafka在zk上方便更为管理，用了新的配置：zookeeper.connect=nn:2181,dn1:2181,dn2:2181/kafka-zk

# 启动kafka进程
kafka-server-start.sh /data/fkafka/app/config/server.properties

hadoop01:jps
4609 QuorumPeerMain
14436 JournalNode
2454 HMaster
2552 Jps
14185 DataNode
15017 NodeManager
2365 Kafka
13983 NameNode
14879 ResourceManager
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

---

总结

下次kafka集群部署与测试