最新聊聊 Kafka： 在 Linux 环境上搭建 Kafka_kafka启动linux

1.2.3 编辑/etc/profile，使配置生效

设置环境变量ZOO_LOG_DIR，指定Zookeeper保存日志的位置；

ZOOKEEPER_PREFIX指向Zookeeper的解压目录；

将Zookeeper的bin目录添加到PATH中：

export ZOOKEEPER_PREFIX=/opt/zookeeper-3.4.14

export PATH=$PATH:$ZOOKEEPER_PREFIX/bin

export ZOO_LOG_DIR=/var/riemann/zookeeper/log

配置完以后再生效配置：

source /etc/profile

1.2.4 启动Zookeeper，确认Zookeeper的状态

zkServer.sh start

至此，zookeeper安装成功。

1.3 Kafka 的安装与配置

1.3.1 上传kafka_2.12-1.0.2.tgz到服务器并解压

tar -zxf kafka_2.12-1.0.2.tgz -C /opt

1.3.2 配置环境变量并生效

vim /etc/profile

export KAFKA=/opt/kafka_2.12-1.0.2

export PATH=$PATH:$KAFKA/bin

source /etc/profile

1.3.3 配置/opt/kafka_2.12-1.0.2/config中的server.properties文件

vi /opt/kafka_2.12-1.0.2/config/server.properties

Kafka连接Zookeeper的地址，此处使用本地启动的Zookeeper实例

连接地址是localhost:2181

后面的 myKafka 是Kafka在Zookeeper中的根节点路径

配置kafka存储持久化数据目录

log.dirs=/var/riemann/kafka/kafka-logs

创建上述持久化数据目录

mkdir -p /var/riemann/kafka/kafka-logs

1.4 启动Kafka

进入Kafka安装的根目录，执行如下命令：

kafka-server-start.sh …/config/server.properties

启动成功，可以看到控制台输出的最后一行的started状态：此时kafka安装成功。

1.5 重新开一个窗口，查看Zookeeper的节点

1.6 此时Kafka是前台模式启动，要停止，使用Ctrl+C

如果要后台启动，使用命令：

kafka-server-start.sh -daemon config/server.properties

查看Kafka的后台进程：

ps -ef | grep kafka

停止后台运行的Kafka：

kafka-server-stop.sh

二、生产与消费

---

查看zookeeper状态，zookeeper启动成功，再启动kafka。

2.1 kafka-topics.sh 用于管理主题

查看命令的帮助信息

[root@master1 bin]# kafka-topics.sh

Create, delete, describe, or change a topic.

Option Description

---

–alter Alter the number of partitions,

replica assignment, and/or

configuration for the topic.

–config <String: name=value> A topic configuration override for the

topic being created or altered.The

following is a list of valid

configurations:

cleanup.policy

compression.type

delete.retention.ms

file.delete.delay.ms

flush.messages

flush.ms

follower.replication.throttled.

replicas

index.interval.bytes

leader.replication.throttled.replicas

max.message.bytes

message.format.version

message.timestamp.difference.max.ms

message.timestamp.type

min.cleanable.dirty.ratio

min.compaction.lag.ms

min.insync.replicas

preallocate

retention.bytes

retention.ms

segment.bytes

segment.index.bytes

segment.jitter.ms

segment.ms

unclean.leader.election.enable

See the Kafka documentation for full

details on the topic configs.

–create Create a new topic.

–delete Delete a topic

–delete-config <String: name> A topic configuration override to be

removed for an existing topic (see

the list of configurations under the

–config option).

–describe List details for the given topics.

–disable-rack-aware Disable rack aware replica assignment

–force Suppress console prompts

–help Print usage information.

–if-exists if set when altering or deleting

topics, the action will only execute

if the topic exists

–if-not-exists if set when creating topics, the

action will only execute if the

topic does not already exist

–list List all available topics.

–partitions <Integer: # of partitions> The number of partitions for the topic

being created or altered (WARNING:

If partitions are increased for a

topic that has a key, the partition

logic or ordering of the messages

will be affected

–replica-assignment <String: A list of manual partition-to-broker

broker_id_for_part1_replica1 : assignments for the topic being

broker_id_for_part1_replica2 , created or altered.

broker_id_for_part2_replica1 :

broker_id_for_part2_replica2 , …>

–replication-factor <Integer: The replication factor for each

最全的Linux教程，Linux从入门到精通

======================

1. linux从入门到精通(第2版)

2. Linux系统移植

3. Linux驱动开发入门与实战

4. LINUX 系统移植 第2版

5. Linux开源网络全栈详解 从DPDK到OpenFlow

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以点击这里获取！

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！