nginx安装ngx_kafka_module插件直接对接kafka集群

安装环境：
        centos 6.5 64位
所需软件版本：
	jdk1.8.0_171
	nginx-1.12.2.tar.gz
	kafka_2.11-0.10.2.1.tgz
	zookeeper-3.4.5.tar.gz
	scala-2.11.4.tgz
 
所需服务器：4台（三台安装scala、zookeeper和kafka，一台安装nginx）
 
【A:部署kafka集群】
	1.安装jdk
		yum install java-1.8.0-openjdk* -y
	2.安装scala
		tar -zxvf scala-2.11.4.tgz -C /usr/local/src
	3.进入Scala解压目录，进行重命名
		cd /usr/local/src
		mv scala-2.11.4 scala
	1.安装zookeeper
		tar -zxvf zookeeper-3.4.5.tar.gz -C /usr/local/src
	2.进入到zk的配置文件目录下,重命名文件夹并修改zookeeper配置文件
		cd /usr/local/src
		mv zookeeper-3.4.5 zk
		cd zk
		mv zoo_sample.cfg zoo.cfg
	3.更改zoo.cfg两个地方：
		dataDir=/usr/local/src/zk/data
		文件最后新增：
		server.0=172.27.16.13:2888:3888
		server.1=172.27.16.12:2888:3888
		server.2=172.27.16.11:2888:3888
	4.返回到zk目录下，新建data目录并进入
		mkdir data
		cd data/
	5.新建myid文件
		vi myid
	6.设置id，与server.0一样，这里第一台设置为0（3台机器，按0、1、2依次分配）
 
	7.在另外两台机器上重复以上步骤，唯一不同的是myid文件依次设置不同的id
 
	1.安装kafka上传kafka安装包并解压
		tar -zxvf kafka_2.11-0.10.2.1.tgz -C /usr/local/src
	2.更改文件夹名称
		mv kafka_2.11-0.10.2.1 kafka
	3.进入到kafka安装包config目录修改配置文件
		cd kafka/config/
		vi server.properties
		在这个版本中主要更改3个地方
		broker.id=0（3台机器，按0、1、2依次分配）
		delete.topic.enable=true（命令行删除topic【真正删除还需要在/tmp/目录下删除kafka-logs文件夹】）
		advertised.listeners=PLAINTEXT://172.27.16.12:9092（设置为本机的ip）
		zookeeper.connect=172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181（zookeeper地址）
	4.在另外两台机器上重复以上步骤，唯一不同的是broker.id依次设置不同的id
 
	【启动kafka集群】
		1.进入到kafka安装目录
			cd /usr/local/src/kafka/bin
		2.启动kafka
			./kafka-server-start.sh -daemon /usr/local/src/kafka/config/server.properties
		3.创建topic
			./kafka-topics.sh --create --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --replication-factor 1 --partitions 1 --topic track
			./kafka-topics.sh --create --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --replication-factor 1 --partitions 1 --topic user
		4.查看topic描述
			./kafka-topics.sh --describe --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic track
			./kafka-topics.sh --describe --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic user
		5.查看所有topic
			./kafka-topics.sh --list --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181
 
		6.删除topic【真正删除还需要在/tmp/目录下删除kafka-logs文件夹，然后重启kafka】
			./kafka-topics.sh --delete --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic track
		7.关闭kafka服务
			./kafka-server-stop.sh
	
 
		8.创建一个消费者
			./kafka-console-consumer.sh --bootstrap-server 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic track --from-beginning
		9.创建一个生产者
			./kafka-console-producer.sh --broker-list 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic track
		10.此时在生产者窗口下输入信息，消费者即可收到消息
		
		补充：
			启动一个命令行的生产者
			./kafka-console-producer.sh --broker-list 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic xiaoniu
 
			启动一个命令行的消费者
			./kafka-console-consumer.sh --zookeeper 172.27.16.13:2181,172.27.16.12:2181,172.27.16.11:2181 --topic my-topic --from-beginning
 
			消费者连接到borker的地址【这个和命令行消费者不同】
			./kafka-console-consumer.sh --bootstrap-server 172.27.16.13:9092,172.27.16.12:9092,172.27.16.11:9092 --topic xiaoniu --from-beginning 
 
 
	至此kafka集群安装完毕
 
 
【B:安装nginx及kafka插件】
	1.上传nginx安装包
	2.解压nginx
		tar -zxvf nginx-1.12.2.tar.gz -C /usr/local/src/
 
	3.安装git
		yum install -y git
 
	4.切换到/usr/local/src目录，然后将kafka的c客户端源码clone到本地
		cd /usr/local/src
		git clone https://github.com/edenhill/librdkafka
 
	5.进入到librdkafka，然后进行编译
		cd librdkafka
		yum install -y gcc gcc-c++ pcre-devel zlib-devel
		./configure
		make && make install
 
	6.安装nginx整合kafka的插件，进入到/usr/local/src，clone nginx整合kafka的源码
		cd /usr/local/src
		git clone https://github.com/brg-liuwei/ngx_kafka_module
 
	7.进入到nginx的源码包目录下（编译nginx，然后将将插件同时编译）
		cd /usr/local/src/nginx-1.12.2
		./configure --add-module=/usr/local/src/ngx_kafka_module/
		make
		make install
 
	8.修改nginx的配置文件
		主要修改两个地方:
		    kafka;
		    kafka_broker_list 118.25.213.188:9092 118.24.12.122:9092 118.25.213.36:9092;
		以及
		    location = /kafka/track {
			kafka_topic track;
	            }
		    #这是转发另外一个topic，可以不设置
		    location = /kafka/user {
			kafka_topic user;
		    }
	9.启动nginx
		sbin/nginx
	10.查看nginx进程
		ps -ef | grep nginx
		netstat -anpt | grep nginx
 
	【启动nginx，报错，找不到kafka.so.1的文件】
		error while loading shared libraries: librdkafka.so.1: cannot open shared object file: No such file or directory
			解决办法：加载so库
		echo "/usr/local/lib" >> /etc/ld.so.conf
		ldconfig
 
	11.启动成功后，向kafka集群发送消息测试
		curl localhost/kafka/track -d "message send to kafka track topic"
 
 
【补充以及报错解决：】
	kafka创建topic报错解决：
		创建topic的paration大于可用的boker：
		创建topic 指定partitions 为5  而 borker只有一个
		 ./bin/kafka-topics.sh -zookeeper idc007128:2181,idc007124:2181,idc007123:2181  -topic test -replication-factor 2 -partitions 5 -create 
		 ##问题
		Error while executing topic command replication factor: 2 larger than available brokers: 1
		解决：
		 -replication-factor 1  副本数为1
		./bin/kafka-topics.sh -zookeeper idc007128:2181,idc007124:2181,idc007123:2181  -topic test -replication-factor 1 -partitions 1 -create  
		Created topic "test".
 
	启动kafka报内存不足的错误
		修改kafka-server-start.sh启动参数
		export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"