0714-zookeeper集群配置，安装kafka及基本使用，postgresql数据的导入导出_kafka 1主2从

zookeeper集群配置

1. zookeeper的安装已经在前几天学过，集群我配置了三台。一主两从。ip分别是192.168.159.133（主）/131（从）/132（从）

2. 在zoo.cfg文件下加入：

   • server.1=192.168.159.133:2888:3888
   • server.2=192.168.159.131:2888:3888
   • server.3=192.168.159.132:2888:3888(每一台机器都需要加)

3. 在安装目录下Data,新建编辑myid文件：cd /usr/local/zookeeper/Data/data,vim myid，内容要和zoo.cfg中server后的数字对应

4. server.A=B:C:D其中

   • A：其中 A 是一个数字，表示这个是服务器的编号；
   • B：是这个服务器的 ip 地址；
   • C：Leader选举的端口；
   • D：Zookeeper服务器之间的通信端口。

5. 安装的bin下启动:./zkServer.sh start

6. 查看状态：./zkServer.sh status如图
   

安装kafka及基本使用

1. 安装集群：

   • 查询到zeekeeper版本和kafka版本有对应，我的是zookeeper2.4.14,相对应的kafka_2.12-2.3.0或者是kafka_2.12-2.3.1

   • 官网下载:(但是我在官网下载的速度很慢，所以就到以下这个网址下载)：wget http://mirrors.tuna.tsinghua.edu.cn/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz

   • 将压缩包先闯传入主服务器上：通过MobaXterm

   • 解压:tar -zvxf kafka_2.12-2.3.0.tgz -C /usr/local/kafka

   • 进入解压文件：cd /usr/local/kafka

   • 编辑配置文件：vim /usr/local/kafka/kafka_2.12-2.3.0/config/server.properties

     • broker.id=1 #集群每个服务不
     • 加host.name=本机Ip
     • listeners=PLAINTEXT://192.168.88.51:9092 #本机IP
     • log.dirs=/data/kafka/logs #日志路径
     • zookeeper.connect=192.168.133.251:2181,192.168.159.131:2181,192.168.159.132:2181

   • 在启动kafka之前，需要先启动zookeeper,关闭要先关闭kafka

   • 防止虚拟机内存不足：vi bin/kafka-server-start.sh

     • 找到：export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
     • 修改为：export KAFKA_HEAP_OPTS="-Xmx200m -Xms200m"

   • 后台启动：bin/kafka-server-start.sh -daemon config/server.properties &

   • 三个服务器都是用相同方法启动

2. 基本使用

   • 创建topic:bin/kafka-topics.sh --zookeeper 192.168.159.133:2181,192.168.159.131:2181,192.168.159.132:2181 --create --topic test --replication-factor 3 --partitions 3

   • 查看topic详情： bin/kafka-topics.sh --zookeeper 192.168.159.133:2181,192.168.159.131:2181,192.168.159.132:2181 --list

   • 开启Kafka producer生产者（三个机器都可以），模拟producer发送消息，用命令行的方式手动的往kafka的topic里面发送消息：bin/kafka-console-producer.sh --broker-list 192.168.159.133:2181,192.168.159.131:2181,192.168.159.132:2181 --topic test

   • 以上操作过程如图
     
     

postgresql数据的导入导出

- 进入postgresql的安装目录下的bin：cd /usr/local/monchickey/pgsql/
- 导出数据库：./pg_dump -U postgres(用户名) test（数据库名） > /root/333.sql
- 导出表数据：./pg_dump -U postgres（用户） -t student（表名） -f /root/5555.sql test（数据库名）
- 导入数据库：./psql -d postgis(数据库名) -f c:\db.sql（路径） postgres（用户名）
- 导入具体表：./psql -d postgis(数据库名) -f c:\ dump.sql（路径） postgres（用户名）
1
2
3
4
5

ql -d postgis(数据库名) -f c:\ dump.sql（路径） postgres（用户名）
- 导入数据库之前要先创建数据库：createdb newdatabase