kafka集群环境搭建

kafka集群环境搭建

一、Zookeeper集群环境搭建

请参考zookeeper集群搭建

二、kafka集群环境搭建

1.集群环境说明
ID IP 端口
1 192.168.0.200 9092
2 192.168.0.201 9092
3 192.168.0.202 9092

注:以上3台服务器都是CentOS 7.x系统

2.在各节点上下载并安装kafka
  1. wget http://mirrors.hust.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
  2. tar -zxvf kafka_2.11-2.1.0.tgz
  3. mv kafka_2.11-2.1.0 kafka
3.各节点修改集群配置文件config/server.properties
  • broker.id : 在集群中的ID标识(各节点不能相同)
  • listeners : 监听的broker集群节点
  • zookeeper.connect : 连接的zookeeper集群信息
(1)第一个节点配置
  1. broker.id=0
  2. listeners=PLAINTEXT://192.168.0.200:9092
  3. zookeeper.connect=192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181
(2)第二个节点配置
  1. broker.id=1
  2. listeners=PLAINTEXT://192.168.0.201:9092
  3. zookeeper.connect=192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181
(3)第三个节点配置
  1. broker.id=2
  2. listeners=PLAINTEXT://192.168.0.202:9092
  3. zookeeper.connect=192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181
4.各节点启动kafka
  1. cd /opt/kafka
  2. bin/kafka-server-start.sh -daemon config/server.properties

注:当启动时提示内存不足时,可以修改内存大小,在bin/kafka-server-start.sh中修改:

  1. export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

注:默认是分配1G内存,如果是虚拟机,可能没有这么大内存,可以减小分配的内存,修改成如下:

  1. export KAFKA_HEAP_OPTS="-Xmx256m -Xms256m"
5.编写服务管理脚本
  1. #!/bin/bash
  2. # chkconfig: - 85 15
  3. #description:kafka service management
  4. KAFKA_PATH=/opt/kafka
  5. KAFKA_BIN=${KAFKA_PATH}/bin
  6. KAFKA_CONFIG=${KAFKA_PATH}/config/server.properties
  7. function start() {
  8. cd ${KAFKA_BIN}
  9. ./kafka-server-start.sh -daemon ${KAFKA_CONFIG}
  10. }
  11. function stop() {
  12. cd ${KAFKA_BIN}
  13. ./kafka-server-stop.sh
  14. }
  15. case "$1" in
  16. start)
  17. start
  18. ;;
  19. stop)
  20. stop
  21. ;;
  22. restart)
  23. stop
  24. ;;
  25. restart)
  26. stop
  27. sleep 3
  28. start
  29. ;;
  30. *)
  31. echo $"Usage : $0 {start | stop | restart}"
  32. exit 2
  33. esac