一、什么是canal

1.定位

Canal是阿里巴巴开源的一款基于mysql数据库binlog增量日志分析提供数据订阅和消费功能的组件

2.原理

• Canal模拟MySQL Slave协议，将自己伪装成MySQL Slave，将Master发送dump协议
• Master将binlog同步到Slave(这里是Canal)
• Canal解析binlog，可以做相关的后续操作，如同步发送到MQ,或同步到其他存储系

一张图概括kafka主要脚本的用法:

一、主题管理　

主题topic的管理主要通过kafka-topics.sh这个脚本进行操作

1.创建主题

./kafka-topics.sh --create --zookeeper <host:port> --topic <topicName> --partitions <partitionsNum> --replicati

一、Zookeeper集群环境搭建

请参考zookeeper集群搭建

二、kafka集群环境搭建

1.集群环境说明

注：以上3台服务器都是CentOS 7.x系统

2.在各节点上下载并安装kafka

wget http://mirro

注：本kafka系列文章是以2.x版本为例

一、kafka的概念和基本功能

1.什么是kafka

kafka是一个分布式的流处理平台，处理和管理数据流向的平台(消息队列只是其中一个功能)。它是由LinkedIn公司通过Scala语言开发，并捐献给Apache基金会的一个开源软件。

2.kafka的基本功能：

• 消息系统：有发布订阅功能的消息队列，此功能与ActiveMQ、RibbitMQ、Rocket

这里以RocketMQ4.3.0为例，另外这里以rocketmq单机版来做说明(集群版只是在配置上有所改变，在安装上并无差别)

一、安装RocketMQ

1.安装要求

• 系统要求：64位操作系统(推荐使用Linux和MacOS)
• 编程环境：JDK1.8+
• 包管理工具：Maven

2.源码安装

(1)下载源码并解压

wget http://mirror.bit.edu.cn/apache/rocketmq/4