在传统的关系型数据中，我们如果想要存储数据，首先得创建数据库和数据库表，定义数据库表的结构，那么在ElasticSearch中，是否需要这么做呢？
我们在向ElasticSearch存入数据时，系统会把我们自动创建index和mapping，当然我们也可以手动去创建index，并指定mapping，手动创建index，可以进行个性化的设置，在实际开发中是有必要的。

一、index的基本操作

注：这里以

一、什么是canal

1.定位

Canal是阿里巴巴开源的一款基于mysql数据库binlog增量日志分析提供数据订阅和消费功能的组件

2.原理

• Canal模拟MySQL Slave协议，将自己伪装成MySQL Slave，将Master发送dump协议
• Master将binlog同步到Slave(这里是Canal)
• Canal解析binlog，可以做相关的后续操作，如同步发送到MQ,或同步到其他存储系

一、ElasticSearch的安装

各系统都有对应的二进制包，这里以Linux安装为例

1.下载二进制包

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz

2.解压二进制包

tar -zxvf elasticsearch-6.6.0.tar.gz

3.将解压后的二进制表移动到目标位置

ElasticSearch是一款高扩展性的、开源的、全文搜索和分析引擎，那么我们先从以下几个方面来粗步了解它：

一、什么是搜索引擎

搜索引擎，即指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统．

小到一个网站的内部搜索功能，如博客文章的搜索，电商平台商品的搜索，大到提供全网搜索的网站，如谷歌、百度等

二、倒排

CAT是一款基于JAVA的分布式监控系统,其全称为Central Application Tracking

一、CAT的简要介绍

1.CAT的主要组成部分

(1) 服务端

• cat-consumer : 实时分析从客户端提供的数据
• cat-home : 展示数据分析结果的控制端

(2) 客户端

• cat-client : 数据埋点

2.CAT支持的监控消息类型

(1).Transaction : 记录跨越系统

一、Sentinel是什么

1.什么是Sentinel

Sentinel是阿里巴巴公司开源的面向分布式环境的轻量级流量控制框架

2.主要功能

Sentinel是以流量为切入点，通过多个维度来保护服务和维持系统稳定性的工具

(1)流量控制

用于调整网络包的发送数据,Sentinel相当于一个调配器:

• 将随机的请求变成顺序的请求
• 将不同格式的请求格式化为统一的格式的请求

流量控制可以从以下几个角度来说明

一、消息系统模块说明

• common : 公共模块(一般放到maven私服中，供生产者和消费者加载)
• producer :　生产者服务(一般单独部署，依赖common包)
• consumer:　消费者服务(一般单独部署，依赖common包)

本文通过一个用户注册的案例来介绍spring与kafka客户端集成的技术实现

• 用户注册：
  • 插入数据库等操作
  • 发送用户注册消息(生产者)，其他相关事务在用户注册后，发

在java中操作kafka，可以通过kafka-clients或者使用spring-kafka来实现．

本文简要说明一下spring-kafka的使用，通过下面一张图概览spring-kafka的使用

一、生产者　

1.kafka生产者的初始化

• kafka生产者主要通过KafkaTemplate对象来进行消息方面的操作
  • KafkaTemplate对象又是通过ProducerFactory对象来构造

单元测试代码一般放在src/test目录下，与src/main结构基本一致

一、添加测试依赖包

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <sc

一、broker主要配置

1.broker自身属性的配置

2.连接的zookeeper相关配置