消息系统 数据库binlog订阅和消费组件canal快速入门

一、什么是canal

1.定位

Canal是阿里巴巴开源的一款基于mysql数据库binlog增量日志分析提供数据订阅和消费功能的组件

2.原理

Canal原理

  • Canal模拟MySQL Slave协议,将自己伪装成MySQL Slave,将Master发送dump协议
  • Master将binlog同步到Slave(这里是Canal)
  • Canal解析binlog,可以做相关的后续操作,如同步发送到MQ,或同步到其他存储系

ElasticSearch Elasticsearch扫盲之二:ElasticSearch安装及集群部署

一、ElasticSearch的安装

各系统都有对应的二进制包,这里以Linux安装为例

1.下载二进制包
  1. wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz
2.解压二进制包
  1. tar -zxvf elasticsearch-6.6.0.tar.gz
3.将解压后的二进制表移动到目标位置

ElasticSearch ElasticSearch扫盲之一:ElasticSearch基本概念介绍

ElasticSearch是一款高扩展性的、开源的、全文搜索和分析引擎,那么我们先从以下几个方面来粗步了解它:

一、什么是搜索引擎

搜索引擎,即指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统.

小到一个网站的内部搜索功能,如博客文章的搜索,电商平台商品的搜索,大到提供全网搜索的网站,如谷歌、百度等

二、倒排

开发工具 监控中间件CAT快速入门

CAT是一款基于JAVA的分布式监控系统,其全称为Central Application Tracking

一、CAT的简要介绍

1.CAT的主要组成部分
(1) 服务端
  • cat-consumer : 实时分析从客户端提供的数据
  • cat-home : 展示数据分析结果的控制端
(2) 客户端
  • cat-client : 数据埋点
2.CAT支持的监控消息类型
(1).Transaction : 记录跨越系统

java 流量控制服务降级神器之Sentinel(1)为什么要选择Sentinel

一、Sentinel是什么

1.什么是Sentinel

Sentinel是阿里巴巴公司开源的面向分布式环境的轻量级流量控制框架

2.主要功能

Sentinel是以流量为切入点,通过多个维度来保护服务和维持系统稳定性的工具

(1)流量控制

用于调整网络包的发送数据,Sentinel相当于一个调配器:

  • 将随机的请求变成顺序的请求
  • 将不同格式的请求格式化为统一的格式的请求

Sentinel在流量控制中的作用

流量控制可以从以下几个角度来说明