ElasticSearch Elasticsearch扫盲之四: ElasticSearch的index的Settings配置参数详解

ElasticSearch索引配置settings的配置项可分为以下几种类型:

一、静态配置项

所谓静态配置项就是在创建index时指定,创建后不能再修改

1.分片相关的配置
配置项 功能 备选值 默认值 其他说明
index.number_of_shards 当前index拥有的主分片数 5 最大为1024
index.shard.check_on_startup 在启动时是否检

ElasticSearch Elasticsearch扫盲之三:ElasticSearch文档管理之index操作

在传统的关系型数据中,我们如果想要存储数据,首先得创建数据库和数据库表,定义数据库表的结构,那么在ElasticSearch中,是否需要这么做呢?
我们在向ElasticSearch存入数据时,系统会把我们自动创建index和mapping,当然我们也可以手动去创建index,并指定mapping,手动创建index,可以进行个性化的设置,在实际开发中是有必要的。

一、index的基本操作

注:这里以

消息系统 数据库binlog订阅和消费组件canal快速入门

一、什么是canal

1.定位

Canal是阿里巴巴开源的一款基于mysql数据库binlog增量日志分析提供数据订阅和消费功能的组件

2.原理

Canal原理

  • Canal模拟MySQL Slave协议,将自己伪装成MySQL Slave,将Master发送dump协议
  • Master将binlog同步到Slave(这里是Canal)
  • Canal解析binlog,可以做相关的后续操作,如同步发送到MQ,或同步到其他存储系

ElasticSearch Elasticsearch扫盲之二:ElasticSearch安装及集群部署

一、ElasticSearch的安装

各系统都有对应的二进制包,这里以Linux安装为例

1.下载二进制包
  1. wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.0.tar.gz
2.解压二进制包
  1. tar -zxvf elasticsearch-6.6.0.tar.gz
3.将解压后的二进制表移动到目标位置

ElasticSearch ElasticSearch扫盲之一:ElasticSearch基本概念介绍

ElasticSearch是一款高扩展性的、开源的、全文搜索和分析引擎,那么我们先从以下几个方面来粗步了解它:

一、什么是搜索引擎

搜索引擎,即指根据一定的策略、运用特定的计算机程序从互联网上搜集信息,在对信息进行组织和处理后,为用户提供检索服务,将用户检索相关的信息展示给用户的系统.

小到一个网站的内部搜索功能,如博客文章的搜索,电商平台商品的搜索,大到提供全网搜索的网站,如谷歌、百度等

二、倒排

开发工具 监控中间件CAT快速入门

CAT是一款基于JAVA的分布式监控系统,其全称为Central Application Tracking

一、CAT的简要介绍

1.CAT的主要组成部分
(1) 服务端
  • cat-consumer : 实时分析从客户端提供的数据
  • cat-home : 展示数据分析结果的控制端
(2) 客户端
  • cat-client : 数据埋点
2.CAT支持的监控消息类型
(1).Transaction : 记录跨越系统

java 流量控制服务降级神器之Sentinel(1)为什么要选择Sentinel

一、Sentinel是什么

1.什么是Sentinel

Sentinel是阿里巴巴公司开源的面向分布式环境的轻量级流量控制框架

2.主要功能

Sentinel是以流量为切入点,通过多个维度来保护服务和维持系统稳定性的工具

(1)流量控制

用于调整网络包的发送数据,Sentinel相当于一个调配器:

  • 将随机的请求变成顺序的请求
  • 将不同格式的请求格式化为统一的格式的请求

Sentinel在流量控制中的作用

流量控制可以从以下几个角度来说明

java spring与kafka集成即spring-kafka实例讲解

一、消息系统模块说明

消息系统模块

  • common : 公共模块(一般放到maven私服中,供生产者和消费者加载)
  • producer : 生产者服务(一般单独部署,依赖common包)
  • consumer: 消费者服务(一般单独部署,依赖common包)

本文通过一个用户注册的案例来介绍spring与kafka客户端集成的技术实现

  • 用户注册:
    • 插入数据库等操作
    • 发送用户注册消息(生产者),其他相关事务在用户注册后,发

java 一张图说明spring-kafka的基本用法

在java中操作kafka,可以通过kafka-clients或者使用spring-kafka来实现.

本文简要说明一下spring-kafka的使用,通过下面一张图概览spring-kafka的使用

spring-kafka的使用

一、生产者 

1.kafka生产者的初始化
  • kafka生产者主要通过KafkaTemplate对象来进行消息方面的操作
    • KafkaTemplate对象又是通过ProducerFactory对象来构造

java 一张图说明Spring boot中单元测试

一张图说明Spring boot单元测试

单元测试代码一般放在src/test目录下,与src/main结构基本一致

一、添加测试依赖包

  1. <dependency>
  2. <groupId>org.springframework.boot</groupId>
  3. <artifactId>spring-boot-starter-test</artifactId>
  4. <sc