资深数据库工程师

雨夜-Elasticsearch成长专栏

代码在线跑，知识轻松学

Python精品学习库

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

博客搬家 | 分享价值百万资源包

往期视频·干货材料·成员作品 最新动态

技术创作特训营·精选知识专栏

新邀入驻腾讯云开发者社区，福利多多！

如何运用「云、端融合的数智化安全体系」高效护航数据安全

左手AI，右手安全 —— 一汽丰田数字化转型之路

当客户或者业务咨询您一套Elasticsearch该如何搭建的时候，您脑海中闪过的第一个想法是啥？业务数据量有多大,eps峰值是多少，业务场景是啥....本文将详细介绍从下到上改如何规划一套Elasticsearch集群。

Elasticsearch容量规划-干货

xx银行某外呼系统，每天任务分配表数据已经达到2000w以上，由于任务的SQL较为复杂。DBA除了优化SQL外，也同步需要对大表进行分表改造。本次分表主要依据任务类型对任务分配表进行水平分表，而本文主要介绍了两种水平分表的方案，希望能给大家一些帮助。

MySQL分表方案介绍

中信银行的某个大佬在一个会议中提及中信银行将成为中国第一个在技术上支持生僻字的商业银行。由于历史原因，我们的MySQL部署规范提供的字符集为utf8字符集，需要将数据库的字符集集体转换为utf8mb4。

MySQL生僻字改造项目排坑大法

由于自动refresh过程每秒钟都会创建一个新的segment，不需要很长时间，segment的数量就会爆炸性增长。拥有太多的segment会严重影响ES的性能及查询效率。每个segment都会消耗文件句柄、内存和CPU等。更重要的是，每个搜索请求都必须依次检查每个段；segment越多，搜索速度就越慢。因此，如何制定合理的merge 策略以及如何自动的进行force merge是每个ES运维人员都必须学会的关键技能。

Elasticsearch merge 你懂了吗？

众所周知，Elasticsearch的分片数是固定的，从确定下来就不可以改变了（除非reindex），但是在一些场景，比如存储 metric 的 TSDB、小数据量的日志存储，人们会期望在多分片快速写入数据以后，把老数据合并存储，节约过多的 cluster state 容量。从 5.0 版本开始，Elasticsearch 新提供了 shrink 接口，可以成倍数的合并分片数。至于rollover也是ES5.0后的一个重要功能，这个功能可以说取代了curator，实现了ES本身的生命周期管理。今天我们就好好讲讲这两个重要功能。

如何用shrink与rolloverAPI管理您的ES索引？

用户数据的安全性一直是开发和运维人员关注的重点问题，Elasticsearch在6.8之前官方的X-pack安全认证功能都是收费的，所以很多人都采用Search Guard或者ReadOnly REST这些免费的安全插件对Elasticsearch进行安全认证。但是使用者都知道Search Guard插件存在很多Bug，比如节点gc超时导致集群掉线后，重启很有可能就要重新进行Search Guard的刷新。从Elasticsearch 6.8开始，Security 纳入 x-pack 的 Basic 版本中，免费使用一些基本的功能。本文将对X-pack安全认证的过程进行详细的讲解。

Elasticsearch X-pack的实际应用

地址: https://www.elastic.co/guide/en/kibana/current/xpack-monitoring.html

Elasticsearch运维指南

最近经常在修复漏洞，昨天有几台物理机突然说需要升级内核，升级原因为 Redhat 7.4 kernel介于3.10.0-693.el7和3.10.0-693.5.2.el7，可能会因为nfs4 client 而导致主机hung主。收到这个通知，本文作者就展开了调查，经过一系列的Redhat官网追踪，终于找到了相关证据，下面就让作者为您揭开这个谜底。

NFSv4客户端hung住的BUG，您解决了吗？

1. 前言
上一篇文章《你的Redis集群撑得住吗？》讲了应用增加pod时，有一个应用最大连接数计算公式为:maxTotal * pod数 < Redis cluster的最大连接数(单个分片的max

Redis 最大客户端连接数，你了解吗？

举个简单的例子来计算，比如一个命令的时间（borrow|return resource+Jedis执行命令+网络开销的时间）为1ms,那么一个连接的QPS计算公式为:1s/1ms=1000。如果业务希望我们集群的QPS能达到100w，有10个应用pod, 那计算公式为1000000/1000/10=100。那么maxTotal配置为100。

你的Redis集群撑得住吗？

Elasticsearch（后面统称ES） cross-cluster replication (后面统称CCR)是ES 6.5的一个测试特性，是ES 6.7的的一个全局高可用特性。CCR允许不同的索引复制到一个或多个ES 集群中。将索引复制到其他ES集群，可以解决多个用例，包括跨数据中心高可用(HA)，灾难恢复(DR)和CDN样体系结构，最终实现ES集群的高可用。

ES 跨集群复制 Cross-Cluster Replication

今天同事过来跟我说有个备份失败了，让我帮忙看看。经过检查，感觉是DDL导致的备份失败。

关于MySQL 5.7.26备份报错解决

如上图，ES的集群分为：Master Node,Coordinate Node,Ingest Node,Data Node

如何管理你的Elasticsearch索引

从事DBA工作多年，一直没有给大家留下东西。昨天看了铭毅天下老师的文章，感觉我也要写点东西。所以立志每天写一篇文章，在社区留下点痕迹。本文主要分两部分，一部分为nfs环境的搭建，下次会介绍下hdfs环境的搭建；第二部分是关于索引和全库备份方案，详细请查看下文。

Elasticsearch基于nfs备份环境搭建

文章

问答

视频

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋 

腾讯云代码助手

CODING DevOps

Cloud Studio

SDK中心

API中心

命令行工具

腾讯云开发者社区推出了雨夜-Elasticsearch成长专栏专栏，为你提供了雨夜-Elasticsearch成长专栏的相关文章，致力于帮助开发者快速成长与发展。

雨夜-Elasticsearch成长专栏-腾讯云开发者社区

雨夜-Elasticsearch成长专栏

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐