南非骆驼的专栏

做20年代的DT人。
44 篇文章
23 人订阅

全部文章

南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

置顶腾讯云ES与COS之间的那点事儿

关于ES与COS之间的使用场景主要体现在数据迁移、数据恢复备份这几个方面。其原理就是通过COS将源ES数据中间存储,然后再将存储的数据进行目标ES集群异步恢复的...

51340
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

ES ILM 功能的实际应用(二)

在前面的章节中,我讲了ES从6.8版本开始默认免费支持索引生命周期管理策略的实际应用,那么今天我们继续深化讲解一下这个架构的应用,主要将ILM结合Rollove...

1600
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

kibana 无法开启集群monitor监控功能

日志大概意思是:当前集群的可以打开的最大分片数为3000,而目前有2个分片正在写入,并且失败。同时我们查看集群其他使用情况均正常。确实集群当前分片数为3002个...

21790
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

Elasticsearch Snapshot 恢复数据分片显示未分片??

客户需要将云上ES中的数据恢复到本地集群,但是恢复到本地后,索引分片显示未分片状态,数据不可用。如下图所示:

15780
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

如何优雅的控制ES集群上的大索引?

<1>这是日志收集的环境,索引属于时间序列,每个索引270主分片,索引大小从17T-27T左右不等;

26730
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

如何把Elasticsearch中的数据导出为CSV格式的文件

本文结合用户实际需求用按照数据量从小到大的提供三种方式从ES中将数据导出成CSV形式。本文将重点介Kibana/Elasticsearch高效导出的插件、工具集...

28150
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

Elasticsearch Rack Awareness

前面的冷热章节中,我们讲到了ES集群的冷热架构,也知道了如何将相关的数据手动分配到指定的节点上,同时结合索引生命周期管理策略更好的去维护集群上的索引,那么今天,...

16750
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

Elasticsearch 跨集群搜索配置 CCS

ES天生就是一个分布式架构,同时也支持横向水平扩展。但是,集群节点不可能无限增加。因为,当集群meta信息(节点,索引,集群状态)过多,会导致集群更新压力变大,...

24960
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

使用Curator在腾讯云Elasticsearch中自动删除过期数据(免费)

最近遇到一些小问题,就是我们的ES用户使用curator这个工具去自动管理集群索引的时候,因为云上的ES白金版存在安全认证,云函数需要添加认证参数才能实际安全执...

40590
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

Elasticsearch 冷热分离与索引生命周期管理深度讲解与实战

到底什么是冷热分离?简单来说,我们会把一些比较新的同时查询要求又比较频繁的数据放在Hot节点上、把一些比较旧的查询比较少的数据放在warm节点上。以达到企业生产...

40031
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

Elasticsearch集群的身份验证、用户鉴权操作

ES作为一款当下非常流行的轻量级存储搜索引擎,其安全性也变得日益重要。否则就会非常容易造成敏感数据泄露的严重问题。主要是因为使用者并没有将ES的安全功能打开。那...

34660
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(三十)filebeat 讲解与实战

Logstash功能虽然强大,但是它依赖java、在数据量大的时候,Logstash进程会消耗过多的系统资源,这将严重影响业务系统的性能,而filebe...

29240
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(二十九)Logstash讲解与实战

output是Logstash的最后阶段,一个事件可以经过多个输出,而一旦所有输出处理完成,整个事件就执行完成。 一些常用的输出包括:

20640
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(二十八)Logstash讲解与实战

本节我们接着上一节主题的来讲,在上面的章节中,我们将日志标准输入--标准输出后,发现日志,按照我们lostash配置文件的内容将Message日志分成...

23430
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 运维篇(三十一) Kibana 实战与讲解

这里有一个疑问?当我们在腾讯云控制台上去选择自己所需的ES版本时候,特别是没有选白金版的时候,界面也会提示我们需要输入账号密码,这是为什么?鉴于此,我选择6....

29960
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

干货:Elasticsearch 压测工具之 esrally的安装与使用(下)

在本主题上节当中,我们讲了esrally工具的部署、安装,那么本节我们来讲一下这个工具的应用、使用技巧。

63940
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(二十七)Logstash讲解与实战

grok是一个十分强大的logstash filter插件,他可以通过正则解析任意文本,将非结构化日志数据弄成结构化和方便查询的结构。他是目前logs...

18240
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(二十六)Logstash讲解与实战

在讲下一个关键插件filter插件前,简单说一些Codec编码插件,普及一下这个概念,方便后面学习。

21140
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(二十五)Logstash讲解与实战

logstash之所以功能强大和流行,还与其丰富的过滤器插件是分不开的,过滤器提供的并不单单是过滤的功能,还可以对进入过滤器的原始数据进行复杂的逻辑处理...

215120
南非骆驼漫谈ELK Stack

Tencent · 云计算工程师 (已认证)

腾讯云 Elasticsearch 进阶篇(二十四)Logstash讲解与实战

上一节我们通过一个简单的实际列子来启动论证了logstash, 那么接下来,我们重点来讲一下它的工作原理、以及各插件的运行机制与使用方法。

24760

扫码关注云+社区

领取腾讯云代金券