异地双中心各自独立集群。跨集群查询依靠 ES 自带的远程集群搜索(CCS)处理。
除了 filebeat 和 kibana 以外,所有组件均为物理环境部署。
主要功能组件如下:
{时间戳} + {日志级别} + {类名} + {链路ID} + {日志信息}
的形式输出。其中时间戳必须带年月日。由于异地双中心,且集群通讯加密,因此就涉及到了两个加密集群通讯的场景问题。
解决办法:
当时使用的是第一种办法,直接使用的是同一个ca去颁发的证书。
注意:ES 数据节点之间维持数据的同步,每个节点会维持一定数量的长链接。这在本地机房的条件下没有什么问题,但是在异地集群的条件下,可能有网络不稳定的情况,远程集群查询也因此有返回500的问题。建议这种情况,可以考虑自建客户端远程短链接查询。
在 elasticsearch 官网上有着详细的加密通讯配置手册(7.2版本有单独的章节说明),但是其中没有涉及 filebeat 与 kafka 的加密通讯配置。这块主要涉及 golang 程序与 java 程序之间的证书转换。
解决方法之主要操作步骤如下:
#生成pem证书
keytool -importkeystore -srckeystore ./server.truststore.jks -destkeystore server.p12 -deststoretype PKCS12
openssl pkcs12 -in server.p12 -nokeys -out server.cer.pem
keytool -importkeystore -srckeystore ./server.keystore.jks -destkeystore client.p12 -deststoretype PKCS12
openssl pkcs12 -in client.p12 -nokeys -out client.cer.pem
openssl pkcs12 -in client.p12 -nodes -nocerts -out client.key.pem
#filebeat配置添加
ssl.enabled: true
ssl.key: "/opt/filebeat/filebeat-7.9.2-linux-x86_64/certs/client.key.pem"
ssl.certificate: "/opt/filebeat/filebeat-7.9.2-linux-x86_64/certs/client.cer.pem"
ssl.certificate_authorities: ["/opt/filebeat/filebeat-7.9.2-linux-x86_64/certs/server.cer.pem"]
ssl.verification_mode: none
kafka 在 filebeat 与 logstash 之间充当数据缓冲的功能。
在 logstash 与 kafka 的参数配置上:
但是在生产运行中,在增加了一个较大的日志流量归集后,logstash 消费 kafka 线程出现了消费组不断 rebalance 重选 leader 的情况。
而此时 es 的写入远没有达到瓶颈。而整体服务器资源使用也没出现异常。只能把优化方向转向 logstash 的消费上。
在群里小伙伴的帮助下,建议降低 logstash 的 batch_size,以减轻线程的 cpu 使用压力。
解决办法:
最终生产上将 batch_size 降低到 150,logstash 的消费能平稳继续。
PS:由于当时没有 kafka 和 logstash 性能监控有效的工具,没有保留更多的现场。后续加上 metricbeat 监控到,在上述参数下三个 logstash 最高能达到 45000 条/s
,以供参考。
在使用 filebeat 抽取日志数据上送的时候,遇到了句柄数不释放和 cpu 消耗较高的情况。
在经过测试后,在生产上主要调整了这几个参数:
filebeat 官方手册最后有一章节关于问题定位的内容,建议在使用之前好好阅读。
鉴于 filebeat 是使用 golang 开发的。而生产环境下,总会有一些复杂的情况,比如操作系统版本比较旧等情况。因此,会出现 filebeat 程序掉线的情况。
解决办法:
增加检查 filebeat 并能够重新拉起的定时任务。
日志数据在使用时也有不少统计查询的需求,有时候这些需求并不固定,日志相对于的格式也并不是固定的,并不能在 logstash 进行日志清洗时全部解决,只能在查询阶段进行处理。
解决办法:方法 1. 使用 runtime 字段进行转换处理,需要 ES 版本高于 7.11 。
方法 2. 使用 pipeline + reindex 处理。利用 pipeline 的 grok 将日志数据进行进一步清洗,reindex 后统计查询。
第一种办法比较简单,但受限于需要较高的 ES 版本。这里主要记录一下第二种办法的处理流程。
# 创建提取pipeline,此处假设提取的为sn号
PUT _ingest/pipeline/get-sn
{
"processors": [
{
"grok": {
"description": "Extract fields from 'message'",
"field": "message",
"patterns": ["""%{TIMESTAMP_ISO8601:log_date}(\s*)(\|)(\s*)%{LOGLEVEL:log_level}(\s*)(\|)(\s*)%{DATA:thread}(\s*)(\|)(\s*)%{DATA:class}(\s*)(\|)(\s*)%{DATA:traceId}(\s*)(\|)(\s*)%{DATA:spanId}(\s*)(\|)(\s*)%{DATA:parentid}(\s*)(\|-) 发送设备sn\:%{DATA:sn}\,%{GREEDYDATA:messages}"""]
}
},
{
"date": {
"description": "Format 'log_date' as 'yyyy-MM-dd HH:mm:ss.SSS+Z'",
"field": "log_date",
"formats": [ "yyyy-MM-dd'T'HH:mm:ss.SSSZ" ]
}
}
]
}
# 创建临时索引,设置目标字段格式
PUT temp-test
{
"settings": {
"number_of_shards": 8,"number_of_replicas": 1
}
}
POST temp-test/_mapping
{"properties":{"sn":{"type":"keyword"}}}
# reindex 提取数据,slice参数与目标索引分片一致,filter的是日志查询的过滤条件。
POST _reindex?wait_for_completion=false&slices=8
{
"source": {
"index": "logs-test",
"size": 10000,
"query": {
"bool": {
"filter": [
{
"range": {
"@timestamp": {
"time_zone": "+08:00",
"gte": "2021-11-09T00:00:00",
"lte": "2021-11-10T00:00:00"
}
}
},
{
"match_phrase": {
"message": "发送设备sn:"
}
}, {
"term": {
"fields.app" :"testsn"
}
}
]
}
}
},
"dest": {
"index": "temp-test",
"pipeline": "get-sn"
}
}
# 根据返回的taskid查看进度,"completed" : true 才完成
GET _tasks/otGecFQMQTOAO85G4F_eAw:1550780976
# 查询sn的聚合
GET temp-test/_search
{
"size": 0,
"aggs": {
"distinct-sn": {
"cardinality": {
"field": "sn"
}
}
}
}
ILM 的策略默认检查时间是 10mins
。
但是在实际执行中,ILM 会定期运行,检查索引是否满足策略标准,并执行所需的步骤。
为了避免竞争条件,ILM 可能需要运行不止一次来执行完成一个操作所需的所有步骤。
例如,如果 ILM 确定一个索引满足 rollover 标准,它就开始执行完成rollover 操作所需的准备步骤。如果它不满足 rollover 条件,执行停止。
下一次ILM运行时,ILM将从它中断的地方继续执行。
这意味着即使indices.lifecycle.poll_interval ( _cluster/settings ) 被设置为10分钟,并且索引满足 rollover 标准,在完成翻转之前可能需要20分钟。
indices.lifecycle.poll_interval也可以被调整,但是不建议调整太密集,会增加 elasticsearch 运行负担。
调整命令如下:
PUT _cluster/settings
{
"transient": {
"indices": {
"lifecycle": {
"poll_interval": "2m"
}
}
}
}
ILM 的相关 api 也可以查看 ILM 在当前索引执行的阶段结果和进行修复。
检查命令:
GET /my-index-000001/_ilm/explain
重试命令:
POST /my-index-000001/_ilm/retry`
rollover 的条件主要有索引大小(max_size)、文档数量(max_docs)、索引存在时间(max_age)这三个。同时,max_size判断的是主分片的大小,而不是整个索引的大小。
在 Elasticsearch 7.9
版本下,rollover的三个可设置条件中,max_docs 与 max_age 相对敏感,max_size 的判断会有一定延迟,可能是因为索引的主分片 size 大小会被 merge 后收缩,需要有一定时间的观察.测试之下,200 MB 之下的max_size会失效。
以上是本人在基于 elasticsearch 相关开源技术栈进行归集日志时的方案和相关问题记录。
经验不多,水平有限,欢迎大家多多探讨交流。
金多安,Elasticsearch 认证(ECE)专家,Elastic中文社区责任编辑。
审稿人:铭毅天下
本文分享自 铭毅天下Elasticsearch 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!