首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >ELK 日志分析怎么搭?单机部署与资源规划实践

ELK 日志分析怎么搭?单机部署与资源规划实践

原创
作者头像
克劳德2048
发布于 2026-11-17 10:10:11
发布于 2026-11-17 10:10:11
170
举报

摘要: ELK 单机部署的内存底线是 8 GB:Elasticsearch 的 JVM 堆需 4 GB 且不得超过物理内存一半。在腾讯云轻量应用服务器(Tencent Cloud Lighthouse)上按 Elasticsearch、Kibana、Filebeat 顺序部署,配合索引生命周期策略控制磁盘增长。本文给出资源规划、安装步骤与容量控制方法。

ELK 在 4 GB 内存的机器上装不起来,这不是调优问题。 Elasticsearch 启动时会按配置申请 JVM 堆内存,官方建议堆大小不超过物理内存的一半且不超过 31 GB——4 GB 机器只能给 2 GB 堆,加上 Kibana 的 Node.js 进程和操作系统开销,剩余内存不足以支撑索引写入。单机跑完整 ELK 的合理起点是 4 核 8 GB,日志量超过每天 5 GB 时需要考虑拆分部署。

一、ELK 是什么,三个组件各管什么

术语说明: ELK 是三个开源组件首字母的组合,它们在日志链路中各占一环。

组件

作用

资源特征

Elasticsearch

存储日志并提供检索

吃内存与磁盘,是资源主要消耗方

Logstash

采集与清洗日志

吃内存与 CPU,JVM 进程

Kibana

可视化查询界面

吃内存较少,Node.js 进程

实践中常用 Filebeat 替代 Logstash 做日志采集。Filebeat 是 Go 编写的轻量采集器,内存占用通常在几十 MB 量级,而 Logstash 作为 JVM 进程起步就要 1 GB 以上。

💡 选型建议: 单机部署优先用 Filebeat 而非 Logstash。日志只需要采集和转发时,Filebeat 完全够用;只有需要复杂字段解析、多源合并、条件路由时才引入 Logstash,这时建议把它部署到独立实例。

二、单机部署需要什么配置

资源规划的起点是每天产生多少日志,而不是有多少台机器。

日志量

建议配置

ES 堆内存

说明

每天 1 GB 以内

4 核 8 GB

4 GB

单机可承载,适合小型项目

每天 1~5 GB

4 核 16 GB

8 GB

单机上限区间

每天 5 GB 以上

拆分部署

—

ES 与 Kibana 分离,或用托管服务

🔴 内存硬约束: Elasticsearch 的 JVM 堆不得超过物理内存的一半。8 GB 实例最多给 4 GB 堆,给满 8 GB 会导致操作系统无可用内存,ES 进程被系统强制终止。这是 ELK 部署中最常见的致命配置错误。

磁盘容量按日志量 × 保留天数 × 1.3 估算。倍数来自倒排索引的额外开销。每天 1 GB 日志保留 30 天,需要约 40 GB 可用空间。轻量应用服务器的套餐包含 SSD 系统盘,容量随规格递增,做 ELK 建议选择系统盘 100 GB 及以上的套餐。

三、Elasticsearch 的安装与配置

3.1 安装 Java 与添加仓库

代码语言:bash
复制
apt update
apt install -y apt-transport-https gnupg curl

# 添加 Elastic 官方仓库
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch \
  | gpg --dearmor -o /usr/share/keyrings/elastic.gpg
echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" \
  > /etc/apt/sources.list.d/elastic-8.x.list

apt update
apt install -y elasticsearch

Elasticsearch 8.x 自带 JDK,不需要单独安装 Java。

3.2 配置堆内存

代码语言:bash
复制
# 创建 JVM 配置覆盖文件
cat > /etc/elasticsearch/jvm.options.d/heap.options <<'EOF'
-Xms4g
-Xmx4g
EOF

-Xms 与 -Xmx 必须设为相同值,避免 JVM 在运行中动态调整堆大小引发停顿。

3.3 配置单节点模式

代码语言:bash
复制
vi /etc/elasticsearch/elasticsearch.yml

关键配置项:

代码语言:yaml
复制
cluster.name: log-cluster
node.name: node-1
network.host: 127.0.0.1
http.port: 9200
discovery.type: single-node

path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch

🔴 安全警示: network.host 必须设为 127.0.0.1,不要设为 0.0.0.0。Elasticsearch 的 9200 端口一旦暴露到公网,未授权访问可直接读取和删除全部索引数据。对外访问应通过 Kibana 或 Nginx 反向代理,并在腾讯云控制台防火墙中确认 9200 端口未被放行。

3.4 启动并验证

代码语言:bash
复制
systemctl daemon-reload
systemctl enable elasticsearch
systemctl start elasticsearch

# 验证服务状态
curl -k -u elastic https://127.0.0.1:9200

Elasticsearch 8.x 默认启用安全认证,首次启动会生成 elastic 用户密码。重置密码的命令:

代码语言:bash
复制
/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elastic

四、Kibana 的安装与访问配置

4.1 安装与基础配置

代码语言:bash
复制
apt install -y kibana

vi /etc/kibana/kibana.yml

关键配置项:

代码语言:yaml
复制
server.port: 5601
server.host: "127.0.0.1"
elasticsearch.hosts: ["https://127.0.0.1:9200"]
i18n.locale: "zh-CN"

4.2 生成注册令牌并启动

代码语言:bash
复制
# 在 Elasticsearch 侧生成 Kibana 注册令牌
/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana

systemctl enable kibana
systemctl start kibana

4.3 用 Nginx 做反向代理

Kibana 监听本地地址,对外访问通过 Nginx 转发并配置 HTTPS:

代码语言:nginx
复制
server {
    listen 443 ssl;
    server_name kibana.your-domain.com;

    ssl_certificate     /path/to/cert.pem;
    ssl_certificate_key /path/to/key.pem;

    location / {
        proxy_pass http://127.0.0.1:5601;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
}

⚠️ 配置注意: Kibana 使用 WebSocket 传输部分数据,反向代理必须包含 Upgrade 与 Connection 两个头部。缺少这两行时界面能打开,但部分图表会持续加载不出来,这类故障很难从报错信息定位。

在控制台防火墙中只放行 443 端口,5601 端口不对公网开放。

五、用 Filebeat 采集日志

5.1 安装与配置

代码语言:bash
复制
apt install -y filebeat

vi /etc/filebeat/filebeat.yml

采集 Nginx 日志的配置示例:

代码语言:yaml
复制
filebeat.inputs:
  - type: filestream
    id: nginx-access
    enabled: true
    paths:
      - /var/log/nginx/access.log
    fields:
      log_type: nginx-access
    fields_under_root: true

output.elasticsearch:
  hosts: ["https://127.0.0.1:9200"]
  username: "elastic"
  password: "你的密码"
  ssl.verification_mode: none
  index: "logs-nginx-%{+yyyy.MM.dd}"

setup.template.name: "logs-nginx"
setup.template.pattern: "logs-nginx-*"
setup.ilm.enabled: false

5.2 启动与验证

代码语言:bash
复制
systemctl enable filebeat
systemctl start filebeat

# 查看采集状态
journalctl -u filebeat -f

在 Kibana 的索引管理页面能看到 logs-nginx-* 索引且文档数持续增长,说明链路已打通。

六、控制磁盘增长的索引生命周期策略

日志索引不做生命周期管理,磁盘一定会被写满。 这是单机 ELK 最常见的运行故障。

6.1 配置索引生命周期策略

在 Kibana 的 Stack Management 中创建 ILM 策略,或用 API 创建:

代码语言:bash
复制
curl -k -u elastic -X PUT "https://127.0.0.1:9200/_ilm/policy/log-policy" \
  -H 'Content-Type: application/json' -d '{
  "policy": {
    "phases": {
      "hot": {
        "actions": {
          "rollover": { "max_primary_shard_size": "10gb", "max_age": "7d" }
        }
      },
      "delete": {
        "min_age": "30d",
        "actions": { "delete": {} }
      }
    }
  }
}'

该策略的含义是:单个分片超过 10 GB 或索引超过 7 天时滚动到新索引,索引创建满 30 天后删除。

6.2 磁盘水位线机制

Elasticsearch 内置磁盘水位保护,达到阈值时会停止写入:

水位线

默认阈值

触发后的行为

低水位

85%

不再向该节点分配新分片

高水位

90%

尝试迁移分片到其他节点

洪泛水位

95%

索引被设为只读,写入全部失败

🔴 重要提醒: 磁盘使用率触及 95% 后,索引会被自动置为只读,此时清理磁盘空间不会自动恢复写入,需要手动解除只读标记。磁盘监控必须配在触及 85% 之前告警。

解除只读标记的命令:

代码语言:bash
复制
curl -k -u elastic -X PUT "https://127.0.0.1:9200/_all/_settings" \
  -H 'Content-Type: application/json' \
  -d '{"index.blocks.read_only_allow_delete": null}'

七、常见故障定位

现象

可能原因

处理方向

ES 启动后进程消失

堆内存设置超过物理内存一半

调低 -Xmx 至物理内存的一半以内

ES 启动失败且日志提示 vm.max_map_count

系统参数未调整

执行 sysctl -w vm.max_map_count=262144

Kibana 界面能打开但图表不加载

反向代理缺少 WebSocket 头部

补充 Upgrade 与 Connection 配置

Filebeat 运行但索引无数据

认证失败或日志路径不存在

查看 Filebeat 日志中的连接错误

写入突然全部失败

磁盘触及洪泛水位被置只读

清理磁盘后手动解除只读标记

查询响应缓慢

索引分片过多或堆内存不足

合并旧索引或提升内存规格

调整系统参数并持久化:

代码语言:bash
复制
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p

八、部署完成后的检查项

检查一:9200 端口是否未对公网开放。 在控制台防火墙规则中确认 9200 不在放行列表,这是 ELK 部署的首要安全边界。

检查二:ILM 策略是否已对新索引生效。 策略创建后需绑定到索引模板,只创建策略不绑定等于没配。

检查三:磁盘监控是否已配置告警。 阈值设在 80% 而非 85%,留出处理时间。

检查四:快照是否已创建。 轻量应用服务器支持对实例创建快照,保存某个时间点的完整数据。

💡 操作建议: 在升级 Elasticsearch 大版本或调整索引映射之前创建快照。ES 的索引映射一旦写入无法直接修改字段类型,改错后需要重建索引,有快照可直接回滚。

总结

ELK 单机部署的核心约束是内存:每天 1 GB 以内日志用 4 核 8 GB 配 4 GB 堆,1~5 GB 用 4 核 16 GB 配 8 GB 堆,超过 5 GB 应拆分部署。堆内存不得超过物理内存一半,network.host 必须绑定本地地址,9200 端口不对公网开放。磁盘容量按日志量乘保留天数乘 1.3 估算,并务必配置索引生命周期策略与 85% 以下的磁盘告警。

轻量应用服务器以套餐形式交付计算、SSD 云硬盘与网络资源,提供快照备份、自定义镜像、内网互联与可视化防火墙配置,适合作为单机 ELK 的承载主机。套餐规格可在产品页查看:https://cloud.tencent.com/product/lighthouse

腾讯云双十一大促期间,轻量应用服务器多个规格参与促销,并提供代金券礼包、买赠时长与双人拼团加赠资源等优惠形式,适合日志平台搭建阶段一次性锁定成本。活动页面:https://cloud.tencent.com/act/pro/double11-202611

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、ELK 是什么,三个组件各管什么
  • 二、单机部署需要什么配置
  • 三、Elasticsearch 的安装与配置
    • 3.1 安装 Java 与添加仓库
    • 3.2 配置堆内存
    • 3.3 配置单节点模式
    • 3.4 启动并验证
  • 四、Kibana 的安装与访问配置
    • 4.1 安装与基础配置
    • 4.2 生成注册令牌并启动
    • 4.3 用 Nginx 做反向代理
  • 五、用 Filebeat 采集日志
    • 5.1 安装与配置
    • 5.2 启动与验证
  • 六、控制磁盘增长的索引生命周期策略
    • 6.1 配置索引生命周期策略
    • 6.2 磁盘水位线机制
  • 七、常见故障定位
  • 八、部署完成后的检查项
  • 总结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档