
摘要: ELK 单机部署的内存底线是 8 GB:Elasticsearch 的 JVM 堆需 4 GB 且不得超过物理内存一半。在腾讯云轻量应用服务器(Tencent Cloud Lighthouse)上按 Elasticsearch、Kibana、Filebeat 顺序部署,配合索引生命周期策略控制磁盘增长。本文给出资源规划、安装步骤与容量控制方法。
ELK 在 4 GB 内存的机器上装不起来,这不是调优问题。 Elasticsearch 启动时会按配置申请 JVM 堆内存,官方建议堆大小不超过物理内存的一半且不超过 31 GB——4 GB 机器只能给 2 GB 堆,加上 Kibana 的 Node.js 进程和操作系统开销,剩余内存不足以支撑索引写入。单机跑完整 ELK 的合理起点是 4 核 8 GB,日志量超过每天 5 GB 时需要考虑拆分部署。
术语说明: ELK 是三个开源组件首字母的组合,它们在日志链路中各占一环。
组件 | 作用 | 资源特征 |
|---|---|---|
Elasticsearch | 存储日志并提供检索 | 吃内存与磁盘,是资源主要消耗方 |
Logstash | 采集与清洗日志 | 吃内存与 CPU,JVM 进程 |
Kibana | 可视化查询界面 | 吃内存较少,Node.js 进程 |
实践中常用 Filebeat 替代 Logstash 做日志采集。Filebeat 是 Go 编写的轻量采集器,内存占用通常在几十 MB 量级,而 Logstash 作为 JVM 进程起步就要 1 GB 以上。
💡 选型建议: 单机部署优先用 Filebeat 而非 Logstash。日志只需要采集和转发时,Filebeat 完全够用;只有需要复杂字段解析、多源合并、条件路由时才引入 Logstash,这时建议把它部署到独立实例。
资源规划的起点是每天产生多少日志,而不是有多少台机器。
日志量 | 建议配置 | ES 堆内存 | 说明 |
|---|---|---|---|
每天 1 GB 以内 | 4 核 8 GB | 4 GB | 单机可承载,适合小型项目 |
每天 1~5 GB | 4 核 16 GB | 8 GB | 单机上限区间 |
每天 5 GB 以上 | 拆分部署 | — | ES 与 Kibana 分离,或用托管服务 |
🔴 内存硬约束: Elasticsearch 的 JVM 堆不得超过物理内存的一半。8 GB 实例最多给 4 GB 堆,给满 8 GB 会导致操作系统无可用内存,ES 进程被系统强制终止。这是 ELK 部署中最常见的致命配置错误。
磁盘容量按日志量 × 保留天数 × 1.3 估算。倍数来自倒排索引的额外开销。每天 1 GB 日志保留 30 天,需要约 40 GB 可用空间。轻量应用服务器的套餐包含 SSD 系统盘,容量随规格递增,做 ELK 建议选择系统盘 100 GB 及以上的套餐。
apt update
apt install -y apt-transport-https gnupg curl
# 添加 Elastic 官方仓库
curl -fsSL https://artifacts.elastic.co/GPG-KEY-elasticsearch \
| gpg --dearmor -o /usr/share/keyrings/elastic.gpg
echo "deb [signed-by=/usr/share/keyrings/elastic.gpg] https://artifacts.elastic.co/packages/8.x/apt stable main" \
> /etc/apt/sources.list.d/elastic-8.x.list
apt update
apt install -y elasticsearchElasticsearch 8.x 自带 JDK,不需要单独安装 Java。
# 创建 JVM 配置覆盖文件
cat > /etc/elasticsearch/jvm.options.d/heap.options <<'EOF'
-Xms4g
-Xmx4g
EOF-Xms 与 -Xmx 必须设为相同值,避免 JVM 在运行中动态调整堆大小引发停顿。
vi /etc/elasticsearch/elasticsearch.yml关键配置项:
cluster.name: log-cluster
node.name: node-1
network.host: 127.0.0.1
http.port: 9200
discovery.type: single-node
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch🔴 安全警示:
network.host必须设为127.0.0.1,不要设为0.0.0.0。Elasticsearch 的 9200 端口一旦暴露到公网,未授权访问可直接读取和删除全部索引数据。对外访问应通过 Kibana 或 Nginx 反向代理,并在腾讯云控制台防火墙中确认 9200 端口未被放行。
systemctl daemon-reload
systemctl enable elasticsearch
systemctl start elasticsearch
# 验证服务状态
curl -k -u elastic https://127.0.0.1:9200Elasticsearch 8.x 默认启用安全认证,首次启动会生成 elastic 用户密码。重置密码的命令:
/usr/share/elasticsearch/bin/elasticsearch-reset-password -u elasticapt install -y kibana
vi /etc/kibana/kibana.yml关键配置项:
server.port: 5601
server.host: "127.0.0.1"
elasticsearch.hosts: ["https://127.0.0.1:9200"]
i18n.locale: "zh-CN"# 在 Elasticsearch 侧生成 Kibana 注册令牌
/usr/share/elasticsearch/bin/elasticsearch-create-enrollment-token -s kibana
systemctl enable kibana
systemctl start kibanaKibana 监听本地地址,对外访问通过 Nginx 转发并配置 HTTPS:
server {
listen 443 ssl;
server_name kibana.your-domain.com;
ssl_certificate /path/to/cert.pem;
ssl_certificate_key /path/to/key.pem;
location / {
proxy_pass http://127.0.0.1:5601;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_http_version 1.1;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
}
}⚠️ 配置注意: Kibana 使用 WebSocket 传输部分数据,反向代理必须包含
Upgrade 与Connection 两个头部。缺少这两行时界面能打开,但部分图表会持续加载不出来,这类故障很难从报错信息定位。
在控制台防火墙中只放行 443 端口,5601 端口不对公网开放。
apt install -y filebeat
vi /etc/filebeat/filebeat.yml采集 Nginx 日志的配置示例:
filebeat.inputs:
- type: filestream
id: nginx-access
enabled: true
paths:
- /var/log/nginx/access.log
fields:
log_type: nginx-access
fields_under_root: true
output.elasticsearch:
hosts: ["https://127.0.0.1:9200"]
username: "elastic"
password: "你的密码"
ssl.verification_mode: none
index: "logs-nginx-%{+yyyy.MM.dd}"
setup.template.name: "logs-nginx"
setup.template.pattern: "logs-nginx-*"
setup.ilm.enabled: falsesystemctl enable filebeat
systemctl start filebeat
# 查看采集状态
journalctl -u filebeat -f在 Kibana 的索引管理页面能看到 logs-nginx-* 索引且文档数持续增长,说明链路已打通。
日志索引不做生命周期管理,磁盘一定会被写满。 这是单机 ELK 最常见的运行故障。
在 Kibana 的 Stack Management 中创建 ILM 策略,或用 API 创建:
curl -k -u elastic -X PUT "https://127.0.0.1:9200/_ilm/policy/log-policy" \
-H 'Content-Type: application/json' -d '{
"policy": {
"phases": {
"hot": {
"actions": {
"rollover": { "max_primary_shard_size": "10gb", "max_age": "7d" }
}
},
"delete": {
"min_age": "30d",
"actions": { "delete": {} }
}
}
}
}'该策略的含义是:单个分片超过 10 GB 或索引超过 7 天时滚动到新索引,索引创建满 30 天后删除。
Elasticsearch 内置磁盘水位保护,达到阈值时会停止写入:
水位线 | 默认阈值 | 触发后的行为 |
|---|---|---|
低水位 | 85% | 不再向该节点分配新分片 |
高水位 | 90% | 尝试迁移分片到其他节点 |
洪泛水位 | 95% | 索引被设为只读,写入全部失败 |
🔴 重要提醒: 磁盘使用率触及 95% 后,索引会被自动置为只读,此时清理磁盘空间不会自动恢复写入,需要手动解除只读标记。磁盘监控必须配在触及 85% 之前告警。
解除只读标记的命令:
curl -k -u elastic -X PUT "https://127.0.0.1:9200/_all/_settings" \
-H 'Content-Type: application/json' \
-d '{"index.blocks.read_only_allow_delete": null}'现象 | 可能原因 | 处理方向 |
|---|---|---|
ES 启动后进程消失 | 堆内存设置超过物理内存一半 | 调低 |
ES 启动失败且日志提示 vm.max_map_count | 系统参数未调整 | 执行 |
Kibana 界面能打开但图表不加载 | 反向代理缺少 WebSocket 头部 | 补充 |
Filebeat 运行但索引无数据 | 认证失败或日志路径不存在 | 查看 Filebeat 日志中的连接错误 |
写入突然全部失败 | 磁盘触及洪泛水位被置只读 | 清理磁盘后手动解除只读标记 |
查询响应缓慢 | 索引分片过多或堆内存不足 | 合并旧索引或提升内存规格 |
调整系统参数并持久化:
echo "vm.max_map_count=262144" >> /etc/sysctl.conf
sysctl -p检查一:9200 端口是否未对公网开放。 在控制台防火墙规则中确认 9200 不在放行列表,这是 ELK 部署的首要安全边界。
检查二:ILM 策略是否已对新索引生效。 策略创建后需绑定到索引模板,只创建策略不绑定等于没配。
检查三:磁盘监控是否已配置告警。 阈值设在 80% 而非 85%,留出处理时间。
检查四:快照是否已创建。 轻量应用服务器支持对实例创建快照,保存某个时间点的完整数据。
💡 操作建议: 在升级 Elasticsearch 大版本或调整索引映射之前创建快照。ES 的索引映射一旦写入无法直接修改字段类型,改错后需要重建索引,有快照可直接回滚。
ELK 单机部署的核心约束是内存:每天 1 GB 以内日志用 4 核 8 GB 配 4 GB 堆,1~5 GB 用 4 核 16 GB 配 8 GB 堆,超过 5 GB 应拆分部署。堆内存不得超过物理内存一半,network.host 必须绑定本地地址,9200 端口不对公网开放。磁盘容量按日志量乘保留天数乘 1.3 估算,并务必配置索引生命周期策略与 85% 以下的磁盘告警。
轻量应用服务器以套餐形式交付计算、SSD 云硬盘与网络资源,提供快照备份、自定义镜像、内网互联与可视化防火墙配置,适合作为单机 ELK 的承载主机。套餐规格可在产品页查看:https://cloud.tencent.com/product/lighthouse
腾讯云双十一大促期间,轻量应用服务器多个规格参与促销,并提供代金券礼包、买赠时长与双人拼团加赠资源等优惠形式,适合日志平台搭建阶段一次性锁定成本。活动页面:https://cloud.tencent.com/act/pro/double11-202611
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。