FE 元数据备份恢复

最近更新时间:2025-12-25 16:57:51

我的收藏

功能介绍

StarRocks FE 元数据包含集群拓扑、表结构、分区信息等核心数据,是集群正常运行的基础。腾讯云 EMR StarRocks 提供 FE 元数据自动备份能力,默认每 12 小时将元数据从/data/emr/starrocks/fe/meta目录备份至/data/emr/backup目录,支持通过配置参数自定义备份周期,同时提供多种元数据损坏场景的恢复方案,保障集群数据安全性和可用性。

风险提示

1. 元数据备份和恢复操作涉及集群核心配置,建议操作前先备份当前元数据目录,避免误操作导致数据丢失。
2. 修改备份周期后需重启 agent 才能生效,重启过程不影响集群运行,但需确保配置参数格式正确。
3. 元数据恢复过程中需停止相关 FE 节点,可能短暂影响集群读写服务,建议在业务低峰期执行。
4. 恢复操作中涉及配置文件修改、节点启停等关键步骤,需严格按照文档步骤执行,否则可能导致集群无法正常启动。
5. 部分恢复场景可能需要同步升级 BDBJE 组件或 StarRocks 版本,需提前确认版本兼容性。

FE 元数据备份配置

配置说明

默认备份周期为 12 小时,支持通过backup.meta.starrocks.interval.hour参数自定义周期(单位:小时),配置后需重启 woodpecker-agent 使配置生效。

操作步骤

1. 登录部署 StarRocks FE 的节点
2. 修改配置文件:编辑 config.ini 配置文件,添加备份周期参数:
2.1 路径:/usr/local/service/woodpecker/woodpecker-agent/etc/config.ini
2.2 在emragent 配置段中添加以下配置(默认值 12,可根据需求调整):backup.meta.starrocks.interval.hour = 12
3. 重启 woodpecker-agent:执行以下命令重启 agent,使配置生效:
# 停止agent
/usr/local/service/woodpecker/woodpecker-agent/bin/woodpecker-daemon.sh stop
# 启动agent
/usr/local/service/woodpecker/woodpecker-agent/bin/woodpecker-daemon.sh start
4. 验证配置:查看 agent 运行日志,确认备份配置已加载:
grep "backup.meta.starrocks.interval.hour" /usr/local/service/woodpecker/woodpecker-agent/logs/agent.log

基于备份在新FE节点恢复元数据

使用元数据备份启动新的 FE 节点,请按照以下步骤操作:
1. 将备份的元数据路径 meta_dir 复制至新的 FE 节点。
2. 在该 FE 节点的配置文件中添加配置项 bdbje_reset_election_group 为 true。
bdbje_reset_election_group = true
3. 启动该 FE 节点。
./fe/bin/start_fe.sh
4. 查看当前节点是否为 Leader 节点。
SHOW FRONTENDS;
如果字段 Role 为 LEADER,说明该 FE 节点为 Leader FE 节点。确保返回的是当前 FE 节点的 IP 地址。
5. 如果数据和元数据完整,且该节点的角色是 Leader 后,需要删除之前添加的配置项 bdbje_reset_election_group 并重新启动节点。
6. 现在,您已成功通过元数据备份启动了新的 Leader FE 节点。您可以使用新 Leader FE 节点作为 Helper 添加 Follower 节点。
# 将 <leader_ip> 替换为 Leader FE 节点的 IP 地址(priority_networks),
# 并将 <leader_edit_log_port>(默认:9010)替换为 Leader FE 节点的 edit_log_port。
./fe/bin/start_fe.sh --helper <leader_ip>:<leader_edit_log_port> --daemon
注意:
1. 备份目录/data/emr/backup需确保有足够磁盘空间,建议定期清理过期备份文件,避免磁盘占满。
2. 若集群中多数 FE 节点无法启动或恢复失败,需参考 StarRocks 官方文档 的最终应急方案处理。
3. 操作过程中若遇到问题,可通过腾讯云 EMR 控制台 提交工单,或查看 FE 日志(/data/emr/starrocks/fe/log/fe.log)获取详细错误信息。
4. 建议定期通过SHOW FRONTENDS;命令检查 FE 节点状态,确保元数据同步正常。