自建日志聚合的长期维护：升级、备份与迁移的顺序

Promtail 按文件 tail，容器日志要先落到节点磁盘才采得到

把升级、备份、迁移这三件事流程化，才敢长期用。

先说结论

升级前先备份，备份后先演练恢复；不能回滚的升级不做。

• 固定版本，改动前记录当前版本号
• 升级前：备份数据 + 备份配置
• 升级后：验证核心功能，不只看进程
• 迁移：先迁数据，再迁流量
• 回滚方案写在纸上，别只存在脑子里

升级策略

retention 默认不生效，要在 limits_config 里配并且开启 compactor。

备份的三层

三层分别是：数据备份、配置备份、以及「能重建这台机器」的文档。缺第三层，前两层迟早用不上。

这个服务的几个维护事实

和它自身机制相关的几条：

• 把 trace_id 或用户 ID 当标签会让基数爆炸，几十万条流拖垮写入
• 单条日志超过 256KB 会被拒收，长堆栈要截断
• 查询时间范围越大越慢，30 天的全量 grep 可能要几分钟

迁移的步骤

查询时间范围越大越慢，30 天的全量 grep 可能要几分钟。

• 新机器按文档重建环境，验证空跑
• 同步数据，做一次一致性校验（条数、校验和）
• 切换前用 hosts 指向新机器验证
• 切换 DNS 或反代，保留旧机器一周
• 观察日志与错误率，再决定是否下线旧机

维护日历

每月：看磁盘与日志；每季：升级 + 备份校验；每半年：恢复演练一次；每年：清理不再需要的服务。

还有几处容易忽略的

都是小地方，但出问题时往往就卡在这里。

• Loki 只给标签建索引，正文靠暴力扫描，标签设计直接决定查询快慢
• Promtail 按文件 tail，容器日志要先落到节点磁盘才采得到
• 给每个容器加 version 标签，每次发布多一条流，一年几十万条
• 没配 retention，一年后存储涨到几个 TB
• 用 Loki 存审计日志，要求精确检索才发现正文没索引

长期维护的秘诀很土：每次只改一件事，改完就验证。