结构化日志的长期维护:升级、备份与迁移的顺序

开发 · 3 分钟阅读· 287 次阅读

字段名不统一(uid/userId/user_id)会让查询条件永远写不全

把升级、备份、迁移这三件事流程化,才敢长期用。

先说结论

升级前先备份,备份后先演练恢复;不能回滚的升级不做。

  • 固定版本,改动前记录当前版本号
  • 升级前:备份数据 + 备份配置
  • 升级后:验证核心功能,不只看进程
  • 迁移:先迁数据,再迁流量
  • 回滚方案写在纸上,别只存在脑子里

升级策略

trace_id 要在入口生成并透传,缺了它跨服务排查只能靠时间猜。

类型 频率 风险 做法
补丁版本 每月 低 直接升,保留旧镜像
次版本 每季 中 看变更日志,先在测试实例升
大版本 按需 高 读迁移指南,准备回滚
依赖升级 每季 中 锁版本,别用 latest

备份的三层

三层分别是:数据备份、配置备份、以及「能重建这台机器」的文档。缺第三层,前两层迟早用不上。

这个服务的几个维护事实

和它自身机制相关的几条:

  • 时间戳统一用 UTC 毫秒,本地时区只在展示层转,能省掉一半对时问题
  • trace_id 要在入口生成并透传,缺了它跨服务排查只能靠时间猜
  • debug 全量打开时日志量能涨 5-10 倍,磁盘往往先满
  • 把手机号、身份证写进日志,等于给自己造了一个合规问题

结构化日志的长期维护

迁移的步骤

把手机号、身份证写进日志,等于给自己造了一个合规问题。

  • 新机器按文档重建环境,验证空跑
  • 同步数据,做一次一致性校验(条数、校验和)
  • 切换前用 hosts 指向新机器验证
  • 切换 DNS 或反代,保留旧机器一周
  • 观察日志与错误率,再决定是否下线旧机

维护日历

每月:看磁盘与日志;每季:升级 + 备份校验;每半年:恢复演练一次;每年:清理不再需要的服务。

还有几处容易忽略的

都是小地方,但出问题时往往就卡在这里。

  • 多行堆栈在容器日志里会被拆成多条,采集端要配 multiline 才能合回去
  • 日志里拼中文句子,想按字段统计时只能正则硬抠
  • 生产长期开着 debug,一周写满 200GB
  • 异常只打 message 不打堆栈,出问题时不知道哪一行

长期维护的秘诀很土:每次只改一件事,改完就验证。

评论 (3)

老
老吴

备份没验证过等于没有,这条我认。

阿
阿哲

排查顺序那段直接抄进值班手册了。

南
南风

「先看日志再猜」这句话值一篇文。

发表评论

验证码

提交后需站长审核,通过后才会显示。