结构化日志出问题时的排查顺序：从现象到根因

trace_id 要在入口生成并透传，缺了它跨服务排查只能靠时间猜

正确的第一步是分类：起不来、连不上、跑得慢，三条路完全不同。

先说结论

先分三类，再由外向内查：网络、进程、配置、依赖、资源。

• 先确认现象能复现，且能描述清楚
• 由外向内：端口、进程、配置、依赖、资源
• 读第一条错误，不是最后一条
• 改一个变量，验证一次，别一次改五处
• 留下记录：现象、假设、验证、结论

第一类：起不来

先看进程在不在，再看它为什么退出：trace_id 要在入口生成并透传，缺了它跨服务排查只能靠时间猜。

• 查看服务状态与最近日志（不是全部日志）
• 确认端口是否被占用、权限是否足够
• 确认配置文件语法（多数服务支持 test 模式）
• 确认依赖的数据目录存在且可写

第二类：连不上

按「本机、网络、代理、应用」四层查：

第三类：跑得慢

debug 全量打开时日志量能涨 5-10 倍，磁盘往往先满。

慢的问题先分清是「等」还是「算」：CPU 高是算，CPU 低但延迟高是等（IO、锁、网络）。

这个服务的高频故障点

同类的坑基本集中在这些位置：

• 时间戳统一用 UTC 毫秒，本地时区只在展示层转，能省掉一半对时问题
• trace_id 要在入口生成并透传，缺了它跨服务排查只能靠时间猜
• debug 全量打开时日志量能涨 5-10 倍，磁盘往往先满
• 把手机号、身份证写进日志，等于给自己造了一个合规问题

别做的事

生产长期开着 debug，一周写满 200GB

异常只打 message 不打堆栈，出问题时不知道哪一行

一次改多个参数，会让下一次故障更难查。

把结论写下来

排查记录不是给别人看的，是给三个月后的自己看的。把手机号、身份证写进日志，等于给自己造了一个合规问题。

还有几处容易忽略的

都是小地方，但出问题时往往就卡在这里。

• 多行堆栈在容器日志里会被拆成多条，采集端要配 multiline 才能合回去
• 字段名不统一（uid/userId/user_id）会让查询条件永远写不全
• 日志里拼中文句子，想按字段统计时只能正则硬抠

排障能力不是知道更多命令，是知道先查什么。