自建对象存储出问题时的排查顺序:从现象到根因
mc mirror 做增量同步,比 rsync 更懂对象与分片上传
正确的第一步是分类:起不来、连不上、跑得慢,三条路完全不同。
先说结论
先分三类,再由外向内查:网络、进程、配置、依赖、资源。
- 先确认现象能复现,且能描述清楚
- 由外向内:端口、进程、配置、依赖、资源
- 读第一条错误,不是最后一条
- 改一个变量,验证一次,别一次改五处
- 留下记录:现象、假设、验证、结论
第一类:起不来
先看进程在不在,再看它为什么退出:mc mirror 做增量同步,比 rsync 更懂对象与分片上传。
- 查看服务状态与最近日志(不是全部日志)
- 确认端口是否被占用、权限是否足够
- 确认配置文件语法(多数服务支持 test 模式)
- 确认依赖的数据目录存在且可写
第二类:连不上
按「本机、网络、代理、应用」四层查:
| 层级 | 验证方式 | 典型原因 |
|---|---|---|
| 本机 | 本机 curl / telnet 端口 | 没监听、只听 127.0.0.1 |
| 网络 | 从另一台机器访问 | 防火墙、安全组、VLAN |
| 代理 | 检查反代配置与证书 | 路径、超时、头部大小 |
| 应用 | 看访问日志与错误日志 | 鉴权、限流、连接池耗尽 |
第三类:跑得慢
分片上传的 ETag 不是文件 MD5,校验要用 x-amz-checksum 头。
慢的问题先分清是「等」还是「算」:CPU 高是算,CPU 低但延迟高是等(IO、锁、网络)。

这个服务的高频故障点
同类的坑基本集中在这些位置:
- 纠删码的可用容量约为总容量的一半,不是四分之三
- mc mirror 做增量同步,比 rsync 更懂对象与分片上传
- 大量小对象会拖慢列举,10 万个对象 ls 一次要几十秒
别做的事
用 ETag 校验分片上传的文件,永远对不上
把 20 万个小文件塞进一个前缀,控制台列表直接卡死
一次改多个参数,会让下一次故障更难查。
把结论写下来
排查记录不是给别人看的,是给三个月后的自己看的。大量小对象会拖慢列举,10 万个对象 ls 一次要几十秒。
还有几处容易忽略的
都是小地方,但出问题时往往就卡在这里。
- 单盘模式没有冗余,盘坏了数据直接没;纠删码 4 盘只能坏 2 盘
- 生命周期规则是后台异步扫描,配完不会立刻删除对象
- 单盘跑对象存储当唯一备份目标,盘坏了源和备份一起没
排障能力不是知道更多命令,是知道先查什么。
评论 (3)
最小可用配置这个说法很好,先跑起来再优化。
「先看日志再猜」这句话值一篇文。
版本差异要强调,我照着做结果参数名全变了。
发表评论