Linux生产环境磁盘故障了怎么办?这些处理方法太实用了!

很多人一接到磁盘告警，第一反应就是直接去格式化或者重启服务器，结果反而把小问题搞成了大事故。遇到故障先稳住，第一步永远是收集信息，而不是盲目操作。

你先登到服务器里，用最基础的命令看看当前磁盘状态。比如执行 dmesg 看看内核日志里有没有IO错误，有没有磁盘坏道的提示，是不是出现了I/O超时之类的报错。

再用 df -h 看一下挂载情况，是不是本来应该挂载的分区没挂上，是不是有分区直接显示容量异常，或者直接提示你无法访问。很多时候磁盘满了也会被误以为是磁盘硬件故障，先看看是不是真的是硬件层面出了问题。

如果执行命令的时候，卡顿半天才能出来结果，甚至直接卡着不动，基本可以确定是磁盘硬件本身出问题了，或者存储链路断了。这时候千万别反复强行读写，不然只会让坏道扩散，原本能救的数据反而彻底救不回来。

生产环境里，数据永远比什么都重要。只要不是整个磁盘直接彻底报废，第一时间要做的就是把能备份的数据都导出来。

如果磁盘还能挂载，哪怕是只读挂载，先赶紧remount成只读模式，避免进一步写入破坏数据。执行命令很简单，mount -o remount,ro /dev/sdb1 就能把对应分区改成只读。之后赶紧把重要的数据同步到其他存储节点，用rsync或者tar打包都可以，能拷多少是多少。

要是磁盘已经没法正常挂载了，也别慌。可以用 ddrescue 这类工具做磁盘镜像，把现有磁盘的所有块按顺序克隆到一块新的备用磁盘上，哪怕有坏道，也会先把好的块都读出来，最后再尝试读取坏道区域，尽可能把数据损失降到最小。

别小看这一步，很多时候处理故障出问题，都是因为上来就想着修复，结果没备份直接操作，一不小心把分区表搞坏，那才叫真正的灭顶之灾。

你得先搞清楚，到底是磁盘本身硬件坏了，还是分区表坏了，还是文件系统出问题了，不一样的问题处理方法完全不一样。

如果是物理坏道，从内核日志里能直接看到类似 I/O error, dev sda 这样的提示，用 smartctl -a /dev/sda 看一下SMART信息，就能看到当前磁盘的健康状态，坏道数量已经重新分配扇区的计数，如果已经超过了阈值，直接换盘就完了，别想着修修补补继续用，生产环境经不起随时宕机的风险。

如果是逻辑坏道，或者只是文件系统出错了，那修复起来就简单多了。先卸载出问题的分区，然后执行 e2fsck -f /dev/sdb1 （如果是ext系列文件系统的话），如果是xfs就用 xfs_repair，大部分的文件系统错误都能修复好。

这里一定要注意，千万不要在挂载状态下执行修复命令，不然反而会把文件系统搞坏，这个是很多新手常踩的坑，一定要记牢。

如果是分区表损坏了，其实也不用太慌。现在很多工具都能修复分区表，比如testdisk，扫一遍就能把原来的分区信息找回来，只要数据区没被覆盖，大部分都能恢复正常。我之前就遇到过一次误操作把分区表删了，最后用testdisk完整恢复了所有数据，比想象中好用很多。

如果是挂载了网络存储，比如NFS或者iSCSI，那还要先排查是不是链路出问题了，不是磁盘本身坏了，可能是交换机端口故障，或者存储服务器宕机了，别盯着本地磁盘瞎忙活，先排查链路层，很多时候都是网络问题导致的磁盘访问异常。

磁盘故障处理完，把系统恢复正常了，这事不算完。你得想想为什么会出这个问题，下次怎么避免同样的问题再发生，总不能每次出问题都手忙脚乱救场吧。

生产环境的磁盘，一定要做raid，不管是raid1还是raid5还是raid10，至少做个冗余，一块盘坏了，另一块直接顶上，不会影响业务运行，也不会丢数据。很多小公司为了省成本，单盘跑业务，出一次故障就能让你后悔好久，这点钱真的不能省。

如果你用的是云服务器，那直接开系统盘和数据盘的快照，定期自动快照，真出问题了，回滚快照比什么修复都快，还安全。

然后一定要做好监控，把磁盘的SMART健康状态、IO错误、使用率都加上监控告警，提前就能知道磁盘要坏了，提前换盘，别等彻底挂了才发现。很多时候磁盘坏之前一两个星期，SMART就会给出警告，只要你盯着，就能提前处理，不会影响业务。

还有一点很重要，那就是一定要定期做灾备演练，别光把备份开了就不管了，真出事了你才发现备份根本没法用，那才叫欲哭无泪。每个季度拉出来恢复一次，确认备份是好的，真出问题了才能稳得住。

如果真的是磁盘彻底报废，数据也没来得及备份，那也不能乱了阵脚。先赶紧把业务切到备用节点，用最近的备份先把业务恢复起来，先保证业务可用，再慢慢恢复数据，别为了救数据导致业务停几个小时，那损失就大了。

生产环境永远是业务可用性优先，数据恢复其次，这个顺序不能搞反。很多人搞反了顺序，为了救一块盘的那点数据，让整个业务停了大半天，反而造成了更大的损失。

如果数据真的特别重要，自己处理不了，别自己瞎折腾，赶紧找专业的数据恢复公司，人家有专业的设备和技术，比你自己瞎弄成功率高多了，只要不是盘彻底粉碎，大部分都能救回大部分数据。

最后说一句，Linux生产环境的磁盘故障，其实大部分都能提前预防，只要你做好监控和冗余，真出问题也不会太慌。怕就怕平时不做准备，出了问题又乱操作，最后小问题变成大事故。

做好该做的准备，哪怕真出了故障，你也能从容处理，不会手忙脚乱。提前备好预案，比出事之后再想办法有用一百倍。