前段时间我们生产环境遇到了一个特别头疼的问题，服务器突然断电重启后，发现有个分区挂载不上了，系统报错说文件系统有问题。当时真的是冷汗直冒，要知道那个分区里放着重要的业务数据啊！
相信很多做运维的朋友都遇到过类似的情况，服务器异常关机、硬盘故障、甚至是误操作，都可能导致文件系统出现错误。今天我就把这些年积累的文件系统检查和修复经验分享给大家，希望能帮到遇到同样问题的兄弟们。
什么是文件系统错误
在开始讲具体操作之前，我觉得有必要先说说文件系统错误到底是怎么回事。
Linux的文件系统就像是一个巨大的图书馆，每个文件都有自己的位置和索引。当系统正常运行时，所有的读写操作都会按照规定的流程进行，文件系统会维护各种元数据信息，比如inode表、目录结构、空闲块列表等等。
但是当系统异常关机或者硬盘出现问题时，这些元数据可能会变得不一致。比如说，一个文件明明已经删除了，但是inode表里还记录着它的存在；或者某个数据块被标记为空闲，但实际上还被某个文件占用着。这些不一致的情况就是我们说的文件系统错误。
我记得有一次，一台服务器的UPS电池没电了，突然断电导致ext4文件系统出现了大量的orphaned inodes（孤儿inode）。当时系统启动时就卡在那里不动了，后来才知道是文件系统自检发现了问题。
fsck工具详解
说到Linux文件系统检查和修复，就不得不提fsck这个神器了。fsck全称是File System Consistency Check，顾名思义就是用来检查文件系统一致性的。
fsck其实不是一个单独的程序，而是一个前端工具，它会根据文件系统的类型调用相应的检查程序。比如对于ext4文件系统，它会调用fsck.ext4；对于xfs文件系统，它会调用fsck.xfs。
fsck的工作原理
fsck的工作过程大概可以分为几个阶段：
阶段1：检查inode和块
这个阶段主要检查每个inode的基本信息是否正确，包括文件类型、权限、链接数等。同时检查inode指向的数据块是否有效。
阶段2：检查目录结构
检查目录项是否指向有效的inode，目录的父子关系是否正确。
阶段3：检查目录连接性
确保每个目录都可以从根目录访问到，没有孤立的目录。
阶段4：检查引用计数
验证每个inode的链接计数是否与实际的目录项数量匹配。
阶段5：检查块和inode映射
检查块位图和inode位图的一致性，确保没有重复分配或遗漏。
实战操作步骤
好了，理论说得差不多了，现在来点实际的。当你遇到文件系统错误时，应该怎么处理呢？
第一步：进入单用户模式
这一步非常重要！在修复文件系统之前，必须确保文件系统没有被挂载，或者以只读方式挂载。如果文件系统正在被使用，fsck可能会造成数据损坏。
如果是根文件系统出问题，你需要从救援模式启动：
sudo systemctl isolate rescue.target
或者在启动时进入单用户模式，在GRUB菜单中编辑启动参数，添加 single 或 1。
如果是其他分区，直接卸载就行：
sudo umount /dev/sdXn
我之前就吃过这个亏，有一次图省事直接对挂载的文件系统运行fsck，结果把好好的文件系统搞坏了，数据都找不回来了。所以这个步骤千万不能省略！
第二步：运行fsck检查
卸载文件系统后，就可以开始检查了：
sudo fsck /dev/sdXn
不过我建议先用只读模式检查一下，看看到底有什么问题：
sudo fsck -n /dev/sdXn
-n 参数表示只检查不修复，这样可以安全地了解文件系统的状况。
如果检查发现问题，fsck会给出详细的报告。比如可能会看到这样的输出：
/dev/sdb1: Inode 1234 has illegal block(s).
/dev/sdb1: Deleted inode 1234 has non-zero size.
/dev/sdb1: UNEXPECTED INCONSISTENCY; RUN fsck MANUALLY.
第三步：自动修复
如果确认要修复，可以使用 -y 参数让fsck自动修复所有发现的问题：
sudo fsck -y /dev/sdXn
这个过程可能会比较长，特别是对于大容量的硬盘。我见过最夸张的一次，一个2TB的硬盘跑了整整6个小时才修复完成。
第四步：重新挂载
修复完成后，就可以重新挂载文件系统了：
sudo mount -o remount,rw /dev/sdXn
如果之前是单用户模式，现在可以退出到正常的多用户模式：
sudo systemctl isolate multi-user.target
不同文件系统的特殊处理
虽然fsck是通用工具，但不同的文件系统还是有一些特殊的地方需要注意。
ext4文件系统
ext4是目前Linux最常用的文件系统之一，对于ext4，我们可以使用一些特殊的参数：
# 强制检查，即使文件系统看起来是干净的
sudo fsck.ext4 -f /dev/sdXn
# 修复坏块
sudo fsck.ext4 -c /dev/sdXn
# 详细输出
sudo fsck.ext4 -v /dev/sdXn
有一次我遇到一个ext4分区，普通的fsck检查不出问题，但是访问某些文件时总是报I/O错误。后来用 -c 参数检查坏块，果然发现了几个坏扇区。
xfs文件系统
xfs文件系统的修复工具有点特殊，它使用的是 xfs_repair 而不是 fsck.xfs：
# 检查但不修复
sudo xfs_repair -n /dev/sdXn
# 修复
sudo xfs_repair /dev/sdXn
需要注意的是，xfs文件系统必须完全卸载才能修复，不支持只读挂载状态下的修复。
btrfs文件系统
btrfs有自己的检查和修复工具：
# 检查
sudo btrfs check /dev/sdXn
# 修复（比较危险，慎用）
sudo btrfs check --repair /dev/sdXn
说实话，btrfs的修复功能还不是很成熟，我一般不建议在生产环境使用。
高级技巧和注意事项
使用SMART监控硬盘健康
预防总是比治疗要好。我建议大家都装上smartmontools工具，定期检查硬盘的SMART信息：
sudo smartctl -a /dev/sdX
通过SMART数据，我们可以提前发现硬盘的健康问题，避免文件系统错误的发生。
我之前管理的一台服务器，SMART数据显示有几个重定位扇区，当时没太在意，结果过了两个月硬盘就完全挂了，幸好提前做了备份。
日志分析
系统日志里通常会记录文件系统相关的错误信息。检查 /var/log/syslog、/var/log/messages 或者使用 dmesg 命令，可以帮助我们了解问题的根本原因。
dmesg | grep -i "ext4\|xfs\|btrfs"
定期备份的重要性
这个不用我多说了吧？再好的修复技术也比不上一个完整的备份。我现在用的备份策略是rsync + tar的组合，重要数据每天备份，系统配置每周备份。
有条件的话，建议使用专业的备份工具，比如duplicity、bacula等。云服务的话，各大云厂商都有不错的备份服务。
系统恢复工具
如果问题比较严重，普通的fsck修复不了，可能需要用到一些专业的数据恢复工具。
TestDisk 是一个开源的数据恢复工具，可以恢复丢失的分区和修复引导扇区：
sudo testdisk /dev/sdX
PhotoRec 可以恢复各种类型的文件，即使文件系统已经严重损坏：
sudo photorec /dev/sdX
不过这些工具操作起来比较复杂，建议在使用前先仔细阅读文档，最好是在测试环境先练练手。
真实案例分享
让我分享一个印象特别深刻的案例。
有一次突然接到公司的紧急电话，说生产环境的数据库服务器访问不了了。我赶紧远程登录，发现MySQL服务起不来，报错说数据目录不可访问。
通过dmesg查看，发现ext4文件系统出现了大量的I/O错误。我的第一反应是硬盘坏了，但是用smartctl检查发现SMART数据正常。
后来经过排查，发现是机房的UPS出了问题，导致服务器异常断电。虽然文件系统有journal保护，但还是出现了一些元数据不一致的问题。
我先用fsck -n检查了一下，发现有几十个inode的链接计数不正确，还有一些orphaned inodes。然后切换到单用户模式，运行fsck -y修复。整个过程花了大概40分钟，修复完成后数据库正常启动，数据没有丢失。
这个事件让我深刻认识到了UPS和定期备份的重要性，后来我们升级了UPS系统，还增加了实时备份。
预防措施
既然说到了预防，我就多分享几个经验：
合理配置文件系统
在创建文件系统时，可以调整一些参数来提高稳定性：
# 创建ext4时设置更频繁的自检
sudo mkfs.ext4 -c -c /dev/sdXn
使用合适的挂载选项
在 /etc/fstab 中配置合适的挂载选项：
/dev/sdXn /data ext4 defaults,errors=remount-ro 0 1
errors=remount-ro 选项会在发现错误时自动以只读方式重新挂载，避免进一步的数据损坏。
总结
文件系统错误虽然听起来很可怕，但只要掌握了正确的方法，大部分问题都是可以解决的。关键是要保持冷静，按照正确的步骤操作，千万不要病急乱投医。
记住几个要点：
我这些年处理过各种各样的文件系统问题，从简单的inode错误到复杂的分区表损坏，基本上都能搞定。但是说实话，最好的修复就是不需要修复，做好预防工作才是王道。
希望这篇文章能帮到遇到类似问题的朋友们。如果你觉得有用的话，记得点个赞转发一下，让更多的人看到。有什么问题也欢迎在评论区讨论，我会尽力回答的。
运维路上我们一起成长，遇到问题不要慌，办法总比困难多！
公众号：耕云躬行录
个人博客：躬行笔记
10个月宝宝每天需要喝多少奶粉？
