Linux硬件RAID故障处理难吗?看完这篇全懂了!

硬件RAID是靠磁盘阵列卡来完成整个阵列的管理工作，和靠系统软件实现的软RAID不一样，它不占用服务器的CPU资源，性能和稳定性都更受企业级场景的偏爱。

我们跑业务的服务器，核心数据全靠RAID卡把几块盘攥成一块逻辑盘来保证安全，RAID卡本身或者某一块成员盘出问题的时候，整个存储都要跟着停摆。更要命的是，很多运维朋友只有理论知识，真碰到故障的时候手忙脚乱，连怎么查看故障状态都记不清，最后硬生生把小问题拖成了数据丢失的大事故。

硬件RAID出问题，本质上就是两类情况：要么是RAID卡本身挂了，要么就是成员磁盘故障离线，或者是阵列配置信息意外丢失。

大部分情况下，最先出问题的永远是单块磁盘。机械盘有坏道，固态块有擦写寿命，跑个三五年不出问题才是小概率事件。Linux系统本身不会主动告诉你哪块盘掉了，得自己去查状态，很多人就是因为没做日常巡检，等到第二块盘也挂了，才发现整个RAID5直接崩了，那时候哭都来不及。

别抱着服务器瞎重启，先搞清楚你用的是什么品牌的RAID卡。市面上主流的就是LSI系列、HP Smart Array、戴尔PERC这几个品牌，不同品牌要用不同的命令查看，找对工具才能一秒定位问题。

如果是LSI或者基于LSI方案的戴尔、浪潮RAID卡，直接用MegaCli工具就可以查状态。很多最小化安装的Linux默认不带这个包，你得先从官方源或者厂商官网下载安装。装上之后直接跑命令，就能看到整个阵列的健康状态，哪块盘掉线、掉盘的位置在哪，一眼就能看出来。

要是HP的服务器，就得用hpacucli或者新一代的ssacli工具，执行一条查询命令，就能把所有控制器、所有逻辑盘和物理盘的状态全列出来，标着Failed的就是出问题的盘，标着Degraded的就是阵列已经降级了，这时候就得马上处理。

很多人碰到RAID故障第一反应就是重新初始化阵列，这绝对是找死！初始化会直接清掉整个阵列的配置信息，原本只是单盘掉线，这下直接把所有数据都搞没了，找恢复都救不回来。

只要服务器还能进系统，先把重要数据做完整备份再操作，哪怕备份要花几个小时，也比直接乱操作丢数据强一万倍。

碰到阵列整个找不到，系统识别不到逻辑盘的情况，先别慌。先关机检查硬件，看看RAID卡是不是松了，背板的数据线有没有掉，有没有哪里明显的烧焦味道。如果是RAID卡意外掉电导致配置丢失，很多卡都有备份的配置信息在硬盘上，找对工具就能直接导入原有配置，不需要重建阵列

谁能想到平时安安稳稳跑着业务的服务器，突然就因为硬件RAID故障卡壳了。前阵子帮朋友处理线上服务器问题，登陆进Linux系统一看，磁盘阵列直接报了异常，整个阵列卡识别不到硬盘，系统都没法正常启动，当时朋友整个人都慌了，毕竟里面存着好几年的业务数据，真找不回来可就麻烦大了。

其实大部分Linux下的硬件RAID故障，都不是什么突然蹦出来的灭顶之灾，早早就有信号提醒你了。比如你会发现系统拷贝大文件的时候速度突然掉得厉害，本来几十秒就能跑完的任务，硬生生卡十几分钟都结束不了。又或者登陆系统之后，用RAID卡自带的管理工具一查，直接能看到某个物理硬盘显示成了Foreign或者Failed状态，这就是明明白白告诉你，这块盘已经顶不住要歇菜了。

别小看一块硬盘故障这件事，如果是用的RAID1或者RAID5，一块盘掉线其实还能勉强跑，很多人就觉得反正不影响用就不管了。结果拖着拖着，第二块硬盘也顶不住出问题，那整个阵列直接就崩了，数据想找回来都难。我见过太多抱着侥幸心理的用户，最后花几万块找数据恢复都救不回全部内容，那才叫真的后悔莫及。

硬件RAID出问题，大概率逃不开几种情况。最常见的就是单盘物理故障，毕竟硬盘本身就是消耗品，不管是机械盘还是固态盘，都有自己的使用寿命，长时间高负载运行，出现坏道或者读写错误都是常事。放到Linux系统里，你去看系统日志/var/log/messages，能刷出来一大堆IO错误的提示，RAID卡也会直接把这块盘踢出阵列。

还有一种很容易碰到的就是阵列卡本身的问题，比如阵列卡缓存出问题了，或者固件版本太老有bug，甚至阵列卡的电池没电了，都可能导致整个阵列识别异常。我之前碰到过一次，就是服务器用了五六年，阵列卡的备份电池彻底亏电，结果掉电之后RAID配置信息直接丢了，开机之后阵列卡直接认不出来原来的阵列，显示所有硬盘都是未配置状态，当时可把运维大哥急出一身汗。

还有一种比较坑的情况，就是硬盘本身没坏，但是因为接口松动或者背板出问题，导致RAID卡识别不到硬盘。这种情况看起来问题不大，但你要是瞎操作，随便去重建阵列，那反而会把原有数据搞坏。之前有个客户就是，本来只是硬盘接口松了，他上来直接初始化了硬盘重新做阵列，原来好好的数据直接被他清掉了，得不偿失。

还有一种情况比较特殊，就是你换完故障盘重建阵列的时候，中途出问题了。比如重建过程中断电了，或者新换的硬盘本身有问题，重建到一半卡住了，这个时候整个阵列都会变成降级而且不可用的状态，要是处理不好，原来好的数据也会跟着受损。这种情况最关键的就是别动原有硬盘，先把所有盘做镜像备份再操作，千万不要直接反复重建，很多人就是急着恢复业务反复操作，最后把数据彻底搞坏。

现在真碰到了Linux下硬件RAID故障，第一步应该做什么？肯定不是上来就重建阵列，也不是直接换硬盘。第一步肯定是先备份，只要你还能进系统，能挂载阵列，先把重要数据全拷贝出来，要是阵列已经没法挂载了，也千万别往里面写任何东西，先找专业人员把所有硬盘做全盘镜像，确保数据不会因为操作失误二次损坏。

如果你用的是LSI的RAID卡，大部分Linux服务器都带了MegaCli工具，你可以直接用这个工具看阵列状态。输入命令就能看到当前阵列级别，多少块盘在线，多少块盘掉线，有没有异常。比如显示某个物理盘状态是Failed，那基本就能确定是这块盘出问题了，这个时候你只要找一块同型号甚至容量更大的硬盘，直接热插拔换上就行，RAID卡会自动开始重建，你等着跑完就行。

要是换完盘之后重建失败，或者阵列卡直接识别不到阵列了，这个时候千万不要乱重建，也不要强行初始化阵列。很多时候是RAID的配置信息丢失了，只要找到原来配置的参数，重新导入配置就能恢复，不需要重新做阵列。之前我处理过一个配置信息丢了的情况，原来的阵列是RAID5三块盘，我们找对了原来的块大小和盘顺序，直接重新配置一下就识别出原来的数据了，一点都没丢。

如果是阵列卡本身坏了，其实也不用太慌，只要硬盘没坏，找一块同型号的阵列卡换上，直接导入原来的配置就能正常识别。只有少数情况，不同型号的阵列卡不兼容原来的配置，这个时候才需要手动重组阵列，只要操作对了，数据也都能找回来。

其实大部分硬件RAID的严重故障，都是日常不维护攒出来的。你想想，要是你每个月都定期查一下RAID状态，看看有没有硬盘掉线，有没有坏道，早就把问题处理了，哪会等到两块盘都坏了才慌神。

最好的办法就是配置邮件告警，Linux下可以用脚本定时去查RAID状态，要是发现有硬盘异常，直接发邮件通知运维，不用天天盯着服务器，有问题马上就能知道。还有就是定期检查阵列卡的电池状态，很多阵列卡靠着电池给缓存备份，要是电池亏电了，不仅掉电会丢数据，还可能导致阵列识别出问题，一般三四年就要换一块电池，花不了几个钱，能省好多事。

换硬盘的时候也要注意，尽量买和原来硬盘参数差不多的，要是原来的硬盘是1TB 7200转的，你别换个500G的上去，容量不够根本没法重建，就算容量够，转速差太多，重建的时候也容易出问题。还有就是，重建阵列的时候别重启服务器，别中断进程，老老实实等着跑完，要是中途出问题，真的很难救。

还有很重要的一点，不管你的RAID做的多靠谱，一定要定期做备份！RAID是冗余，不是备份！RAID能防单盘故障，防不了你误删，防不了整个阵列损坏，更防不了病毒和机房火灾。定期把重要数据备份到另外的存储设备，哪怕出了大问题，你也能直接恢复，不会慌了手脚。

很多人觉得硬件RAID很稳，就不管不顾了，其实稳不稳全看你用不用心维护。真出了故障也别乱操作，越乱搞越容易把数据搞没，要是自己拿不准，赶紧找专业人士处理，别抱着试一试的心态瞎折腾，最后把本来能救的数据彻底搞没，那才是最大的损失。