Linux 文件系统 inode 耗尽排查

当磁盘空间充足却提示 No space left on device，SRE 如何快速破局？

场景还原：大促压测期的诡异 ENOSPC

⚠️ 故障定级：P1 核心交易中断

磁盘明明有海量剩余空间，内核却拒绝分配存储资源。这是典型的「假满盘」现象，底层根因直指文件系统元数据瓶颈——inode 耗尽。

排查过程：从表象到精准的定位链路

$ df -ihFilesystem      Inodes  IUsed   IFree IUse% Mounted on/dev/vdb1        500M    500M       0  100% /data$ dmesg | tail -n 5[2026-03-14T09:15:33.882Z] EXT4-fs warning (device vdb1): ext4_create: inode limit reached[2026-03-14T09:15:33.885Z] EXT4-fs error (device vdb1): ext4_journal_check_start: inode table full, no space left

$ for dir in /data/*/; do echo -n "$dir: "; find "$dir" -maxdepth 1 -xdev -type f 2>/dev/null | wc -l; done | sort -t: -k2 -nr | head -10/data/app_logs/: 482000000/data/cache/tmp/: 1240000/data/exports/csv/: 850000

$ ls -lhS /data/app_logs/ | head -5total 1.2G-rw-r--r-- 1 appuser appuser 1.2K 2026-03-14 09:10 trace_req_a8f3c.log-rw-r--r-- 1 appuser appuser 0.8K 2026-03-14 09:10 trace_req_b12d9.log-rw-r--r-- 1 appuser appuser 1.5K 2026-03-14 09:10 trace_req_c77e1.log

根因分析：小文件风暴与内核调度冲突

修复方案：止血与根治并行

🛠️ 紧急止血（MTTR 控制在 15 分钟内）

1. 停止写入源：通过配置中心下发 agent.fallback.enabled=false，阻断新文件生成。2. 批量清理：使用 xargs 分片删除，避免 rm -rf 单进程打满 CPU。3. 释放句柄：对已删除但仍被进程 hold 的文件，重启相关 Java 进程释放 inode。

📝 分步执行命令参考

Step 1：安全删除（按 10万/批）

find /data/app_logs/ -type f -name "*.log" -mtime +0 -print0 | xargs -0 -n 100000 rm -f

Step 2：验证 inode 回收（需延迟 10-30s 生效）

watch -n 2 "df -ih /data | grep -v Filesystem"

Step 3：重建目录结构（防再次打满）

rm -rf /data/app_logs && mkdir -p /data/app_logs/$(date +%Y/%m/%d) && chown appuser:appuser /data/app_logs -R

总结沉淀：防御体系与一键诊断

#!/usr/bin/env bash# 2026-03-20 SRE Team: Inode Exhaustion Diagnostic Toolset -euo pipefailTOP_N=${1:-5}TARGET_DIR=${2:-/}echo -e "\n[INFO] 当前系统时间: $(date -u +"%Y-%m-%dT%H:%M:%SZ")"echo "=========================================="echo "🔍 1. 全局 Inode 使用概览"echo "=========================================="df -ih | grep -vE '^Filesystem|tmpfs|devtmpfs' | awk '{printf "%-20s %8s %8s %8s %5s %s\n", $6, $2, $3, $4, $5, $1}'echo ""echo "=========================================="echo "📊 2. 顶层目录文件数统计 (Top $TOP_N)"echo "=========================================="find "$TARGET_DIR" -maxdepth 1 -xdev -type d 2>/dev/null | while read dir; do    count=$(find "$dir" -xdev -type f 2>/dev/null | wc -l)    if [ "$count" -gt 0 ]; then        printf "%-40s %10d files\n" "$dir" "$count"    fidone | sort -k2 -nr | head -n $TOP_Necho ""echo "=========================================="echo "🗑️  3. 已删除但未释放的句柄检测"echo "=========================================="DEL_COUNT=$(lsof +L1 2>/dev/null | wc -l)if [ "$DEL_COUNT" -gt 0 ]; then    echo "⚠️ 发现 $DEL_COUNT 个已删除文件仍被进程占用！"    lsof +L1 2>/dev/null | awk '{printf "%-10s %-20s %-10s %-10s %s\n", $1, $2, $3, $4, $9}'else    echo "✅ 无泄漏句柄，inode 回收正常。"fiecho ""echo "=========================================="echo "💡 建议操作"echo "=========================================="echo "若 IUse > 80%，请执行："echo "  1. find <dir> -type f -mtime +1 -delete"echo "  2. lsof +L1 | awk '{print $2}' | sort -u | xargs -r systemctl restart"echo "=========================================="