Linux 内存页与块 IO 的恩怨:Page Cache、Dirty Page 回写与 IO 隔离

Linux 的 Page Cache是 IO 性能的放大器，也是 IO 毛刺的根源。它把磁盘写入变成了异步操作，让应用"感觉"飞快。但当脏页积累到阈值、内核开始批量刷盘时，磁盘瞬间被淹没，业务延迟直接飙升。

本文深度拆解：Page Cache 的工作机制、脏页回写触发条件、cgroup writeback IO 隔离，以及生产环境的终极调优方案。

CPU 和磁盘之间差了 2-5 个数量级。如果每次读写都直接操作磁盘，CPU 几乎全在等 IO。

Page Cache 把磁盘数据缓存在内存中，用 局部性原理减少磁盘访问：

• **时间局部性**：刚读过的数据很可能马上再读（如数据库热点数据）
• **空间局部性**：读了一个页，相邻页很可能也会被读（如顺序读）

`

应用读 /data/log/app.log

检查 Page Cache

/ \

命中 未命中

从内存拷贝 缺页中断

到用户空间 发起磁盘 IO

(nanosecond) (millisecond)

`

缓冲区（Buffer Cache）和页缓存（Page Cache）在内核 2.4 之后已经统一：/proc/meminfo 里的 Cached 包含所有以页为单位缓存的文件数据。

当应用调用 write() 时，数据没有直接到磁盘，而是：

1. 写入 Page Cache 中对应的页
2. 该页标记为 **Dirty（脏页）**
3. write() 立即返回（这就是写操作感觉"快"的原因）
4. 内核在后台通过 **pdflush（/ flusher 线程）** 将脏页刷回磁盘

`

write() → 复制数据到 Page Cache → 标记脏页 → 返回成功

flusher 线程 (后台)

磁盘 IO (异步)

`

`

/proc/sys/vm/dirty_ratio # 默认 20

/proc/sys/vm/dirty_background_ratio # 默认 10

/proc/sys/vm/dirty_expire_centisecs # 默认 3000（30s）

`

假设服务器有 128GB 内存：

1. 应用持续写入，脏页从 0 开始积累
2. 达到 dirty_background_ratio = 10%（12.8GB）→ flusher 开始后台回写
3. 如果写入速度 > 磁盘回写速度，脏页继续增长
4. 达到 dirty_ratio = 20%（25.6GB）→ **应用写入被阻塞**！
5. 磁盘瞬间被大量回写 IO 淹没，延迟从 us 级跳到 ms 级

`

grep -E "Dirty|Writeback" /proc/meminfo

# 如果 Dirty 一直 > 5GB 且在增长，说明回写跟不上写入

# 需要降低 dirty_ratio 或提升磁盘能力

`

1. **内核 2.6 时代**：pdflush 线程池，所有磁盘共享
2. **内核 3.x+**：每个后备设备一个 flusher 线程（/sys/fs/bdi/*/min_ratio）

`

# 查看 flusher 线程

ps aux | grep flush

root ... [flush-8:0] # nvme0n1 的 flusher

root ... [flush-253:0] # dm-0 的 flusher

`

1. **空间阈值**：脏页达到 dirty_background_ratio
2. **时间阈值**：脏页存活超过 dirty_expire_centisecs
3. **内存压力**：系统内存不足需要回收
4. **sync/free 命令**：用户手动触发

`

# 查看 flusher 的 IO 行为

iostat -x 1

# w_await 周期性升高 → 可能是 flusher 批量刷盘

# 查看脏页年龄分布

cat /proc/vmstat | grep nr_dirty

# nr_dirty_threshold 接近 dirty_ratio 说明快阻塞了

`

K8s 节点上运行了 10 个 Pod：

1. Pod-A 持续大量写入（日志收集）→ 产生大量脏页
2. Pod-A 的写入触发 flusher 刷盘 → 磁盘带宽被占满
3. Pod-B 的数据库查询延迟从 1ms 飙升到 500ms

根本原因：flusher 回写 IO 是全局的，无法区分 IO 来自哪个 cgroup。

Linux 4.0+ 支持 cgroup writeback（需要 cgroup v2 + fs 支持）：

`

# 启用 cgroup v2（grub 配置）

systemd.unified_cgroup_hierarchy=1

# 验证是否启用

mount | grep cgroup

# cgroup2 on /sys/fs/cgroup type cgroup2

`

每个 cgroup 有自己的脏页上限和 flusher IO：

`

# 为容器设置独立的写带宽限制

# 使用 io.max（cgroup v2）

echo "8:0 rbps=100M wbps=50M" > /sys/fs/cgroup//io.max

# 查看 cgroup 级别的脏页统计

cat /sys/fs/cgroup//memory.stat | grep dirty

`

使用 ionice降低非核心 IO 的优先级：

`

# 给日志收集进程设置 idle IO 优先级

ionice -c 3 -p $$(pgrep -f log_collector)\n

# 给数据库进程设置 real-time IO 优先级

ionice -c 1 -p $$(pgrep -f mysqld)\n`

NVMe SSD 需要定期 TRIM 来维持写入性能。strim 服务默认每周运行：

`

# 检查 fstrim 运行时间

systemctl status fstrim.timer

# 调整频率或禁用

systemctl disable fstrim.timer

# 手动执行（建议在低峰期）

fstrim -v /

`

目标是减少脏页积累、降低写毛刺：

`

# 降低脏页阈值，让 flusher 更频繁但更小量地刷盘

vm.dirty_background_ratio = 3

vm.dirty_ratio = 10

`

优点：写毛刺从"每 30s 卡 2s"变成"持续平稳写"

缺点：CPU 开销增加（flusher 更活跃）

目标是最大化写入吞吐，容忍偶尔毛刺：

`

# 提高脏页阈值，让 flusher 不频繁打扰

vm.dirty_background_ratio = 20

vm.dirty_ratio = 50

vm.dirty_expire_centisecs = 60000 # 脏页最多存活 10 分钟

`

优点：大块顺序 IO 聚合更好，吞吐更高

缺点：脏页多时回写时间长，sync 操作会很慢

对于数据库等有自身缓存的场景：

`

# MySQL

innodb_flush_method=O_DIRECT # 绕过 Page Cache

innodb_flush_method=O_DIRECT_NO_FSYNC # MySQL 8.0+ 推荐

# PostgreSQL

shared_buffers = 8GB

effective_io_concurrency = 200

# PG 默认用 direct IO 风格

`

注意：O_DIRECT 要求写入对齐（通常 512 字节），且丢失了 Page Cache 的 read-ahead 预读功能。

Linux 内核通过 kswapd和 direct reclaim回收 Page Cache：

`

kswapd (后台异步回收)

v

direct reclaim (前台同步回收)

v

OOM Killer

v

系统无法分配内存

`

`

# 查看内存水位

cat /proc/zoneinfo | grep -E "low|high|min|nr_free"

# 如果 nr_free_pages < watermark[low]，说明内存紧张

# 查看 swap 使用（swap 大 ≠ 坏事，但说明内存不足）

free -h

# 查看直接回收次数（越高越不好）

cat /proc/vmstat | grep direct_reclaim

# direct_reclaim_success 大幅增长说明内存不足

`

`

# 查看 Page Cache 占内存比例

grep -E "^Cached|^MemTotal" /proc/meminfo

# 限制 Page Cache 上限（内核 6.x+）

# 设置 /proc/sys/vm/vfs_cache_pressure 控制回收倾向

# 默认 100，调高到 200 让内核更积极回收 cache

vm.vfs_cache_pressure = 200

`

`ash

# 1. 全局扫一眼

cat /proc/meminfo | grep -E "Dirty|Writeback"

# 如果 Dirty > 5GB，进入下一步

# 2. 看磁盘有没有被打满

iostat -x 1

# w_await > 20ms 说明盘忙

# 3. 看哪个进程在刷盘

iotop -oP

# 找 flush 线程或大量写进程

# 4. 看脏页增长速率

watch -n 1 "cat /proc/vmstat | grep nr_dirty"

# 5. 调整参数（临时验证）

echo 5 > /proc/sys/vm/dirty_background_ratio

echo 15 > /proc/sys/vm/dirty_ratio

# 观察 Dirty 是否下降

`

Page Cache 把"同步写"变成"异步写"，是 Linux IO 性能的基石。但它不是免费的午餐：

1. **写毛刺**：脏页达到阈值时的批量回写导致延迟飙升
2. **内存竞争**：Page Cache 吃太多内存，影响应用可用内存
3. **cgroup 隔离**：多租户场景必须有 writeback 隔离

核心调优思路就是一句话：用空间换延迟，还是用延迟换吞吐。

下一篇我们进入 存储性能调优实战，用 iostat、blktrace、perf 拆解 IO 栈每层瓶颈，并给出 NVMe、SATA SSD、HDD 三种场景的完整优化方案。

>