当前位置：首页>Linux>2张图彻底搞懂 Linux 直接 I/O

2张图彻底搞懂 Linux 直接 I/O

2026-06-24 19:24:37

大家好，我是图书《图解Linux网络编程》的作者，本期文章我们来深入探索 Linux 直接 I/O。

1.什么是直接 I/O

直接 I/O（Direct I/O）是一种绕过文件页缓存的文件访问方式。应用程序直接从磁盘读写数据，避免了文件页缓存与用户缓冲区之间的额外数据拷贝，常用于数据库等对数据一致性和缓存控制要求较高的场景。

直接 I/O 优点如下：

绕过文件页缓存，节省内存。
应用程序自主管理 IO 缓存与读写逻辑，灵活性强。
减少数据拷贝次数。
数据直接落盘，降低落盘延迟。

直接 I/O 缺点如下：

强制要求三重对齐，使用门槛高。
不经过页缓存，无法享受内核预读、缓存命中带来的性能增益。
小粒度随机读写性能差，每次 I/O 都直接触发磁盘硬件读写。
仅同步文件数据块，不会自动持久化文件元数据，需手动调用 fsync()/fdatasync()。

不适合普通小文件、日志类简单读写场景。

2.从内核看直接 I/O

执行 open 系统调用传入 O_DIRECT 标志就开启了直接 I/O，否则便是缓存 I/O，具体情况如图1所示。

图1 直接 I/O 底层原理

用户程序1以直接 I/O 的方式打开测试文件，如下：

int fd = open("test", O_RDWR | O_CREAT | O_DIRECT, 0644);

O_DIRECT 为直接 I/O 开启标志，内核打开文件时会创建一个 file 对象，file 对象的 f_flags 成员会记录打开文件时传入的打开标志（包括O_DIRECT），后续的读写操作会受到该标志的影响，即内核会根据该标志执行不同的读写逻辑。

以 ext4 文件系统写文件为例，内核源码如下：

static ssize_text4_file_write_iter(struct kiocb *iocb, struct iov_iter *from){struct inode *inode = file_inode(iocb->ki_filp);if (unlikely(ext4_forced_shutdown(inode->i_sb)))return -EIO;#ifdef CONFIG_FS_DAX/* DAX写入路径处理 */if (IS_DAX(inode))return ext4_dax_write_iter(iocb, from);#endif/* 直接I/O */if (iocb->ki_flags & IOCB_DIRECT)return ext4_dio_write_iter(iocb, from);else/* 缓冲I/O */return ext4_buffered_write_iter(iocb, from);}

O_DIRECT 标志开启后，源码中的 iocb->ki_flags & IOCB_DIRECT 条件为真（注意：内核会将 O_DIRECT 转换成内核内部标志 IOCB_DIRECT ），内核会执行直接 I/O 读操作 ext4_dio_write_iter。该函数的内部会构建 bio ( struct bio 结构，描述一次块设备 I/O 操作，包括：起始扇区、扇区数量、读写方向等)，并依次经过：通用块层->I/O调度层->块设备驱动层，将数据通过DMA方式拷贝至磁盘。直接 I/O 并没有将用户数据存储至文件页缓存。

用户程序2以普通方式（缓存 I/O）打开文件，该方式用户程序每次读写操作都要经过文件页缓存，文件页缓存详细介绍请查看我的这篇文章：7张图搞懂Linux文件页缓存（Page Cache），这里不再赘述。

3.直接 I/O 三重对齐

使用直接 I/O 必须满足三重对齐：

内存地址对齐：用户态缓冲区起始虚拟地址必须是逻辑块大小的整数倍（通常为 512 或 4096 字节）。
文件偏移对齐：lseek()/ pread()/pwrite() 的文件起始偏移，必须是逻辑块大小整数倍。
读写长度对齐：read()/write()/pread()/pwrite() 的数据长度，必须是逻辑块大小整数倍。

直接 I/O 为什么需要满足三重对齐？笔者认真研究了 Linux 内核源码后找到了答案，如图2所示。

图2 直接 I/O 三重对齐

以 pread 和 pwrite 函数为例，用户程序调用这两个函数后，经过层层函数调用，最终读写操作都会调用 iomap_dio_rw 函数，该函数依次调用:

__iomap_dio_rw()->iomap_dio_iter()->iomap_dio_bio_iter()->iomap_dio_bio_iter()，iomap_dio_bio_iter 函数会进行三重对齐判断，判断语句为：

if ((pos | length) & (bdev_logical_block_size(iomap->bdev) - 1) ||        !bdev_iter_is_aligned(iomap->bdev, dio->submit.iter))return -EINVAL;

pos：表示文件偏移。
length：表示读写长度。

bdev_logical_block_size-1：逻辑块大小掩码。

条件1：(pos | length) & (bdev_logical_block_size(iomap->bdev) - 1) 用于检查：文件偏移 pos 必须是逻辑块大小整数倍；数据长度 length 必须是逻辑块大小整数倍。条件2：!bdev_iter_is_aligned(iomap->bdev, dio->submit.iter)) 用于检查内存地址必须是逻辑块大小整数倍，具体实现为：

staticinlinebool bdev_iter_is_aligned(struct block_device *bdev,struct iov_iter *iter){return iov_iter_is_aligned(iter, bdev_dma_alignment(bdev), // 参数2：DMA 对齐要求（511或4095）                   bdev_logical_block_size(bdev) - 1); // 参数3：逻辑块块大小掩码（511或4095）}bool iov_iter_is_aligned(conststruct iov_iter *i, unsigned addr_mask,unsigned len_mask){if (likely(iter_is_ubuf(i))) {// 检查 1：长度是否对齐（必须是 512/4K 整数倍）if (i->count & len_mask)returnfalse;// 检查 2：内存地址是否对齐，逻辑块大小整数倍if ((unsignedlong)(i->ubuf + i->iov_offset) & addr_mask)returnfalse;return true;    }    ......}

4.直接I/O 测试

测试代码如下：

#define _GNU_SOURCE#include<stdio.h>#include<stdlib.h>#include<unistd.h>#include<fcntl.h>#include<string.h>#define ALIGN_SIZE 512 // 对齐要求#define BUF_SIZE 4096 // 数据长度intmain(){constchar *test_str = "hello";void *buf = NULL;int ret = posix_memalign(&buf, ALIGN_SIZE, 2 * BUF_SIZE);if (ret != 0) {        perror("posix_memalign failed");return-1;    }memcpy(buf, test_str, strlen(test_str));int fd = open("./mytest.txt", O_RDWR | O_CREAT | O_DIRECT, 0644);if (fd < 0) {        perror("open O_DIRECT failed");free(buf);return1;    }    ret = pwrite(fd, buf, BUF_SIZE, 0);if (ret < 0) {        perror("pwrite failed");goto out;    }printf("直接I/O写入成功：%ld 字节\n", ret);memset(buf, 0, BUF_SIZE);    ret = pread(fd, buf, BUF_SIZE, 0);if (ret < 0) {        perror("pread failed");goto out;    }printf("直接I/O读取成功：%ld 字节\n", ret);printf("读取内容：%s\n", (char *)buf);    fdatasync(fd);out:    close(fd);free(buf);return0;}

测试代码通过 posix_memalign 函数来分配用户缓冲区，该函数能够保证用户缓冲区内存地址和数据长度对齐要求。

直接 I/O 通常使用 pread 和 pwrite 函数进行读写，二者相较于 read 和 write 函数增加了 offset 参数（第四个参数，表示从文件 / 磁盘的第多少字节开始读写），offset 必须满足文件偏移对齐要求。pread 和 pwrite 函数传入的数据长度需要满足数据长度对齐要求。

值得注意的是，直接 I/O 只绕开了文件页缓存（用于缓存文件数据），文件元数据（如文件大小、访问时间等）仍由内核缓存和管理。直接 I/O 操作完毕后，需要调用 fsync() / fdatasync() 将文件元数据落盘。

编译并执行测试程序：

# gcc direct_io.c

# ./a.out

输出示例如下：

我们可以直接查看磁盘来验证数据是否成功落盘，方法如下：

安装autopsy / sleuthkit 取证工具

# apt install sleuthkit

解析 Ext4 文件系统，列出所有文件

# fls -r /dev/<块设备文件> | grep 测试文件

fls会显示文件 inode 号，输出示例：

找到文件 inode，直接提取文件内容

# icat /dev/<块设备文件> inode号 | hexdump -C

输出示例：

磁盘中已经有了 “hello” 字符串记录。

最后：

我的新书《图解Linux网络编程》发布了，我对Linux网络编程的应用开发技术以及内核源码进行了深入的研究，并以图解方式创作了《图解Linux网络编程》这本书，如果你想系统性地学习Linux网络编程，从底层原理到上层应用彻底通关Linux网络编程，欢迎入手我的新书。

本文来自网友投稿或网络内容，如有侵犯您的权益请联系我们删除，联系邮箱：wyl860211@qq.com 。

用户程序2以普通方式（缓存 I/O）打开文件，该方式用户程序每次读写操作都要经过文件页缓存，文件页缓存详细介绍请查看我的这篇文章：7张图搞懂Linux文件页缓存（Page Cache），这里不再赘述。

3.直接 I/O 三重对齐

2张图彻底搞懂 Linux 直接 I/O

大家好，我是图书《图解Linux网络编程》的作者，本期文章我们来深入探索 Linux 直接 I/O。

1.什么是直接 I/O

直接 I/O（Direct I/O）是一种绕过文件页缓存的文件访问方式。应用程序直接从磁盘读写数据，避免了文件页缓存与用户缓冲区之间的额外数据拷贝，常用于数据库等对数据一致性和缓存控制要求较高的场景。

直接 I/O 优点如下：

直接 I/O 缺点如下：

2.从内核看直接 I/O

执行 open 系统调用传入 O_DIRECT 标志就开启了直接 I/O，否则便是缓存 I/O，具体情况如图1所示。

图1 直接 I/O 底层原理

用户程序1以直接 I/O 的方式打开测试文件，如下：

O_DIRECT 为直接 I/O 开启标志，内核打开文件时会创建一个 file 对象，file 对象的 f_flags 成员会记录打开文件时传入的打开标志（包括O_DIRECT），后续的读写操作会受到该标志的影响，即内核会根据该标志执行不同的读写逻辑。

以 ext4 文件系统写文件为例，内核源码如下：

最新文章

热门文章

随机文章

2张图彻底搞懂 Linux 直接 I/O

大家好，我是图书《图解Linux网络编程》的作者，本期文章我们来深入探索 Linux 直接 I/O。

1.什么是直接 I/O

直接 I/O（Direct I/O）是一种绕过文件页缓存的文件访问方式。应用程序直接从磁盘读写数据，避免了文件页缓存与用户缓冲区之间的额外数据拷贝，常用于数据库等对数据一致性和缓存控制要求较高的场景。

直接 I/O 优点如下：

直接 I/O 缺点如下：

2.从内核看直接 I/O

执行 open 系统调用传入 O_DIRECT 标志就开启了直接 I/O，否则便是缓存 I/O，具体情况如图1所示。

图1 直接 I/O 底层原理

用户程序1以直接 I/O 的方式打开测试文件，如下：

O_DIRECT 为直接 I/O 开启标志，内核打开文件时会创建一个 file 对象，file 对象的 f_flags 成员会记录打开文件时传入的打开标志（包括O_DIRECT），后续的读写操作会受到该标志的影响，即内核会根据该标志执行不同的读写逻辑。

以 ext4 文件系统写文件为例，内核源码如下：

用户程序2以普通方式（缓存 I/O）打开文件，该方式用户程序每次读写操作都要经过文件页缓存，文件页缓存详细介绍请查看我的这篇文章：7张图搞懂Linux文件页缓存（Page Cache），这里不再赘述。

3.直接 I/O 三重对齐

我们是否还需要一个ggplot2-python?

Python开发从零开始-11-基础语法(循环结构)

最新文章

热门文章

随机文章