在Linux内核中，存储I/O是最核心的子系统之一。无论是数据库写入日志、文件系统读写数据，还是虚拟机磁盘访问，本质上都需要通过块设备完成。Linux为了统一管理各种存储设备，在文件系统与设备驱动之间设计了一层关键抽象——Block Layer（块层）。块层的职责不仅仅是转发I/O请求，它还负责I/O合并、调度、队列管理、并行处理以及设备负载控制等复杂工作。理解Linux块层的架构，对于分析磁盘性能瓶颈、定位I/O延迟问题以及开发存储驱动都具有非常重要的意义。
本文将系统解析Linux Block Layer的设计思想与实现结构，从整体架构出发，逐步深入BIO、Request、I/O调度器以及现代内核的blk-mq多队列架构，并结合源码流程说明一个I/O请求从用户空间进入内核直到设备完成的完整路径。
一、Linux存储栈整体架构
Linux存储系统采用分层设计思想，每一层负责不同的职责。整体结构大致如下：
User Application | vSystem Call (read/write/io_uring) | vVFS (Virtual File System) | vFilesystem (ext4/xfs/btrfs) | vBlock Layer | vBlock Device Driver | vStorage Hardware (SSD/HDD/NVMe)
从架构角度来看，Block Layer是存储栈的核心枢纽。文件系统负责逻辑数据管理，例如inode、目录结构和文件布局，而块层则负责将这些逻辑请求转换为底层设备能够理解的块I/O请求。块层需要解决几个关键问题：首先是I/O请求的聚合问题，因为文件系统产生的I/O通常比较零散，如果直接发送给设备会导致大量随机I/O；其次是并发调度问题，在多核系统中可能有多个CPU同时提交I/O请求，如果没有合理的队列管理机制会导致严重的锁竞争；第三是设备能力匹配问题，不同设备支持的队列深度、并发能力以及访问特性不同，块层需要根据设备特性进行调度。
因此，Linux块层不仅仅是一个简单的转发模块，它实际上是一个I/O调度与管理框架，通过复杂的数据结构和调度算法来提升存储性能。
二、BIO结构：Linux块层的基本I/O单元
在Linux块层中，最基本的I/O抽象单位是BIO（Block I/O）。BIO代表一次逻辑块I/O请求，它描述了数据在内存中的位置、访问的磁盘扇区以及读写方向。BIO的设计目标是尽可能高效地描述内存与磁盘之间的数据映射关系。
BIO结构体大致如下：
struct bio { struct block_device *bi_bdev; sector_t bi_iter.bi_sector; struct bio_vec *bi_io_vec; unsigned short bi_vcnt; unsigned int bi_opf;};
其中最关键的字段包括：bi_bdev表示目标块设备，bi_sector表示磁盘起始扇区，bi_io_vec用于描述内存数据缓冲区。BIO并不会直接存储数据，而是通过bio_vec数组描述内存页。每个bio_vec表示一个内存页或页片段，其结构如下：
struct bio_vec { struct page *bv_page; unsigned int bv_len; unsigned int bv_offset;};
这种设计的核心思想是避免不必要的数据拷贝。文件系统在生成I/O请求时，可以直接将用户缓冲区映射到BIO结构中，而不需要重新分配内存。BIO因此成为连接内存管理系统与块设备系统的重要桥梁。
BIO的另一个重要特点是链式结构。一个复杂的I/O请求可能由多个BIO组成，这些BIO可以通过链表连接形成一个完整的I/O序列。块层随后会根据磁盘地址对这些BIO进行合并，从而减少设备访问次数。
三、Request结构与I/O合并机制
虽然BIO是块层的基本单位，但设备驱动通常并不直接处理BIO，而是处理更高层次的结构——Request。Request代表一个真正发送到设备的I/O请求，一个Request可以包含多个BIO。其核心结构如下：
struct request { struct request_queue *q; struct bio *bio; sector_t sector; unsigned int nr_sectors;};
在BIO被提交到块层之后，系统会尝试进行I/O合并（IO Merge）。I/O合并的目标是减少磁盘访问次数，提高顺序I/O比例，从而提升设备性能。Linux块层主要支持两种合并方式：前向合并和后向合并。
前向合并发生在新BIO的起始扇区紧接着已有Request的末尾，例如一个Request覆盖100–108扇区，而新BIO从108扇区开始，此时可以将两个请求合并为一个更大的Request。后向合并则发生在新BIO位于Request前方的情况，例如已有Request从100开始，而新BIO从92开始，此时可以扩展Request的范围。
通过I/O合并，块层能够将大量小I/O聚合为更大的连续请求，这对于机械硬盘尤为重要，因为机械硬盘的寻道成本非常高。即使在SSD设备上，较大的I/O请求也能减少命令提交次数，从而提升整体吞吐率。
四、Request Queue：I/O请求管理核心
每个块设备在Linux中都对应一个Request Queue。Request Queue是块层中最重要的数据结构之一，它负责管理所有等待执行的I/O请求。其核心结构大致如下：
struct request_queue { struct elevator_queue *elevator; struct blk_mq_tag_set *tag_set; struct blk_mq_ops *mq_ops;};
Request Queue承担多个关键职责。首先，它负责缓存I/O请求并按照一定策略排序；其次，它控制设备并发度，例如限制同时在设备上执行的请求数量；第三，它负责协调I/O调度器的工作。
在传统Linux内核中，所有I/O请求都进入同一个队列，这意味着多个CPU需要竞争同一个锁。在单核时代这种设计没有明显问题，但在多核服务器上会导致严重的锁竞争。因此现代Linux在Request Queue基础上引入了多队列架构，以解决可扩展性问题。
五、I/O调度器（IO Scheduler）设计原理
I/O调度器是块层的重要组件，其目标是优化I/O访问顺序，减少设备寻道时间并保证系统公平性。Linux内核曾经实现过多种I/O调度算法，例如CFQ、Deadline、NOOP以及BFQ等。
其中Deadline调度器的核心思想是为每个I/O请求设置一个截止时间，如果请求在规定时间内没有被调度执行，则强制执行该请求，从而避免某些请求长时间被延迟。CFQ（Completely Fair Queueing）则通过为每个进程维护独立的I/O队列来保证公平性，而BFQ则针对桌面系统优化，以提升交互响应速度。
在现代SSD和NVMe设备中，I/O调度器的重要性有所降低，因为这些设备内部已经具有复杂的调度逻辑。因此在很多场景下会使用noop或none调度器，即尽量减少内核调度干预。
调度器的配置可以通过以下命令查看：
cat /sys/block/sda/queue/scheduler
方括号表示当前正在使用的调度器。
六、blk-mq多队列架构
随着SSD和NVMe设备的普及，传统单队列块层架构已经无法满足高并发需求。为了解决这一问题，Linux在3.13版本中引入了blk-mq（Block Multi Queue）架构。blk-mq的核心思想是为每个CPU提供独立的软件队列，并将其映射到多个硬件队列上，从而实现真正的并行I/O处理。
blk-mq架构可以简化表示为：
CPU0 -> Software QueueCPU1 -> Software QueueCPU2 -> Software QueueCPU3 -> Software Queue | v Hardware Queue | Device
每个CPU在提交I/O时只需要访问自己的软件队列，从而避免锁竞争。随后这些软件队列会映射到设备的硬件队列，例如NVMe设备通常支持数十甚至数百个队列对。这样可以充分利用多核CPU和现代存储设备的并行能力。
blk-mq中两个关键结构分别是blk_mq_ctx和blk_mq_hw_ctx。blk_mq_ctx代表每个CPU的软件队列，而blk_mq_hw_ctx代表设备的硬件队列。通过这种分层结构，Linux能够实现高效的I/O调度与设备访问。
七、完整I/O路径解析与总结
理解Linux块层的最好方式是跟踪一个I/O请求的完整路径。当用户程序调用write系统调用时，数据首先进入VFS层，然后由具体文件系统处理。例如在ext4文件系统中，写操作会最终调用submit_bio函数提交I/O请求。随后BIO进入块层，被转换为Request并加入请求队列。
完整流程可以简化为：
当设备完成I/O操作后，会触发中断通知驱动程序。驱动程序随后调用blk_mq_complete_request函数完成请求，并最终通过bio_endio通知文件系统I/O已经结束。如果用户进程在等待该I/O，则会被唤醒继续执行。
从整体来看，Linux块层通过BIO、Request、Request Queue以及blk-mq多队列架构构建了一套高度可扩展的I/O管理框架。它不仅能够适配传统机械硬盘，也能够充分发挥现代NVMe设备的并行性能。对于系统开发者来说，理解这些核心结构不仅有助于阅读内核源码，也能够在面对复杂I/O性能问题时快速定位瓶颈。
Linux块层的设计体现了内核工程中非常重要的一点：通过抽象与分层来屏蔽硬件差异，同时利用队列和调度算法提升系统整体性能。随着存储技术的发展，块层架构仍在不断演进，例如io_uring等新机制正在进一步减少I/O路径开销，但无论技术如何变化，BIO与Request所构建的块层基础架构仍然是Linux存储系统的核心支柱。
