过去几十年服务器内存架构几乎没有发生根本变化：CPU 通过集成的内存控制器直接访问 DDR DIMM 模块，系统可用内存容量受限于 CPU 插槽数量、内存通道数量以及 DRAM 芯片密度。当应用规模还停留在几十 GB 或几百 GB 时，这种架构能够满足需求，但随着 AI 训练、内存数据库、图计算以及实时分析系统的发展，越来越多应用开始需要 TB 级甚至更大的内存容量。传统 DRAM 扩展不仅成本高，而且资源利用率低，例如在云数据中心中，一些服务器可能存在大量空闲内存，而另一些服务器却频繁触发 OOM，这种资源孤岛问题严重影响整体效率。
CXL（Compute Express Link）正是在这种背景下诞生的。CXL 通过在 PCIe 物理层之上构建新的缓存一致性协议，使 CPU 可以直接访问设备内存，从而突破 CPU DIMM 插槽的限制，实现内存扩展与内存池化。在 CXL 架构下，服务器不仅可以接入本地 DRAM，还可以通过 CXL Switch 接入远端内存扩展设备甚至机架级内存池。然而对于 Linux 内核而言，这意味着系统物理内存不再是简单的本地 DRAM，而可能包含 本地 DRAM、远端 DRAM、CXL 内存甚至持久化内存等多种层级。如何在 TB 级甚至 PB 级内存系统中高效管理这些资源，成为 Linux 内存管理子系统需要解决的重要问题。
一、CXL 架构：从 I/O 总线到内存互连
传统 PCIe 主要用于设备 I/O，其通信模式依赖 DMA：设备通过 DMA 引擎访问主机内存，而 CPU 无法直接通过 load/store 指令访问设备内存。CXL 的设计目标是改变这种模式，使设备内存能够被 CPU 以类似 DRAM 的方式访问，从而实现真正的 内存语义互连（Memory Semantic Interconnect）。
CXL 协议栈由三个部分组成：
在实际系统中，CXL 通常通过 PCIe Root Complex 接入，并通过 CXL Switch 连接多个设备。典型架构如下：
+----------------+ | CPU | | Memory Ctrl | +--------+-------+ | PCIe / CXL Root | CXL Switch +-------------+-------------+ | | CXL Memory Expander CXL Accelerator (Type 3 Device) (Type 2 GPU)
在这种结构下，CPU 可以通过 CXL.mem 协议直接访问远端设备内存，这使得服务器能够突破本地 DIMM 插槽的限制，从而扩展到 TB 级甚至更大的内存规模。
二、CXL 设备类型与内存扩展模式
根据功能不同，CXL 规范将设备划分为三类。Type1 设备仅支持 CXL.cache，不提供设备内存，典型应用是 SmartNIC 或 FPGA 加速器；Type2 设备同时支持 CXL.cache 与 CXL.mem，既可以访问主机内存，也可以提供设备本地内存，例如 GPU 或 AI 加速器；Type3 设备则只提供 CXL.mem，是一种纯内存扩展设备，通常被称为 CXL Memory Expander。
在数据中心环境中，Type3 设备是最重要的一类，因为它允许服务器通过 PCIe 插槽或 CXL Switch 接入大量额外内存。单个 CXL 内存设备的容量通常在数百 GB 到 1TB 之间，多设备组合可以轻松构建数 TB 内存系统。
典型 CXL 内存扩展架构如下：
+-------- CPU --------+ | CXL Root Port | CXL Switch +---------+---------+ | | CXL Memory Card CXL Memory Card 512GB 1TB
通过这种方式，服务器可以将内存容量扩展到远超传统 DRAM 架构的规模。
三、Linux CXL 子系统架构
为了支持 CXL 硬件，Linux 内核从 5.12 版本开始引入 CXL 子系统，并在 6.x 内核中持续增强。相关代码主要位于 drivers/cxl/ 目录中，其内部结构包括 core、pci、mem、region、pmem 等多个子模块。
当系统启动时，PCI 子系统首先完成设备枚举，如果检测到具有 CXL capability 的设备，内核会将其交由 CXL 子系统处理。随后内核会构建完整的 CXL 端口拓扑结构，因为在复杂系统中，CXL 设备可能通过多级 switch 连接。
CXL 设备初始化流程如下：
PCI Enumeration │ ▼Detect CXL Capability │ ▼Build CXL Port Topology │ ▼Register CXL Memory Device │ ▼Create CXL Region
当 Type3 内存设备被识别后，Linux 会为其创建对应的 cxl_mem 结构，并通过 region 与 decoder 机制管理其地址映射关系。
四、CXL 内存接入 Linux：Memory Hotplug 机制
Linux 并不会将 CXL 内存直接当作普通内存处理，而是通过 memory hotplug 机制将其动态加入系统。memory hotplug 原本用于支持服务器运行过程中插拔内存模块，但同样适用于 CXL 设备。
CXL 内存接入系统的大致流程如下：
CXL Type3 Device │ ▼ cxl_mem Driver │ ▼ Create CXL Region │ ▼ add_memory_resource() │ ▼ Memory Hotplug │ ▼ Online Memory Pages │ ▼ Linux Page Allocator
在这个过程中，内核会为新加入的内存创建 memory block，并在 sysfs 中生成对应节点，例如 /sys/devices/system/memory/memoryX。当 memory block 被 online 后，内核会为其分配 struct page 描述符，并将这些页面加入伙伴系统，从而使 CXL 内存能够被正常分配和使用。
五、TB 级内存带来的结构性挑战
当系统内存规模达到 TB 级时，Linux 内核需要解决多个结构性问题。首先是 struct page 元数据膨胀问题。Linux 使用 struct page 描述每个物理页面，在典型 x86_64 系统中每个结构大约占 64 字节。如果系统拥有 1TB 内存，按照 4KB 页面大小计算，大约存在 2^28 个页面，这意味着仅页描述符数组就需要约 16GB 内存。为了解决这个问题，Linux 引入了 sparsemem 与 vmemmap 机制，使 struct page 可以按需映射，并在部分系统中支持 memmap_on_memory 技术，即将页描述符存储在 CXL 内存本身。
其次是 页表规模问题。TB 级内存意味着页表项数量巨大，因此 x86_64 引入了五级页表（5-level paging）机制，使虚拟地址空间从 48 位扩展到 57 位，从而支持最高 128PB 的虚拟地址空间。五级页表结构如下：
PGD └── P4D └── PUD └── PMD └── PTE
与此同时，大页（Huge Page）机制也变得更加重要。Linux 支持 2MB 与 1GB 大页，通过减少页表项数量和 TLB miss 次数，可以显著降低地址转换开销。
六、NUMA 与 Memory Tiering
CXL 内存通常具有比本地 DRAM 更高的访问延迟，因此 Linux 不会简单地把它当作普通内存，而是将其映射为独立 NUMA 节点。例如在一个典型系统中，本地 DRAM 可能位于 Node0 与 Node1，而 CXL 内存则被映射为 Node2 或 Node3。
示例拓扑如下：
Node0 CPU0 + DRAMNode1 CPU1 + DRAMNode2 CXL MemoryNode3 CXL Memory
由于不同节点之间的访问延迟差异明显，Linux 在 5.15 内核中引入了 Memory Tiering 机制，用于根据内存访问速度对系统内存进行分层管理。在典型系统中，内存层级通常如下：
+----------------------+| Tier 0 : DDR5 DRAM || Fast Memory |+----------------------+| Tier 1 : CXL Memory || Medium Memory |+----------------------+| Tier 2 : PMEM || Slow Memory |+----------------------+
内核会根据页面访问频率动态迁移数据，使热点数据始终位于 DRAM，而访问较少的数据逐渐迁移到 CXL 或 PMEM。
七、未来：CXL Memory Fabric 与 PB 级内存系统
随着 CXL 2.0 与 CXL 3.0 的发展，内存扩展模式正在从单机扩展走向 内存池化与内存网络（Memory Fabric）。在未来的数据中心中，多台服务器可能通过 CXL Switch Fabric 共享同一个内存池，从而实现类似网络存储的资源共享模式。
典型未来架构如下：
+----------------------+ | CXL Fabric | +----------+-----------+ | +-----------+-----------+ | | Server A Server B | | +-----------+-----------+ | Memory Pool
在这种架构下，服务器可以动态申请或释放远端内存资源，系统总内存容量可能达到 数十 TB 甚至 PB 级。Linux 内核未来需要进一步优化 memory tiering、page migration 与调度器协同机制，以适应这种大规模分层内存系统。
如果你是随性之人，可以关注二狗蛋，除了技术，我们还有生活
