从 PCIe P2P 到 Linux NTB:高速互联驱动学习笔记 二

Linux NTB 子系统的一个优点是分层比较清晰。它不是让每个上层测试驱动都直接操作硬件寄存器，而是把具体硬件封装成统一的 struct ntb_dev，再让不同 client 使用同一套 NTB API。

           Linux NTB 子系统分层        

             一、三层结构          

• • ntb_pingpong：验证 link、doorbell、scratchpad/message
• • ntb_perf：测试 Memory Window 带宽
• • ntb_tool：通过 debugfs 手工测试
• • ntb_transport：在 MW 和 doorbell 上封装 queue pair
• • ntb_netdev：基于 ntb_transport 实现虚拟网卡

             二、硬件驱动负责什么          

staticstructpci_driverxxx_pci_driver = {    .name = "...",    .id_table = ...,    .probe = xxx_probe,    .remove = xxx_remove,};当 Linux PCI core 枚举到匹配的 NTB PCI function 后，会调用这个硬件驱动的 probe。probe 里通常会做这些事：- 启用 PCI device- 申请和映射 BAR- 初始化硬件寄存器- 扫描本地 port 和 peer port- 初始化 link 事件- 初始化 Memory Window- 初始化 doorbell/message- 注册中断- 填充 structntb_dev- 调用 ntb_register_device()可以把路径理解成：

最关键的一步是：ntb_register_device(&ndev->ntb);在这之前，这个设备只是某个 PCI function，由具体硬件驱动管理。在这之后，它变成 NTB core 认识的 ntb_dev，上层 client 才有机会 probe 它。

三、NTB core 做了什么

NTB core 的核心职责不是操作某一种具体硬件，而是维护统一抽象。硬件驱动会提供一组 ops，例如：- port_number- peer_port_count- peer_port_number- link_is_up- link_enable- link_disable- mw_count- mw_get_align- mw_set_trans 或 peer_mw_set_trans- db_valid_mask- db_read- db_clear- peer_db_set- msg_count- msg_read- peer_msg_writeclient 调用的是统一 API：- ntb_link_is_up()- ntb_link_enable()- ntb_peer_mw_set_trans()- ntb_mw_set_trans()- ntb_peer_db_set()- ntb_msg_read()这些 API 最后会落到硬件驱动提供的 ops。例如 client 调用：ntb_peer_db_set(ntb, bits);实际调用链类似：ntb_peer_db_set() -> ntb->ops->peer_db_set() -> 硬件驱动写 doorbell 寄存器

             四、client driver 怎么工作          

staticstructntb_clientmy_client = {    .ops = {        .probe = my_probe,        .remove = my_remove,    },};module_init 里调用：ntb_register_client(&my_client);

my_probe(client, ntb);

• • 保存 struct ntb_dev *
• • 注册事件上下文 ntb_set_ctx()
• • 启用 link
• • 配置 doorbell/message/MW
• • 等待 link 事件或 doorbell 事件

ntb_set_ctx(ntb, ctx, ops);

1. 1. 先加载 ntb_pingpong 验证控制面
2. 2. 卸载 ntb_pingpong
3. 3. 再加载 ntb_transport 或其他 client

             五、几种 client 的关系          

• • ntb_pingpong 是直接挂到 NTB core 的 client。它直接使用 doorbell、scratchpad/message，不经过 transport。
• • ntb_transport 也是直接挂到 NTB core 的 client。它接管 ntb_dev 后，在 MW 和 doorbell 之上封装 queue pair。
• • ntb_netdev 则不是直接操作 ntb_dev。它是 ntb_transport 的上层用户，通过 ntb_transport_create_queue() 创建队列，最终注册成 Linux net_device。

关系大概是：

NTB core├── ntb_pingpong (直接使用 doorbell/scratchpad)├── ntb_transport (封装 transport bus)│   └── ntb_netdev (基于 transport 的 net_device)└── ...

• • ntb_netdev probe 调 ntb_transport_probe
• • ntb_transport_probe 再调硬件 probe

1. 1. PCI core 调硬件驱动 probe
2. 2. 硬件驱动调用 ntb_register_device()
3. 3. NTB core 调 ntb_transport_probe()
4. 4. ntb_transport 创建 transport bus/device
5. 5. transport bus 再调 ntb_netdev_probe()

             六、事件路径          

• • link event
• • doorbell event
• • message event

ntb_link_event(ntb);ntb_db_event(ntb, vector);ntb_msg_event(ntb);

client->link_event(ctx);client->db_event(ctx, vector);client->msg_event(ctx);

             七、为什么要先理解这个框架          

• • 硬件驱动的 probe 是 PCI core 调用的，它负责发现和初始化 NTB 硬件。
• • ntb_pingpong 的 probe 是 NTB core 调用的，它是一个测试 client。
• • ntb_transport_probe 也是 NTB core 调用的，它把 ntb_dev 包装成 queue pair 传输层。
• • ntb_netdev_probe 则是 ntb_transport_bus 调用的，它在 transport 之上创建虚拟网卡。