上一期讲完XDMA架构,兴冲冲打开Xilinx官方驱动,改完描述符和通道配置准备上线。
可真正上板加载驱动,接连碰到MSI-X注册失败、读到的数据全是0、CPU被中断占满卡死……这些官方手册一笔带过甚至完全不提的问题,也是驱动开发最折磨人的环节。
「IRQ handler took too long」「系统卡死」「数据全是0」
这几个问题,全是坑
📌 前置知识:本文假设你已经熟悉XDMA基本概念(见上一期《XDMA架构——SG DMA怎么工作的》),并具备Linux内核模块基础。
第一个真实痛苦:MSI-X注册失败,系统根本进不去
你照着手册写:
ret = pci_enable_msix(pfdev, entries, 32); dev_err(&pfdev->dev, "MSI-X enable failed: %d\n", ret);text
pcilib: 0000:01:00.0: can't enable MSI-X for rc
系统直接报错,驱动加载失败。
为什么?
BIOS把MSI-X的路由给别的设备了。PCIe RC(Root Complex)有硬件限制,一个设备能用的MSI-X向量数由BIOS分配,不是你想用多少就用多少。
三步排查:
cat /proc/interrupts | grep -i xdmalspci -vvv -s 01:00.0 | grep -A 10 MSI-X# 3. 如果向量数不够,试试减少请求数(4~8个是最稳妥的选择)💡 补充:高版本Linux推荐使用pci_enable_msix_range自适应申请向量,兼容性优于固定数量申请。简单场景直接限制4~8个即可。
通常4~8个向量是最稳妥的选择,覆盖主要场景就够了。32个向量在某些服务器平台上会触发BIOS限制。
第二个真实痛苦:中断来了,但数据全是0
驱动加载成功了,XDMA也启动了,MSI-X也触发了。但用户态读到数据全是0。
你在isr里加了打印:
static irqreturn_t xdma_isr(int irq, void *dev_id) pr_err("%s: IRQ fired!\n", __func__);打印出来了,说明中断确实来了。但数据呢?
问题在哪?
你忘了映射DMA缓冲区到用户态。
很多教程里的mmap实现是错的:
static int xdma_mmap(struct file *filp, struct vm_area_struct *vma) struct xdma_dev *dev = filp->private_data; // 直接映射BAR——PCIe BAR的延迟很高 if (remap_pfn_range(vma, vma->vm_start, pci_resource_start(pfdev, 0) >> PAGE_SHIFT, vma->vm_end - vma->vm_start,PCIe BAR的读延迟是200~300ns(见PCIe协议篇),你这样映射后,用户态读4字节就要等300ns。这不是零拷贝,这是零优化。
正确做法:用dma_alloc_coherent分配专用DMA缓冲区:
static int xdma_mmap(struct file *filp, struct vm_area_struct *vma) struct xdma_dev *dev = filp->private_data; unsigned long size = vma->vm_end - vma->vm_start; // 映射的是DMA一致的专用内存缓冲区,不是BAR if (remap_pfn_range(vma, vma->vm_start, dev->host_buf_dma >> PAGE_SHIFT, size, vma->vm_page_prot))dev->host_buf = dma_alloc_coherent(&pfdev->dev, DMA_BUF_SIZE, &dev->host_buf_dma, GFP_KERNEL);XDMA的C2H通道直接把数据写进这块DMA内存,mmap映射后用户态读的就是这块内存。零拷贝、延迟低、带宽高。
第三个真实痛苦:中断风暴,系统卡死
跑了一会儿,系统突然变卡。top一看,一个CPU核100%在处理中断。
这就是中断风暴(Interrupt Storm)。
原因:描述符完成后,中断状态寄存器没有被清除。
static irqreturn_t xdma_isr(int irq, void *dev_id) struct xdma_dev *dev = dev_id; u32 status = readl(dev->bar + XDMA_C2H_STATUS); return IRQ_HANDLED; // 中断标志没有清!💡XDMA中断状态寄存器是写1清除(Write-1-to-Clear),读出来的是当前状态,写对应位1清除该中断。
正确做法:写1清零:
static irqreturn_t xdma_isr(int irq, void *dev_id) struct xdma_dev *dev = dev_id; // 寄存器偏移基于常规XDMA配置,实际项目请以PG195手册为准 #define XDMA_C2H_INT_STATUS 0x1048 #define XDMA_C2H_DONE_PIDC 0x1050 u32 status = readl(dev->bar + XDMA_C2H_INT_STATUS); if (!(status & 0x1)) // 检查C2H完成中断 writel(status, dev->bar + XDMA_C2H_INT_STATUS); u32 done_idx = readl(dev->bar + XDMA_C2H_DONE_PIDC); // 备注:0xFF为掩码,适用于描述符数量≤255场景,数量更大请调整掩码位数 set_bit(done_idx & 0xFF, &dev->completed_mask); wake_up_interruptible(&dev->waitq); // 重要原则:中断服务程序禁止耗时操作,复杂业务请转交工作队列/用户态处理另外还有个常见问题:每个描述符都触发中断。如果是1MHz采样率、每描述符1KB数据,32个描述符全满的时间约32ms,中断频率约30次/秒,这还好。但如果描述符很小(4KB)且每个都触发中断,中断频率会很高,CPU扛不住。
优化方案:用轮询(poll)替代高频中断
// 用户态用poll/epoll替代interruptstatic __u32 xdma_poll(struct file *filp, poll_table *wait) struct xdma_dev *dev = filp->private_data; poll_wait(filp, &dev->waitq, wait); if (dev->completed_mask != 0) mask |= POLLIN | POLLRDNORM;用户态:
int fd = open("/dev/xdma0", O_RDWR);struct pollfd pfd = { .fd = fd, .events = POLLIN }; poll(&pfd, 1, 1000); // 等待数据,超时1s if (pfd.revents & POLLIN) { int idx = find_first_bit(&completed_mask);第四个真实痛苦:probe里申请的内存,remove里忘了释放
static void xdma_remove(struct pci_dev *pfdev) struct xdma_dev *dev = pci_get_drvdata(pfdev); // ❌ 漏了dma_free_coherent——内核内存泄漏 pci_disable_device(pfdev);一加载卸载驱动几十次,系统内存就没了。
完整remove:
static void xdma_remove(struct pci_dev *pfdev) struct xdma_dev *dev = pci_get_drvdata(pfdev); // 停止DMA(C2H控制寄存器偏移0x1000,写0停止) writel(0, dev->bar + 0x1000); for (int i = 0; i < NUM_MSIX; i++) free_irq(dev->msix_entries[i].vector, dev); dma_free_coherent(&pfdev->dev, DMA_BUF_SIZE, dev->host_buf, dev->host_buf_dma); dma_free_coherent(&pfdev->dev, dev->desc_ring_size, dev->desc_ring, dev->desc_ring_dma); pci_disable_device(pfdev);调试清单:按这个顺序查
当你遇到“数据读不到/中断不触发/系统卡死”,按这个顺序排查:
□ dmesg | grep -i xdma ← 先看内核日志,有没有报错□ cat /proc/interrupts | grep xdma ← 看中断有没有注册上□ lspci -vvv -s 01:00.0 | grep -i msi ← 看MSI-X向量数□ readl(bar + XDMA_C2H_INT_STATUS) ← 直接读寄存器看状态□ 描述符的src_addr/dst_addr是不是64B对齐□ 描述符的control字段有没有设置CONTROL_COMPLETE_EN(中断使能)□ DMA缓冲区有没有正确分配(dma_alloc_coherent)关键代码:完整的probe+remove
c
📥 **源码下载**由于公众号正文篇幅有限,代码请点击阅读原文
总结
| 痛苦点 | 根因 | 标准解法 |
|---|
| MSI-X 注册失败 | BIOS/PCIe RC 限制最大向量数 | 降低申请向量至4~8个,用命令行排查硬件能力 |
| 读取数据全0 | 错误映射 BAR 空间,未使用 DMA 一致性内存 | 用dma_alloc_coherent分配缓冲区,mmap映射该内存 |
| 中断风暴、CPU 100% | 中断状态未执行「写1清零」;中断频率过高 | ISR内主动写回状态寄存器清中断;高频场景改用 poll/epoll |
| 内核内存泄漏 | remove 函数未成对释放资源 | probe申请的中断、MSI-X、DMA内存、BAR映射,在 remove 中全部释放 |
关注我,下一期讲用户态开发——如何正确读取DMA缓冲区、poll机制、ring buffer设计,写出一个工业级的FPGA驱动用户态程序。