车轮上的Linux:揭秘车载Camera驱动开发的核心技术与框架③-V4L2架构

什么是V4L2

V4L2（Video for Linux 2）是 Linux 内核中用于视频采集、输出和媒体设备控制的标准框架。它提供了一套统一的、设备无关的 API，使得用户空间应用程序能够与各类视频硬件交互，包括：

• 摄像头传感器（CSI 相机、USB 相机）
• 视频采集卡 （Video capture cards）
• 硬件视频编码器 / 解码器
• 图像信号处理器（ISP）
• MIPI CSI-2 流水线 （MIPI CSI-2 pipelines）

V4L2 是 Linux 媒体子系统的一部分，它取代了最初的 V4L（Video4Linux）接口，解决了其在可扩展性、伸缩性和多设备支持方面的限制。

V4L2 的核心定义包括：

• 一组设备节点（/dev/videoX、/dev/mediaX）
• 一套基于 ioctl 的标准 API
• 一套用于高吞吐量流视频的缓冲区管理模型 （A buffer management model for high-throughput streaming video）

V4L2 的关键设计目标

V4L2 的设计旨在实现以下几项长期的系统目标：

1.硬件抽象

• 支持不同的摄像头传感器、总线类型和内存模型；

2. 高性能流处理

• 实现零拷贝或最少Copy的 DMA（直接内存访问）流水线；

3. 可扩展性

• 在不破坏 ABI（Application Binary Interface）的前提下，支持新的像素格式、控制功能和流水线；

4.复杂流水线支持

• 复杂V4L2 media graphs结点支持（Multi-entity media graphs)（例如：传感器 → ISP → 缩放器 → 编码器）；

5.用户/内核空间分离

• 通过稳定的用户空间 ABI，建立清晰的应用编程接口边界；

丰富的视频格式支持

V4L2 支持多种视频格式：

• 原始拜耳格式（RAW8/10/12/14）
• YUV 格式（YUYV、NV12、NV21 等）
• RGB 格式
• 压缩格式（MJPEG、H.264、H.265）

格式描述通过structv4l2_format

结构体实现。这使得应用程序能够与驱动协商分辨率、像素格式、跨距和缓冲区布局。

Media Control框架

Media Device 是 Linux Media Subsystem 中用于描述多媒体硬件拓扑结构的框架。对于现代片上系统（SoC），视频处理已不再是一个单一设备，而是由多个功能模块构成的流水线。

Media Controller 被引入用于：

• 显式描述复杂硬件 pipeline
• 支持动态连接与重配置
• 解耦 pipeline 描述与数据操作

Media Control框架将此建模为一个图结构：

摄像头传感器 → CSI接收器 → 图像信号处理器 → 缩放器 → 视频节点

Media Control核心概念包括：

• 实体（Media Entity）：基本的Meida软件或者硬件功能模块（如传感器、图像信号处理器、编码器）；图中绿色entity

• 端点（Media Pad）：输入/输出端点，通过Media Link链接不同的实体Entity；
• 链接（Media Link ）：端点之间的连接；
• Interface Link：Linux内核和实体Entity直接的接口；
• Data Link：两个端点Pad之间的链接；
• Ancillary（辅助） Link：不同Entity之间的逻辑link，比如（Lens Actuator, Flash闪光灯）；

• 绿色Entity表示：V4L2 Subdevice Entity，产生数据，但是不直接写DDR；
• 黄色Entity表示：V4L2 Video device Entity，直接读/写DMA图像数据；

media-ctl -d /dev/media0 --set-v4l2 "'ov5640 1-003c':0[fmt:RGB565_1X16/640x480 field:none]"media-ctl -d /dev/media0 --set-v4l2 "'st-mipid02 1-0014':2[fmt:RGB565_1X16/640x480]"media-ctl -d /dev/media0 --set-v4l2 "'dcmipp_input':1[fmt:RGB565_2X8_LE/640x480]"media-ctl -d /dev/media0 --set-v4l2 "'dcmipp_dump_postproc':1[fmt:RGB565_2X8_LE/640x480]"media-ctl -d /dev/media0 --set-v4l2 "'dcmipp_dump_postproc':1[crop:(80,104)/480x272]"

上边这段命令：对应的V4L2 model如下：

Device Tree 与 Media Control的关系

对Device tree感兴趣，请戳：