当前位置:首页>Linux>车轮上的Linux:揭秘车载Camera驱动开发的核心技术与框架⑤-V4L2 用户空间启动Stream

车轮上的Linux:揭秘车载Camera驱动开发的核心技术与框架⑤-V4L2 用户空间启动Stream

  • 2026-08-22 11:06:53
车轮上的Linux:揭秘车载Camera驱动开发的核心技术与框架⑤-V4L2 用户空间启动Stream

三、用户空间阶段:Media pipeline 配置

  • media control所支持的API集合
media-ctl [options]-d, --device dev        Media device name (default: /dev/media0)                        If <dev> starts with a digit, then /dev/media<dev> is used.                        If <dev> doesn't exist, then find a media device that                        reports a bus info string equal to <dev>.-e, --entity name       Print the device name associated with the given entity-V, --set-v4l2 v4l2     Comma-separated list of formats to setup    --get-v4l2 pad      Print the active format on a given pad    --get-dv pad        Print detected and current DV timings on a given pad    --set-dv pad        Configure DV timings on a given pad-R, --set-routes routes Configure routes on a given subdev entity-h, --help              Show verbose help and exit-i, --interactive       Modify links interactively-l, --links links       Comma-separated list of link descriptors to setup    --known-mbus-fmts   List known media bus formats and their numeric values-p, --print-topology    Print the device topology. If an entity                        is specified through the -e option, print                        information for that entity only.    --print-dot         Print the device topology as a dot graph-r, --reset             Reset all links to inactive-v, --verbose           Be verbose    --version           Show version informationLinks and formats are defined as        links           = link { ',' link } ;        link            = pad '->' pad '[' flags ']' ;        pad             = entity ':' pad-number { '/' stream-number } ;        entity          = entity-number | ( '"' entity-name '"' ) ;        v4l2            = pad '[' v4l2-properties ']' ;        v4l2-properties = v4l2-property { ',' v4l2-property } ;        v4l2-property   = v4l2-mbusfmt | v4l2-crop | v4l2-interval                        | v4l2-compose | v4l2-interval ;        v4l2-mbusfmt    = 'fmt:' fcc '/' size ; { 'field:' v4l2-field ; } { 'colorspace:' v4l2-colorspace ; }                           { 'xfer:' v4l2-xfer-func ; } { 'ycbcr:' v4l2-ycbcr-enc ; }                           { 'quantization:' v4l2-quant ; }        v4l2-crop       = 'crop:' rectangle ;        v4l2-compose    = 'compose:' rectangle ;        v4l2-interval   = '@' numerator '/' denominator ;        rectangle       = '(' left ',' top, ')' '/' size ;        size            = width 'x' height ;        routes          = entity '[' route { ',' route } ']' ;        route           = pad-number '/' stream-number '->' pad-number '/' stream-number '[' route-flags ']' ;

四、 枚举媒体拓扑(Discover)

用户空间通过 Media Controller API:

media-ctl -p

可以看到:

Media controller API version 6.6.48Media device information------------------------driver          dcmippmodel           DCMIPP MDEVserial          bus info        platform:5a000000.dcmipphw revision     0x10driver version  6.6.48Device topology- entity 1: dcmipp_input (2 pads, 2 links, 0 routes)            type V4L2 subdev subtype Unknown flags 0            device node name /dev/v4l-subdev0        pad0: Sink                [stream:0 fmt:RGB565_2X8_LE/640x480 field:none colorspace:srgb]                <- "st-mipid02 1-0014":2 [ENABLED,IMMUTABLE]        pad1: Source                [stream:0 fmt:RGB565_2X8_LE/640x480 field:none colorspace:rec709]                -> "dcmipp_dump_postproc":0 [ENABLED,IMMUTABLE]- entity 4: dcmipp_dump_postproc (2 pads, 2 links, 0 routes)            type V4L2 subdev subtype Unknown flags 0            device node name /dev/v4l-subdev1        pad0: Sink                [stream:0 fmt:RGB565_2X8_LE/640x480 field:none colorspace:rec709                 compose.bounds:(0,0)/640x480                 compose:(0,0)/640x480]                <- "dcmipp_input":1 [ENABLED,IMMUTABLE]        pad1: Source                [stream:0 fmt:RGB565_2X8_LE/640x480 field:none colorspace:rec709                 crop.bounds:(0,0)/640x480                 crop:(0,0)/640x480]                -> "dcmipp_dump_capture":0 [ENABLED,IMMUTABLE]- entity 7: dcmipp_dump_capture (1 pad, 1 link)            type Node subtype V4L flags 0            device node name /dev/video0        pad0: Sink                <- "dcmipp_dump_postproc":1 [ENABLED,IMMUTABLE]- entity 15: st-mipid02 1-0014 (3 pads, 2 links, 0 routes)             type V4L2 subdev subtype Unknown flags 0             device node name /dev/v4l-subdev2        pad0: Sink                [stream:0 fmt:RGB565_1X16/640x480 field:none colorspace:srgb]                <- "gc2145 1-003c":0 [ENABLED,IMMUTABLE]        pad1: Sink        pad2: Source                [stream:0 fmt:RGB565_2X8_LE/640x480 field:none colorspace:srgb]                -> "dcmipp_input":0 [ENABLED,IMMUTABLE]- entity 21: gc2145 1-003c (1 pad, 1 link, 0 routes)             type V4L2 subdev subtype Sensor flags 0             device node name /dev/v4l-subdev3        pad0: Source                [stream:0 fmt:RGB565_1X16/640x480 field:none colorspace:srgb                 crop.bounds:(0,0)/1600x1200                 crop:(0,0)/1920x1080]                -> "st-mipid02 1-0014":0 [ENABLED,IMMUTABLE]
  • 所有 entities
  • pads
  • links(enabled / disabled)

这是 setup 的发现阶段。

  • 也可以把media control的拓扑结构,转换成人类更易读的图形化形式:
media-ctl --print-dot > graph.dot
  • 进一步,把.dot格式转换成png格式
dot -Tpng -Nfontname=Roboto -Nfontsize=10 -Efontname=Roboto -Efontsize=10 graph.dot > graph.png

entity 21 media device 拓扑结构

五、 配置 Media Links(路由选择)

对于有多路 ISP / 多输入的 SoC:

media-ctl -l "'gc2145 1-003c':0 -> 'csi2':0 [1]"

作用:

  •  启用 / 禁用 link  

  •  选择数据路径  

组件
含义说明
media-ctl -l
使用 media-ctl工具的 -l或 --links选项来配置链路。
'gc2145 1-003c':0
源实体与端口:指定数据来源。'gc2145 1-003c'是传感器实体的名称(通常由驱动名和I2C地址组成),0是其源端口(Source Pad)的索引号。
-> 'csi2':0
目标实体与端口:指定数据去向。'csi2'是CSI接收器实体的名称,0是其接收端口(Sink Pad)的索引号。
[1]
链路状态:1表示启用(ACTIVE)此链路,允许数据流通。0则表示禁用。
六、 配置 sub-device format(关键)

Media device setup 的核心:

/*SRGGB10_1X10:这是一种媒体总线格式(Media Bus Format),描述的是在芯片间总线(如MIPI CSI-2) 上传输的原始数据格式。它表示传感器输出的是10位精度的Bayer RAW数据,像素滤色器阵列的排列是SRGGB; 1920x1080:这是图像的分辨率*/ media-ctl -V "'gc2145 1-003c':0 [fmt:SRGGB10_1X10/1920x1080]"media-ctl -V "'csi2':1 [fmt:SRGGB10_1X10/1920x1080]"

规则:

  • 从源头(sensor)开始

  •  format 必须在 所有 pads 上一致

否则 stream 无法启动。

关于拜耳RAW数据格式,请戳文章:

自动驾驶如何“看清”世界?解读车载Camera图像处理中不可或缺的Demosaic算法

七、 Video node 配置(V4L2)

Video node只能通过V4L2 API来配置:

v4l2-ctl -d /dev/video0 \  --set-fmt-video=width=1920,height=1080,pixelformat=NV12

这里:

  •  ISP 可能完成 RAW → YUV  

pixelformat=NV12

设置像素格式为 NV12。这是一种常见的 YUV 4:2:0 格式,数据呈 Semi-Planar(半平面)[2]排列,被许多硬件编解码器高效支持

  •  video node 是 pipeline 的出口  

八、 Buffer setup(vb2)

 用户空间申请 buffer:  

  •  MMAP :内存映射,内核驱动负责分配物理连续内存,用户空间通过 mmap映射使用;

  •  USERPTR :用户指针,用户空间应用负责分配内存(需物理连续),并将指针传递给驱动;

  •  DMABUF: 第三方组件(如GPU、显示管理器)分配和管理DMA缓冲区,V4L2驱动导入并使用。

这是最现代的模式,旨在解决不同设备驱动之间内存共享的零拷贝需求:  内存的分配者不是V4L2驱动,而是另一个“导出器”(Exporter),例如GPU、DRM显示驱动或ION内存分配器。它会创建一个DMABUF对象,并返回一个文件描述符(fd)。   V4L2驱动作为“导入器”(Importer),通过这个文件描述符,使用 VIDIOC_REQBUFS并指定 memory=V4L2_MEMORY_DMABUF,将该DMABUF缓冲区加入它的队列。

后续的队列管理(QBUF/DQBUF)与MMAP模式类似,但在 v4l2_buffer中指定的是DMABUF的文件描述符而非MMAP的偏移量。   这种方式使得视频数据可以在摄像头、GPU、显示控制器等硬件之间高效流转,而无需经过CPU进行内存拷贝

 vb2 框架:  

  •  分配物理内存  

  •  建立 DMA/IOMMU 映射  

VIDIOC_REQBUFS 

VIDIOC_QBUF 

特性维度
VIDIOC_REQBUFS
VIDIOC_QBUF
核心目标
初始化/释放整个缓冲区队列 (搭建生产线)
管理单个缓冲区在队列中的状态 (调度物料流转)
调用时机
视频流开始前 (设置队列) 或结束后 (释放队列)
视频流启动后,在采集循环中反复调用 (缓冲区入队/出队)
操作对象
整个缓冲区队列 (批量操作)
队列中的单个缓冲区 (通过 index指定)
关键数据结构
struct v4l2_requestbuffers
struct v4l2_buffer
角色本质
资源管理者:负责向驱动申请或释放内核内存,搭建数据流通的“生产线”
调度员:负责将具体的“空篮子”(缓冲区)放入“生产线”(驱动输入队列)或将“装满的篮子”取出
关键参数
count(请求的缓冲区数量)、type(缓冲区类型)、memory(I/O方法,如MMAP)
index(缓冲区索引)、type、memory、bytesused(已用字节数)、flags(缓冲区状态)

用一幅图来表示

V4L2 Stream 启动流程

到这里,我们V4L2框架内核和用户空间,启动video stream就全部介绍完成了。下一篇,我们最后介绍下V4L2 async media devices driver机制。

专业术语解释:

  1. [1]Planar(平面格式):Y、U、V三个分量分别存储在三个独立的平面(数组)中,如YYYYYYYY和UUUU,VVVV,结构清晰,分量分离。软件图像处理、算法分析(如OpenCV);

  2. [2]Semi-Planar(半平面格式):Y分量单独存储一个平面,U和V分量交错存储在第二个平面中,比如:YYYYYYYY和UVUVUVUV或 VUVUVUVU。兼顾了结构性和存储紧凑性,适合硬件编解码、GPU渲染、摄像头预览;

最新文章

随机文章