在Linux开发中,如何使用V4L2进行视频图像采集?

ffplay -f rawvideo -pixel_format yuyv422 -video_size 640x480 frame_000.yuv

ash: scp: not found

ssh root@板子IP "cat /root/frame_000.yuv" > frame_000.yuv

V4L2_Demo:  main.c  v4l2_capture.c  v4l2_capture.h  Makefile

main.c#include "v4l2_capture.h"#include <stdio.h>#include <stdlib.h>#include <string.h>#include <unistd.h>static void usage(const char *prog){printf("Usage: %s [-d device] [-W width] [-H height] [-f pixfmt] [-n frame_count]\n", prog);printf("Example:\n");printf("  %s -d /dev/video0 -W 640 -H 480 -f YUYV -n 5\n", prog);}static uint32_t parse_pixfmt(const char *s){if (strcmp(s, "YUYV") == 0)return v4l2_fourcc('Y', 'U', 'Y', 'V');if (strcmp(s, "MJPG") == 0)return v4l2_fourcc('M', 'J', 'P', 'G');if (strcmp(s, "NV12") == 0)return v4l2_fourcc('N', 'V', '1', '2');    fprintf(stderr, "unsupported pixel format: %s\n", s);return 0;}int main(int argc, char *argv[]){    v4l2_ctx_t ctx;    uint32_t frame_count = 5;    const char *save_prefix = "frame";    int opt;    int ret = -1;    memset(&ctx, 0, sizeof(ctx));    ctx.fd = -1;    ctx.dev_name = "/dev/video0";    ctx.width = 640;    ctx.height = 480;    ctx.pixfmt = v4l2_fourcc('Y', 'U', 'Y', 'V');while ((opt = getopt(argc, argv, "d:W:H:f:n:h")) != -1)    {        switch (opt)        {case'd':            ctx.dev_name = optarg;break;case'W':            ctx.width = (uint32_t)atoi(optarg);break;case'H':            ctx.height = (uint32_t)atoi(optarg);break;case'f':            ctx.pixfmt = parse_pixfmt(optarg);if (ctx.pixfmt == 0)return -1;break;case'n':            frame_count = (uint32_t)atoi(optarg);break;case'h':        default:            usage(argv[0]);return 0;        }    }printf("========== V4L2 Demo Start ==========\n");printf("device      : %s\n", ctx.dev_name);printf("width       : %u\n", ctx.width);printf("height      : %u\n", ctx.height);printf("pixfmt      : %c%c%c%c\n",           ctx.pixfmt & 0xFF,           (ctx.pixfmt >> 8) & 0xFF,           (ctx.pixfmt >> 16) & 0xFF,           (ctx.pixfmt >> 24) & 0xFF);printf("frame_count : %u\n", frame_count);if (v4l2_open_device(&ctx) < 0)        goto out;if (v4l2_query_capability(&ctx) < 0)        goto out;    v4l2_enum_formats(&ctx);if (v4l2_set_format(&ctx) < 0)        goto out;if (v4l2_init_mmap(&ctx, 4) < 0)        goto out;if (v4l2_start_stream(&ctx) < 0)        goto out;if (v4l2_capture_frames(&ctx, frame_count, save_prefix) < 0)        goto stop;    ret = 0;stop:    v4l2_stop_stream(&ctx);out:    v4l2_uninit(&ctx);    v4l2_close_device(&ctx);if (ret == 0)printf("========== V4L2 Demo Success ==========\n");elseprintf("========== V4L2 Demo Failed ==========\n");return ret;}

v4l2_capture.h#ifndef V4L2_CAPTURE_H#define V4L2_CAPTURE_H#include <stdint.h>#include <linux/videodev2.h>/* *      表示一个mmap映射出来的缓冲区 *      start:用户空间可访问的起始地址 *      length:缓冲区长度 * */typedef struct{        void *start;        uint32_t length;}buffer_t;/* *      v4l2    设备上下文 * *      fd:打开的设备文件描述符 *      dev_name:设备节点名称，例如dev/video0 *      width/height:采集分辨率 *      pixfmt:像素格式，例如：V4L2_PIX_FMT_YUYV / V4L2_PIX_FMT_NV12 / V4L2_PIX_FMT_MJPEG *      buffers:  mmap  缓冲区数组 *      buffer_count:   缓冲区个数 * */typedef struct{        int fd;        const char *dev_name;        uint32_t width;        uint32_t height;        uint32_t pixfmt;        buffer_t *buffers;        uint32_t buffer_count;}v4l2_ctx_t;int v4l2_open_device(v4l2_ctx_t  *ctx);int v4l2_query_capability(v4l2_ctx_t *ctx);int v4l2_set_format(v4l2_ctx_t *ctx);int v4l2_enum_formats(v4l2_ctx_t *ctx);   //枚举格式功能函数int v4l2_init_mmap(v4l2_ctx_t *ctx, uint32_t req_count);int v4l2_start_stream(v4l2_ctx_t *ctx);int v4l2_capture_frames(v4l2_ctx_t *ctx,uint32_t frame_count,const char *save_prefix);int v4l2_stop_stream(v4l2_ctx_t *ctx);void v4l2_uninit(v4l2_ctx_t *ctx);void v4l2_close_device(v4l2_ctx_t *ctx);#endif

v4l2_capture.c#include "v4l2_capture.h"#include <stdio.h>#include <stdint.h>#include <stdlib.h>#include <string.h>#include <errno.h>#include <unistd.h>#include <fcntl.h>#include <sys/ioctl.h>#include <sys/mman.h>#include <sys/select.h>#include <sys/time.h>/* *      封装ioctl 避免信号中断时直接失败 *      linux下 ioctl 可能因为 eintr 被中断 *      因此这里做一个小封装，遇到eintr就重试 * */static int xioctl(int fd,int request,void *arg){        int ret;do{                ret = ioctl(fd,request,arg);        }while(ret == -1 && errno == EINTR);return ret;}/* *      打开v4l2设备节点 * */int v4l2_open_device(v4l2_ctx_t  *ctx){if(ctx == NULL || ctx -> dev_name == NULL)        {                fprintf(stderr,"invalid ctx or device name\n");return -1;        }        ctx->fd = open (ctx->dev_name,O_RDWR | O_NONBLOCK, 0);if(ctx->fd < 0)        {                perror("open video device failed");return -1;        }printf("open video successfully : %s\n",ctx->dev_name);return 0;}/* *      查询设备能力 * *      重点检查： *      1.是否是视频采集设备 *      2.是否支持streaming模式 * */int v4l2_query_capability(v4l2_ctx_t *ctx){        struct v4l2_capability cap;        memset(&cap,0,sizeof(cap));if(xioctl(ctx->fd,VIDIOC_QUERYCAP,&cap) < 0)        {                perror("VIDIOC_QUERYCAP failed");return -1;        }printf("Driver Name   : %s\n", cap.driver);printf("Card Name     : %s\n", cap.card);printf("Bus Info      : %s\n", cap.bus_info);printf("Version       : %u.%u.%u\n",                  (cap.version >> 16) & 0xFF,                 (cap.version >> 8) & 0xFF,                 cap.version & 0xFF);printf("Capabilities  : 0x%08x\n", cap.capabilities);if (!(cap.capabilities & V4L2_CAP_VIDEO_CAPTURE))        {                fprintf(stderr, "device does not support video capture\n");return -1;        }if (!(cap.capabilities & V4L2_CAP_STREAMING))        {                 fprintf(stderr, "device does not support streaming i/o\n");return -1;        }return 0;}/* *      设置采集格式 *      注意： *       1. 应用请求的 width/height/pixfmt 不一定被驱动完全接受 *       2. 驱动可能会返回调整后的参数 *       3. bytesperline 和 sizeimage 一定要打印出来 * * */int v4l2_set_format(v4l2_ctx_t *ctx){        struct v4l2_format fmt;        memset(&fmt,0,sizeof(fmt));        fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;        fmt.fmt.pix.width = ctx->width;        fmt.fmt.pix.height = ctx->height;        fmt.fmt.pix.pixelformat = ctx->pixfmt;        fmt.fmt.pix.field = V4L2_FIELD_ANY;if (xioctl(ctx->fd, VIDIOC_S_FMT, &fmt) < 0)        {                perror("VIDIOC_S_FMT failed");return -1;        }        /*        * 用驱动实际返回的值更新上下文        * 因为驱动可能修正了分辨率和格式        */        ctx->width = fmt.fmt.pix.width;        ctx->height = fmt.fmt.pix.height;        ctx->pixfmt = fmt.fmt.pix.pixelformat;printf("set format success\n");printf("Actual Width      : %u\n", fmt.fmt.pix.width);printf("Actual Height     : %u\n", fmt.fmt.pix.height);printf("Pixel Format      : %c%c%c%c\n",                fmt.fmt.pix.pixelformat & 0xFF,                (fmt.fmt.pix.pixelformat >> 8) & 0xFF,                (fmt.fmt.pix.pixelformat >> 16) & 0xFF,                (fmt.fmt.pix.pixelformat >> 24) & 0xFF);printf("Bytes Per Line    : %u\n", fmt.fmt.pix.bytesperline);printf("Size Image        : %u\n", fmt.fmt.pix.sizeimage);printf("Field             : %u\n", fmt.fmt.pix.field);return 0;}/* *      枚举格式功能函数 * *      作用： *      可以在设置格式之前，先打印摄像头可以支持哪些格式 * * */int v4l2_enum_formats(v4l2_ctx_t *ctx){        struct v4l2_fmtdesc fmtdesc;        memset(&fmtdesc,0,sizeof(fmtdesc));        fmtdesc.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;printf("Support formats\n");while(xioctl(ctx->fd,VIDIOC_ENUM_FMT,&fmtdesc) == 0)        {printf("  [%u] %c%c%c%c  %s\n",               fmtdesc.index,               fmtdesc.pixelformat & 0xFF,               (fmtdesc.pixelformat >> 8) & 0xFF,               (fmtdesc.pixelformat >> 16) & 0xFF,               (fmtdesc.pixelformat >> 24) & 0xFF,               fmtdesc.description);        fmtdesc.index++;        }return 0;}/* *      初始化 mmap  缓冲区 *      流程： *      1.向驱动申请若干buffer *      2.逐个查询buffer 的 offset 和 length *      3.用mmap把每个buffer映射到用户空间 * */int v4l2_init_mmap(v4l2_ctx_t *ctx,uint32_t req_count){        struct v4l2_requestbuffers req;        uint32_t i;        memset(&req,0,sizeof(req));        req.count = req_count;        req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;        req.memory = V4L2_MEMORY_MMAP;if(xioctl(ctx->fd,VIDIOC_REQBUFS,&req) < 0)        {                perror("VIDIOC_REQBUFS failed");return -1;        }if (req.count < 2)        {                fprintf(stderr, "insufficient buffer memory, got %u buffers\n", req.count);return -1;        }        ctx->buffers = (buffer_t *)calloc(req.count, sizeof(buffer_t));if (ctx->buffers == NULL)         {                fprintf(stderr, "calloc buffers failed\n");return -1;         }         ctx->buffer_count = req.count;for (i = 0; i < ctx->buffer_count; i++)         {                struct v4l2_buffer buf;                memset(&buf,0,sizeof(buf));                buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;                buf.memory = V4L2_MEMORY_MMAP;                buf.index = i;if(xioctl(ctx->fd,VIDIOC_QUERYBUF,&buf) < 0)                {                        perror("VIDIOC_QUERYBUF failed");return -1;                }                ctx->buffers[i].length = buf.length;                ctx->buffers[i].start = mmap(NULL,                                     buf.length,                                     PROT_READ | PROT_WRITE,                                     MAP_SHARED,                                     ctx->fd,                                     buf.m.offset);if(ctx->buffers[i].start  == MAP_FAILED )                {                        perror("mmap failed\n");return -1;                }printf("buffer[%u]: start=%p length=%u offset=%u\n",                        i,                        ctx->buffers[i].start,                        ctx->buffers[i].length,                        buf.m.offset);         }return 0;}/* *      启动视频流 * * 正确流程是： * 1. 先把全部 buffer QBUF 入队 * 2. 再调用 STREAMON * * 原因： * 硬件一旦开始采集，驱动必须立刻有空闲 buffer 可写入。 * * * */int v4l2_start_stream(v4l2_ctx_t *ctx){        uint32_t i;        enum v4l2_buf_type type;for (i = 0; i < ctx->buffer_count; i++)        {                struct v4l2_buffer buf;                memset(&buf, 0, sizeof(buf));                buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;                buf.memory = V4L2_MEMORY_MMAP;                buf.index = i;if (xioctl(ctx->fd, VIDIOC_QBUF, &buf) < 0)                {                        perror("VIDIOC_QBUF failed");return -1;                }        }type = V4L2_BUF_TYPE_VIDEO_CAPTURE;if (xioctl(ctx->fd, VIDIOC_STREAMON, &type) < 0)        {                perror("VIDIOC_STREAMON failed");return -1;        }printf("stream on success\n");return 0;}/* * 保存一帧原始数据到文件 * * 注意： * 保存的是原始像素数据，不是 jpg/png。 * 例如 YUYV/NV12 保存下来通常是 .yuv 文件。 * 可以用 ffplay 或者 ffmpeg 再验证。 */static int save_frame_to_file(const char *filename, const void *data, uint32_t size){    FILE *fp = fopen(filename, "wb");if (fp == NULL)    {        perror("fopen frame file failed");return -1;    }if (fwrite(data, 1, size, fp) != size)    {        perror("fwrite frame failed");        fclose(fp);return -1;    }    fclose(fp);return 0;}/* * 抓取若干帧 * * 使用 select 等待设备就绪，然后 DQBUF 取帧。 * * 为什么这里不用死循环疯狂 DQBUF？ * 因为设备可能暂时没有帧准备好，select/poll 更合理。 */int v4l2_capture_frames(v4l2_ctx_t *ctx, uint32_t frame_count, const char *save_prefix){        uint32_t captured = 0;while (captured < frame_count)        {                fd_set fds;                struct timeval tv;                int ret;                FD_ZERO(&fds);                FD_SET(ctx->fd, &fds);                /*                * 设置等待超时，避免永久卡死                */                tv.tv_sec = 2;                tv.tv_usec = 0;        ret = select(ctx->fd + 1, &fds, NULL, NULL, &tv);if (ret < 0)        {if (errno == EINTR)continue;            perror("select failed");return -1;        }elseif (ret == 0)        {            fprintf(stderr, "select timeout\n");return -1;        }if (FD_ISSET(ctx->fd, &fds))        {            struct v4l2_buffer buf;            char filename[256];            memset(&buf, 0, sizeof(buf));            buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;            buf.memory = V4L2_MEMORY_MMAP;if (xioctl(ctx->fd, VIDIOC_DQBUF, &buf) < 0)            {                /*                 * 对非阻塞 fd 来说，如果当前没有可取的 buffer，                 * 可能返回 EAGAIN，这里直接继续即可。                 */if (errno == EAGAIN)continue;                perror("VIDIOC_DQBUF failed");return -1;            }printf("frame %u: index=%u bytesused=%u sequence=%u timestamp=%ld.%06ld\n",                   captured,                   buf.index,                   buf.bytesused,                   buf.sequence,                   buf.timestamp.tv_sec,                   buf.timestamp.tv_usec);            /*             * 为了演示，这里把每一帧都单独保存。             * 实际项目中通常不会每帧都落盘，因为会严重影响性能。             */            snprintf(filename, sizeof(filename), "%s_%03u.yuv", save_prefix, captured);if (save_frame_to_file(filename, ctx->buffers[buf.index].start, buf.bytesused) < 0)            {return -1;            }            /*             * 处理完这块 buffer 后，一定要重新 QBUF 入队。             * 否则驱动可用 buffer 会越来越少，最终采集停住。             */if (xioctl(ctx->fd, VIDIOC_QBUF, &buf) < 0)            {                perror("VIDIOC_QBUF requeue failed");return -1;            }            captured++;        }    }return 0;}/* * 停止视频流 */int v4l2_stop_stream(v4l2_ctx_t *ctx){    enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;if (xioctl(ctx->fd, VIDIOC_STREAMOFF, &type) < 0)    {        perror("VIDIOC_STREAMOFF failed");return -1;    }printf("stream off success\n");return 0;}/* * 释放 mmap 资源 */void v4l2_uninit(v4l2_ctx_t *ctx){    uint32_t i;if (ctx == NULL || ctx->buffers == NULL)return;for (i = 0; i < ctx->buffer_count; i++)    {if (ctx->buffers[i].start != NULL && ctx->buffers[i].start != MAP_FAILED)        {            munmap(ctx->buffers[i].start, ctx->buffers[i].length);        }    }    free(ctx->buffers);    ctx->buffers = NULL;    ctx->buffer_count = 0;}/* * 关闭设备节点 */void v4l2_close_device(v4l2_ctx_t *ctx){if (ctx && ctx->fd >= 0)    {        close(ctx->fd);        ctx->fd = -1;    }}

MakefileCC = arm-openwrt-linux-gccCFLAGS = -Wall -Wextra -O2TARGET = v4l2_demoSRCS = main.c v4l2_capture.cOBJS = $(SRCS:.c=.o)all: $(TARGET)$(TARGET): $(OBJS)        $(CC) $(CFLAGS) -o $@ $^%.o: %.c        $(CC) $(CFLAGS) -c $< -o $@clean:        rm -f $(TARGET) $(OBJS) frame_*.yuv1

交叉编译（在ubuntu上）

tammy@ubuntu:~/camera/v4l2_demo01$ makearm-openwrt-linux-gcc -Wall -Wextra -O2 -c main.c -o main.oarm-openwrt-linux-gcc -Wall -Wextra -O2 -c v4l2_capture.c -o v4l2_capture.oarm-openwrt-linux-gcc -Wall -Wextra -O2 -o v4l2_demo main.o v4l2_capture.otammy@ubuntu:~/camera/v4l2_demo01$ lsmain.c  main.o  Makefile  v4l2_capture.c  v4l2_capture.h  v4l2_capture.o  v4l2_demotammy@ubuntu:~/camera/v4l2_demo01$ adb push v4l2_demo /rootv4l2_demo: 1 file pushed. 1.1 MB/s (32124 bytes in 0.028s)

开发板运行：

root@Linux:~# ./v4l2_demo========== V4L2 Demo Start ==========device      : /dev/video0width       : 640height      : 480pixfmt      : YUYVframe_count : 5open video successfully : /dev/video0Driver Name   : uvcvideoCard Name     : HD Camera: HD CameraBus Info      : usb-sunxi-ehci-1.1Version       : 5.4.61Capabilities  : 0x84a00001Support formats  [0] MJPG  Motion-JPEG  [1] YUYV  YUYV 4:2:2set format successActual Width      : 640Actual Height     : 480Pixel Format      : YUYVBytes Per Line    : 1280Size Image        : 614400Field             : 1buffer[0]: start=0xb6e92000 length=614400 offset=0buffer[1]: start=0xb6dfc000 length=614400 offset=614400buffer[2]: start=0xb6d66000 length=614400 offset=1228800buffer[3]: start=0xb6cd0000 length=614400 offset=1843200stream on successframe 0: index=0 bytesused=614400 sequence=0 timestamp=48.244409frame 1: index=1 bytesused=614400 sequence=2 timestamp=48.328476frame 2: index=2 bytesused=614400 sequence=3 timestamp=48.364455frame 3: index=3 bytesused=614400 sequence=4 timestamp=48.396453frame 4: index=0 bytesused=614400 sequence=5 timestamp=48.428473stream off success========== V4L2 Demo Success ==========

采集到的图像文件：

root@Linux:~# lsframe_001.yuv   frame_003.yuv   frame_000.yuv   frame_002.yuv   frame_004.yuv   v4l2_demo