【Linux驱动】Linux--USB免驱摄像头驱动分析（基于5.4内核）_linux摄像头驱动

Linux摄像头系列文章

【Linux应用】Linux–V4L2摄像头应用编程

【Linux】Linux–V4L2视频驱动框架

【Linux驱动】Linux–虚拟摄像头vivid驱动分析（基于5.4内核）

Linux–USB免驱摄像头驱动分析

本文基于Linux 5.4内核，虚拟摄像头驱动文件在drivers\media\usb\uvc目录下，本文深入分析了5.4内核下UVC驱动的实现及调用过程。读完本文可以对UVC驱动有一个清晰的认识。

drivers\media\usb\uvc

一、UVC简介

UVC全称为USB Video Class，即：USB视频类，是一种为USB视频捕获设备定义的协议标准。 是Microsoft与另外几家设备厂商联合推出的为USB视频捕获设备定义的协议标准，已成为USB org标准之一。

​ 如今的主流操作系统(如Windows XP SP2 and later, Linux 2.4.6 and later, MacOS 10.5 and later)都已提供UVC设备驱动，因此符合UVC规格的硬件设备在不需要安装任何的驱动程序下即可在主机中正常使用。使用UVC技术的包括摄像头、数码相机、类比影像转换器、电视棒及静态影像相机等设备。

​ 网络摄像头是第一个支持UVC而且也是数量最多的UVC设备，操作系统只要是 Windows XP SP2 之后的版本都可以支持 UVC，当然 Vista 就更不用说了。Linux系统自2.4以后的内核都支持了大量的设备驱动，并可以支持UVC设备。

​ 使用 UVC 的好处 USB 在 Video这块也成为一项标准了之后，硬件在各个程序之间彼此运行会更加顺利，而且也省略了驱动程序安装这一环节。

二、UVC功能

​ UVC设备都是多Interface设备，这点同普通的u盘不同。UVC设备最起码有两个Interface，VideoControl（VC）Interface和VideoStream(VS) Interface； 这也是最常见的UVC设备。 Spec明确要求一个具有可用的，具有实际UVC功能的设备要有一个VC Interface，一个或多个VS Interface。

​ VCInterface用于进行配置，操控，设置UVC设备进入不同的功能状态，而VSInterface则负责视频数据流的传输；完整的UVC功能需依赖VS，VC Interfaces的配合才能实现。

​ 通过VideoControl Interface来控制，通过VideoStreaming Interface来读视频数据，
​ VC里含有多个Unit/Terminal等功能模块，可以通过访问这些模块进行控制，比如调亮度。

三、如何写一个USB摄像头驱动

1.构造一个usb_driver
2.设置
   probe:
        2.1. 分配video_device:video_device_alloc
        2.2. 设置
           .fops
           .ioctl_ops (里面需要设置11项)
           如果要用内核提供的缓冲区操作函数，还需要构造一个videobuf_queue_ops
        2.3. 注册: video_register_device      
  id_table: 表示支持哪些USB设备      
3.注册： usb_register
1
2
3
4
5
6
7
8
9
10
11

四、Linux内UVC驱动分析

1、大体框架

Linux 5.4版本UVC驱动在drivers\media\usb\uvc目录下。

• 看一个驱动从入口函数看起

usb_register(&uvc_driver.driver);
1

• 在probe函数里,分配设置注册video_device

uvc_probe
	dev = kzalloc(sizeof(*dev), GFP_KERNEL);//分配uvc_device
	uvc_parse_control(dev)/* Parse the Video Class control descriptor. */
    v4l2_device_register	
    uvc_ctrl_init_device(dev)  /* Initialize controls. */
    uvc_scan_device(dev)/* Scan the device for video chains. */
    uvc_register_chains(dev)    /* 注册视频设备节点 */
    	uvc_register_terms
        	uvc_register_video
        		uvc_video_init/* *使用默认参数初始化流接口 */
        		uvc_register_video_device
        				vdev->v4l2_dev = &dev->vdev;
						vdev->fops = fops;
						vdev->ioctl_ops = ioctl_ops;
						video_register_device
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

可以看到最终还是满足 三（如何写一个USB摄像头驱动） 的步骤。

2、UVC驱动调用过程

​ 在上面的步骤中，我们已经将uvc_fops绑定到video_device并注册到V4L2核心层中去了，当应用层产生系统调用时，会最终调到uvc_fops的函数。

• open

uvc_v4l2_open
    uvc_trace/* 打印信息 */
    handle = kzalloc(sizeof(*handle), GFP_KERNEL);/* Create the device handle. */
	uvc_status_start(stream->dev, GFP_KERNEL);/* 提交URB */
	v4l2_fh_init(&handle->vfh, &stream->vdev);
	v4l2_fh_add(&handle->vfh);
1
2
3
4
5
6

• VIDIOC_QUERYCAP

uvc_ioctl_querycap
    cap->capabilities = V4L2_CAP_DEVICE_CAPS | V4L2_CAP_STREAMING| chain->caps;
1
2

• VIDIOC_ENUM_FMT

uvc_ioctl_enum_fmt_vid_cap
    uvc_ioctl_enum_fmt
    	format = &stream->format[fmt->index]; // format数组应是在设备被枚举时设置的
1
2
3

• VIDIOC_G_FMT

uvc_ioctl_g_fmt_vid_cap
	uvc_v4l2_get_format // USB摄像头支持多种格式fromat, 每种格式下有多种frame(比如分辨率)
		format = stream->cur_format;
		frame = stream->cur_frame;
1
2
3
4

• VIDIOC_TRY_FMT

uvc_ioctl_try_fmt_vid_cap
    uvc_v4l2_try_format
    /* 检查硬件是否支持所请求的格式，使用默认格式,否则格式化。 */
    /*找到最接近的图像大小。图像大小之间的距离为
	 *元素之间不重叠区域的像素大小
	 *请求的大小和帧指定的大小。 */
	/* 使用默认的帧间隔。 */
	ret = uvc_probe_video(stream, probe);/* Probe the device. 
											如果成功则保持配置，失败则恢复默认配置*/
1
2
3
4
5
6
7
8
9

• VIDIOC_S_FMT

uvc_ioctl_s_fmt_vid_cap
    uvc_v4l2_set_format
    	uvc_v4l2_try_format /* 尝试配置 */
    	uvc_queue_allocated
    	stream->ctrl = probe;	/* 可以配置则保存参数，还没有发给USB摄像头 */
		stream->cur_format = format;
		stream->cur_frame = frame;
1
2
3
4
5
6
7

• VIDIOC_REQBUFS

uvc_ioctl_reqbufs
    uvc_request_buffers
    	vb2_reqbufs
    		vb2_verify_memory_type /* 识别memory_type */
    		fill_buf_caps			/* 对应用层传进来的buff填充 */
1
2
3
4
5

• VIDIOC_QUERYBUF

uvc_ioctl_querybuf
	uvc_query_buffer
    	vb2_querybuf(&queue->queue, buf);
					vb = q->bufs[b->index];
					ret = __verify_planes_array(vb, b); /* 验证是否可安全使用buf */
					if (!ret)
					vb2_core_querybuf(q, b->index, b);	
						call_void_bufop
                            q->buf_ops->op(args);
							/* 最终调用到q->buf->ops->fill_user_buffer */
1
2
3
4
5
6
7
8
9
10

• mmap

uvc_v4l2_mmap
	uvc_queue_mmap
    	vb2_mmap
    		call_memop
1
2
3
4

• VIDIOC_QBUF

uvc_ioctl_qbuf
    uvc_queue_buffer
    	vb2_qbuf
    		vb2_queue_or_prepare_buf
    		vb2_core_qbuf
				list_add_tail(&vb->queued_entry, &q->queued_list);/* 将buf放入队列 */
				vb2_start_streaming/* 如果之前开启VIDIOC_STREAMON，那么启动流*/
					call_qop(q,start_streaming,q,atomic_read(&q>owned_by_drv_count));
					/* 最终调用到q->ops->start_streaming指向的函数：uvc_start_streaming */
1
2
3
4
5
6
7
8
9

uvc_start_streaming
    uvc_video_start_streaming
    	uvc_commit_video
    	uvc_video_start_transfer
    		uvc_init_video_isoc
    			 usb_alloc_urb /* 分配设置URB */
	   		     urb->complete = uvc_video_complete;
/* (收到数据后此函数被调用,它又调用video->decode(urb, video, buf); ==> uvc_video_decode_isoc/uvc_video_encode_bulk => uvc_queue_next_buffer => wake_up(&buf->wait);) */


uvc_video_complete
	usb_submit_urb		/* 发送URB数据 */		
1
2
3
4
5
6
7
8
9
10
11
12

• VIDIOC_STREAMON

uvc_ioctl_streamon
    uvc_queue_streamon
    	vb2_streamon
    		vb2_core_streamon
    			vb2_start_streaming /* 如果提供了足够的缓冲区，就告诉驱动程序开始流式传输 */
    					list_for_each_entry(vb, &q->queued_list, queued_entry)
						__enqueue_in_driver(vb);/* 找出排队的buf */
						call_qop/* 告诉驱动程序开始传输流 */
                      /* 最终调用到q->ops->start_streaming指向的函数：uvc_start_streaming */
                           /* 分析过程同VIDIOC_QBUF后面一样 */
1
2
3
4
5
6
7
8
9
10

• poll

uvc_v4l2_poll
	uvc_queue_poll
    	vb2_poll
    		vb2_core_poll
    			poll_wait	/* 进入休眠状态等待内核线程唤醒 */
1
2
3
4
5

• VIDIOC_DQBUF

uvc_ioctl_dqbuf
    uvc_dequeue_buffer
    	vb2_dqbuf
    		vb2_core_dqbuf
    			call_void_bufop(q, fill_user_buffer, vb, pb);/* 填充用户空间的缓冲区信息 */
				list_del(&vb->queued_entry);		/*将videobuf从队列移除*/
1
2
3
4
5
6

• VIDIOC_STREAMOFF

uvc_ioctl_streamoff
    uvc_queue_streamoff
    	vb2_streamoff
    		vb2_core_streamoff
    			/* Cancel将暂停流并从驱动程序中删除所有缓冲区和videobuf，
    			有效地将对它们的控制权返回给用户空间 */
    			__vb2_queue_cancel(q);
					call_void_qop(q, stop_streaming, q);/*释放所有排队的事务*/
					INIT_LIST_HEAD(&q->queued_list);	/*从videobuf列表中删除所有缓冲区。*/
					wake_up_all(&q->done_wq);			/* 唤醒所有休眠的等待队列 */
/* call_void_qop(q, stop_streaming, q);最终调用q->ops->stop_streaming即uvc_stop_streaming */
1
2
3
4
5
6
7
8
9
10
11

uvc_stop_streaming
    uvc_video_stop_streaming
    	uvc_video_stop_transfer
    		usb_free_urb	/* 释放URB */
1
2
3
4

3、分析设置亮度过程

ioctl：VIDIOC_S_CTRL

uvc_ioctl_s_ctrl
    uvc_ctrl_begin
    uvc_ctrl_set
    uvc_ctrl_commit
    	__uvc_ctrl_commit
    		/* Find the control. */
			list_for_each_entry(entity, &chain->entities, chain) {
			uvc_ctrl_commit_entity(chain->dev, entity, rollback);
				uvc_query_ctrl(dev  /* 哪一个USB设备 */, SET_CUR, ctrl->entity->id 									 /* 哪一个unit/terminal */,dev->intfnum /* 哪一个接口: VC 										interface */, ctrl->info->selector,uvc_ctrl_data(ctrl, 									UVC_CTRL_DATA_CURRENT),ctrl->info->size);
1
2
3
4
5
6
7
8
9

五、总结

总结：

1. UVC设备有2个interface: VideoControl Interface, VideoStreaming Interface

2. VideoControl Interface用于控制，比如设置亮度。它内部有多个Unit/Terminal(在程序里Unit/Terminal都称为entity)
   可以通过类似的函数来访问：
   ret = uvc_query_ctrl(dev /* 哪一个USB设备 /, SET_CUR, ctrl->entity->id / * 哪一个 unit/terminal * /,
   dev->intfnum / 哪一个接口: VC interface */, ctrl->info->selector,
   uvc_ctrl_data(ctrl, UVC_CTRL_DATA_CURRENT),
   ctrl->info->size);

3. VideoStreaming Interface用于获得视频数据，也可以用来选择fromat/frame(VS可能有多种format, 一个format支持多种frame， frame用来表示分辨率等信息)
   可以通过类似的函数来访问：
   ret = __uvc_query_ctrl(video->dev /* 哪一个USB设备 /, SET_CUR, 0,
   video->streaming->intfnum / 哪一个接口: VS */,
   probe ? VS_PROBE_CONTROL : VS_COMMIT_CONTROL, data, size,
   uvc_timeout_param);

4. 我们在设置FORMAT时只是简单的使用video->streaming->format[fmt->index]等数据，
   这些数据哪来的？
   应是设备被枚举时设置的，也就是分析它的描述符时设置的。

5. UVC驱动的重点在于：
   描述符的分析
   属性的控制: 通过VideoControl Interface来设置
   格式的选择：通过VideoStreaming Interface来设置
   数据的获得：通过VideoStreaming Interface的URB来获得

参考资料

韦东山嵌入式第三期