Android中多USB摄像头解决方案——UVCCamera_opencvwithuvccamera

      先贴上采用的开源库链接：https://github.com/saki4510t/UVCCamera

https://github.com/saki4510t/OpenCVwithUVC  -《给USBCamera添加了OpenCV》

      业余时间捣鼓了下Android 板子连接多个usb摄像头的方案，一开始使用系统的CameraV1的api，但是取到的摄像头数量一直不对（api: Camera.getNumberOfCameras()），然后又去网上查了方案（传送门：https://blog.csdn.net/xiangzhihong8/article/details/82877901）发现Android P之后原生就支持多摄像头，心里美滋滋，这么快就大结局了，但是果然天不遂人愿，于是改用CameraV2的api，但还是识别不到完整的摄像头列表。没查到具体原因，但是猜测是跟Android板子有关，虽然在软件上已经支持多摄像头，但还需要底层可能还是限制了最大连接数量。然后去应用市场下了一个usb摄像头app，发现是可以正常识别出所有的摄像头，遂反编译之，发现是使用了UVCCamera。这个开源库貌似已经很久没有维护，并且之前使用的经验来看也有不少bug（主要是兼容性方面），但是手头的硬件只有一个型号，并不需要做太多设备兼容性的适配，因此还是可以拿来一用。下面就分享一下UVCCamera的接入过程。

      无论使用哪种Camera的api，Camera的封装都可以大致分为两个流程：数据采集、渲染。于是我们就可以定义出这两块功能的接口：

数据采集

public interface ICamera {
    List<String> getCameras();
 
    interface OnPhotoTake {
        void onPhotoTake(Bitmap reader,String path);
    }
 
    boolean open(String id);
 
    void close();
 
    void takePicture(OnPhotoTake onPhotoTake,String id);
}

渲染

public interface CameraViewInterface extends IAspectRatioView {
    interface Callback {
        void onSurfaceCreated(CameraViewInterface view, Surface surface);
 
        void onSurfaceChanged(CameraViewInterface view, Surface surface, int width, int height);
 
        void onSurfaceDestroy(CameraViewInterface view, Surface surface);
    }
 
    void onPause();
 
    void onResume();
 
    void setCallback(Callback callback);
 
    SurfaceTexture getSurfaceTexture();
 
    Surface getSurface();
 
    boolean hasSurface();
 
    void setVideoEncoder(final IVideoEncoder encoder);
 
    Bitmap captureStillImage(int width, int height);
}

      虽然是多个摄像头，但是我们可以用一个单例类来统一管理——UVCCameraHelper。在这个类中我们要做的事有：连接上usb摄像头设备，开启摄像头采集数据并将数据渲染到surface上，此外还需要提供拍照、视频录制等api。那么这里就需要用到UVCCcamera这个开源库了。我们需要在UVCCameraHelper定义一个USBMonitor对象，这个类的核心接口提供了USB设备的连接状态维护。

public interface OnDeviceConnectListener {
        /**
         * called when device attached
         * @param device
         */
        public void onAttach(UsbDevice device);
        /**
         * called when device dettach(after onDisconnect)
         * @param device
         */
        public void onDettach(UsbDevice device);
        /**
         * called after device opend
         * @param device
         * @param ctrlBlock
         * @param createNew
         */
        public void onConnect(UsbDevice device, UsbControlBlock ctrlBlock, boolean createNew);
        /**
         * called when USB device removed or its power off (this callback is called after device closing)
         * @param device
         * @param ctrlBlock
         */
        public void onDisconnect(UsbDevice device, UsbControlBlock ctrlBlock);
        /**
         * called when canceled or could not get permission from user
         * @param device
         */
        public void onCancel(UsbDevice device);
    }

      UVCCameraHelper中开启USB摄像头预览的方法：

 public void requestPermission(int index) {
        List<UsbDevice> devList = getUsbDeviceList();
        if (devList == null || devList.size() == 0) {
            return;
        }
        int count = devList.size();
        if (index >= count)
            new IllegalArgumentException("index illegal,should be < devList.size()");
        if (mUSBMonitor != null) {
            mUSBMonitor.requestPermission(getUsbDeviceList().get(index));
        }
    }
 
    public int getUsbDeviceCount() {
        List<UsbDevice> devList = getUsbDeviceList();
        if (devList == null || devList.size() == 0) {
            return 0;
        }
        return devList.size();
    }
 
    public List<UsbDevice> getUsbDeviceList() {
        List<DeviceFilter> deviceFilters = DeviceFilter
                .getDeviceFilters(mActivity.getApplicationContext(), R.xml.device_filter_uvc);
        if (mUSBMonitor == null || deviceFilters == null)
            return null;
        return mUSBMonitor.getDeviceList(deviceFilters.get(0));
    }

      可以看到在requestPermission方法中先根据指定的index从usb设备列表中拿到设备，然后再调用了USBMonitor的requestPermission方法。我们继续看USBMonitor的requestPermission方法：

public synchronized boolean requestPermission(final UsbDevice device) {
//      if (DEBUG) Log.v(TAG, "requestPermission:device=" + device);
        boolean result = false;
        if (isRegistered()) {
            if (device != null) {
                if (mUsbManager.hasPermission(device)) {
                    // call onConnect if app already has permission
                    processConnect(device);
                } else {
                    try {
                        // パーミッションがなければ要求する
                        mUsbManager.requestPermission(device, mPermissionIntent);
                    } catch (final Exception e) {
                        // Android5.1.xのGALAXY系でandroid.permission.sec.MDM_APP_MGMTという意味不明の例外生成するみたい
                        Log.w(TAG, e);
                        processCancel(device);
                        result = true;
                    }
                }
            } else {
                processCancel(device);
                result = true;
            }
        } else {
            processCancel(device);
            result = true;
        }
        return result;
    }

      在该方法中注解居然是日本的（因为作者是日本人），居然让我感到有种莫名的中二感……言归正传，该方法主要就是先判断是否已经对当前USB设备授权，如果未授权则先弹授权弹窗，如果已经授权那么就执行processConnect方法：

private final void processConnect(final UsbDevice device) {
        if (destroyed) return;
        updatePermission(device, true);
        mAsyncHandler.post(new Runnable() {
            @Override
            public void run() {
                if (DEBUG) Log.v(TAG, "processConnect:device=" + device);
                UsbControlBlock ctrlBlock;
                final boolean createNew;
                ctrlBlock = mCtrlBlocks.get(device);
                if (ctrlBlock == null) {
                    ctrlBlock = new UsbControlBlock(USBMonitor.this, device);
                    mCtrlBlocks.put(device, ctrlBlock);
                    createNew = true;
                } else {
                    createNew = false;
                }
                if (mOnDeviceConnectListener != null) {
                    mOnDeviceConnectListener.onConnect(device, ctrlBlock, createNew);
                }
            }
        });
    }

      在该方法中会创建一个UsbControlBlock对象，在该对象中会根据传入的UsbDevice维护一个UsbDeviceConnection，这个类是被用来对USB设备做收发数据以及控制命令的（This class is used for sending and receiving data and control messages to a USB device.）然后就会回调到我们之前定义的OnDeviceConnectListener接口的onConnect方法。之后在onConnect中就会真正开启摄像头预览。
我们定义一个CameraThread继承自Thread，将所有操作放到子线程中，然后再定一个Handler类来维护所有预览（数据采集+渲染）相关操作，这样我们就可以通过消息机制来控制所有操作的执行顺序了。
      我们先来看onConnect中调用的openCamera(USBMonitor.UsbControlBlock ctrlBlock)，它实际就是通过Handler来执行消息的发送与处理：

private void openCamera(USBMonitor.UsbControlBlock ctrlBlock) {
        if (mCameraHandler != null) {
            mCameraHandler.open(ctrlBlock);
        }
}

 public void open(final USBMonitor.UsbControlBlock ctrlBlock) {
        checkReleased();
        sendMessage(obtainMessage(MSG_OPEN, ctrlBlock));
}
 

 case MSG_OPEN:
    thread.handleOpen((USBMonitor.UsbControlBlock) msg.obj);

      这里需要提的是在thread的handleOpen方法中会创建UVCCamera这个核心类，它会调用到jni层的api去做真正的相机相关操作。
我们继续回到onConnect，在开启相机之后会接着调用startPreview方法来将采集到的数据绑定到一块surface上：

public void startPreview(final Object surface) {
        checkReleased();
        if (!((surface instanceof SurfaceHolder) || (surface instanceof Surface) || (surface instanceof SurfaceTexture))) {
            throw new IllegalArgumentException("surface should be one of SurfaceHolder, Surface or SurfaceTexture: " + surface);
        }
        sendMessage(obtainMessage(MSG_PREVIEW_START, surface));
}

 case MSG_PREVIEW_START:
    thread.handleStartPreview(msg.obj);

      预览开启之后对于拍照等操作也是类似：

public void captureStill(final String path, AbstractUVCCameraHandler.OnCaptureListener listener) {
        AbstractUVCCameraHandler.mCaptureListener = listener;
        checkReleased();
        sendMessage(obtainMessage(MSG_CAPTURE_STILL, path));
        isCaptureStill = true;
}

case MSG_CAPTURE_STILL:
    thread.handleStillPicture((String) msg.obj);

      这样一个基本的摄像头开启、拍照流程就走完了，当然还有很多细节处理没有一一列出来，如异常处理、各种状态判断等等，这些需要在实际项目开发中根据自己的业务来做处理即可。
未来我会继续去扒jni层的代码，看看底层开启相机具体又做了哪些事情，就请继续期待后续的分享文章。
      从事的工作刚好是自己的爱好，是一件无比幸福的事情。哪怕在业余时间也会像在打游戏一样乐在其中。慢慢找回自己吧。