Android TRTC实时音视频 推 RTSP视频流方法_rtsp推流小项目android

前言

        近期有个Android任务：项目中原本集成了TRTC腾讯云实时音视频SDK，要是有过了解的朋友应该就知道，加入房间后，默认是采用手机的前后摄像头进行视频数据采集，并推流。如今的任务是需要将特定外接摄像头采集的视频也集成到房间中，而外接摄像头采集的是rtsp数据视频流。于是就有了今天的话题blog。

总体思路

        1.既然要在TRTC 中推自己的数据流，那么肯定要按照TRTC中的数据格式去传输视频数据。从TRTC SDK中可以查到，我们可以自定义采集视频数据。并通过sendCustomVideoData（）方法进行数据传输。具体可以去查SDK文档，写的挺详细的，这里就不赘述了.附截图。sendCustomVideoData（）中有两种数据传输方案，按需设置即可。

         2.数据格式解决了，那就需要看数据来源了。一般外接摄像头采集视频数据后都是rtsp流形式。那么关键问题就是如何获取到rtsp流数据，并转换为TRTC所需要的视频传输格式。

 正文

        既然需要获取rtsp流数据并进行转换。那么如何获取rtsp流中的原数据呢？

        小编这里提供一些可行的方法：1.FFMPEG  2.OPENCV 3.JAVACV

        以上三种方法都是可行的，小编这里使用的是JAVACV，主要是方便集成。

        1.JAVACV集成

                 1.1 build.gradle添加依赖

    //JavaCV
    def javacvVersion = '1.4.2'
    def ffmpegVersion = '4.0.1'
    def opencvVersion = '3.4.2'
    implementation(group: 'org.bytedeco', name: 'javacv-platform', version: javacvVersion) {
        exclude group: 'org.bytedeco.javacpp-presets'
    }
    implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}"
    implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'
    implementation group: 'org.bytedeco.javacpp-presets', name: 'ffmpeg', version: "${ffmpegVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'
    implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}"
    implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm' // for 'armeabi-v7a'
    implementation group: 'org.bytedeco.javacpp-presets', name: 'opencv', version: "${opencvVersion}-${javacvVersion}", classifier: 'android-arm64' // for 'arm64-v8a'

        2.根据根据rtsp获取帧数据

            FFmpegFrameGrabber grabber = FFmpegFrameGrabber.createDefault(url);
            grabber.setOption("rtsp_transport", "tcp"); 
            grabber.setImageWidth(hotWidth);
            grabber.setImageHeight(hotHeight);
            grabber.setPixelFormat(AV_PIX_FMT_RGBA);
            System.out.println("grabber start");
            grabber.start();
            AndroidFrameConverter converter = new AndroidFrameConverter();
            while (HotRunning) {
                Frame frame = grabber.grabImage();
                final Bitmap bmp = converter.convert(frame);
            }

        其中url就是rtsp地址.例如：rtsp://192.168.2.199:8554/stream1

        最后frame就是得到的帧数据,我们将其转换为bitmap,就可以直接显示出来了。

      2.数据转换

         根据TRTC SDK数据格式要求，我们需要将bitmap转换成YUV格式数据,小编这里是将bitmap转换成NV21格式的数据。

    public byte[] getNV21(int inputWidth, int inputHeight, Bitmap scaled) {
 
        int[] argb = new int[inputWidth * inputHeight];
 
        scaled.getPixels(argb, 0, inputWidth, 0, 0, inputWidth, inputHeight);
 
        byte[] yuv = new byte[inputWidth * inputHeight * 3 / 2];
        encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
 
        //scaled.recycle();
 
        return yuv;
    }
 
 
    public static void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {
        final int frameSize = width * height;
 
        int yIndex = 0;
        int uvIndex = frameSize;
 
        int a, R, G, B, Y, U, V;
        int index = 0;
        for (int j = 0; j < height; j++) {
            for (int i = 0; i < width; i++) {
 
                a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
                R = (argb[index] & 0xff0000) >> 16;
                G = (argb[index] & 0xff00) >> 8;
                B = (argb[index] & 0xff) >> 0;
                Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;
                U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;
                V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;
                yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
                if (j % 2 == 0 && index % 2 == 0) {
                    yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
                    yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
                }
 
                index ++;
            }
        }
    }

3.数据推流

        通过getNV21（）方法将数据转换好之后，最后再填入sendCustomVideoData（）方法中即可。

TRTCCloudDef.TRTCVideoFrame videoFrame = new TRTCCloudDef.TRTCVideoFrame();
                    //videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_I420;
                    videoFrame.pixelFormat = TRTCCloudDef.TRTC_VIDEO_PIXEL_FORMAT_NV21;
                    videoFrame.bufferType = TRTCCloudDef.TRTC_VIDEO_BUFFER_TYPE_BYTE_ARRAY;
                    videoFrame.data = sendData;
                    videoFrame.width = hotWidth;
                    videoFrame.height = hotHeight;
                    videoFrame.timestamp = 0;
                    mTRTCCloud.sendCustomVideoData(TRTCCloudDef.TRTC_VIDEO_STREAM_TYPE_BIG,videoFrame);

其中sebdData就是getNV21（）转换之后的数据。

至此功能完成。

注意事项

        1.需要将TRTC采集模式设置为自定义采集。

        2.javacv 的 FFmpegFrameGrabber 是采集到每一帧的数据,所以需要放在循环中不断获取。

        3.由于数据量大，转换数据后要注意及时释放内存。