devbox
酷酷是懒虫
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

Android平台实现无纸化同屏并推送RTMP或轻量级RTSP服务(毫秒级延迟)_安卓发送rtsp流

作者：酷酷是懒虫 | 2024-07-19 16:59:01

赞

踩

安卓发送rtsp流

技术背景

在写这篇文章之前，实际上几年之前，我们就有非常稳定的无纸化同屏的模块，本文借demo更新，算是做个新的总结，废话不多说，先看图，本文以Android平台屏幕实时采集推送，Windows播放为例，和大家做个技术分享。

技术考量指标

本文以大牛直播SDK前些年实现的Android同屏采集推送为例，大概介绍下一些技术考量指标。

1. 轻量级RTSP服务还是RTMP？

我们在做无纸化同屏的时候，问的最多的是，能不能不要自建服务，直接主讲人或教师端，直接启动轻量级RTSP服务，其他终端拉流，如果是小并发，比如5人内的小范围的同屏，Windows平台走轻量级RTSP无可厚非，如果是30-60甚至100人的会议室，建议走RTMP。

2. 推送分辨率和码率选择

我们接触到好多设备，性能一般，但是屏幕是高分屏，甚至可以采集到4K的，考虑到实时编码和并发环境下，AP的承载能力，一般建议选择适合自己的分辨率码率即可，不要只追求高分辨率高码率，导致组网困难，单个或双通道AP压力大，一般建议控制在1920*1080分辨率内，码率控制在1-5M。

3. 软编码还是硬编码

Windows平台，一般优先考虑软编，因为大多Windows性能瓶颈不太大，超过1080P可以考虑硬编，Android平台建议直接硬编码。

4. 高分屏采集编码效率低怎么办

高分屏，不管是Windows还是Android，采集后的数据，建议先压缩，再编码，Windows平台我们可以设置压缩比例（scale rate），Android平台亦可，比如采集原始屏幕，或者缩放后的屏幕，具体见下图：

  1.   /* BackgroudService.java
  2.    * Author: daniusdk.com
  3.    */ 
  4.   private void createScreenEnvironment() {
  5.  
  6.         sreenWindowWidth = mWindowManager.getDefaultDisplay().getWidth();
  7.         screenWindowHeight = mWindowManager.getDefaultDisplay().getHeight();
  8.  
  9.         Log.i(TAG, "screenWindowWidth: " + sreenWindowWidth + ",screenWindowHeight: "
  10.                 + screenWindowHeight);
  11.  
  12.         if (sreenWindowWidth > 800)
  13.         {
  14.             if (screen_resolution_type_ == SCREEN_RESOLUTION_STANDARD)
  15.             {
  16.                 scale_rate = SCALE_RATE_HALF;
  17.                 sreenWindowWidth = align(sreenWindowWidth / 2, 16);
  18.                 screenWindowHeight = align(screenWindowHeight / 2, 16);
  19.             }
  20.             else if(screen_resolution_type_ == SCREEN_RESOLUTION_LOW)
  21.             {
  22.                 scale_rate = SCALE_RATE_TWO_FIFTHS;
  23.                 sreenWindowWidth = align(sreenWindowWidth * 2 / 5, 16);
  24.                 screenWindowHeight = align(screenWindowHeight * 2 / 5, 16);
  25.             }
  26.         }
  27.  
  28.         Log.i(TAG, "After adjust mWindowWidth: " + sreenWindowWidth + ", mWindowHeight: " + screenWindowHeight);
  29.  
  30.         int pf = mWindowManager.getDefaultDisplay().getPixelFormat();
  31.         Log.i(TAG, "display format:" + pf);
  32.  
  33.         DisplayMetrics displayMetrics = new DisplayMetrics();
  34.         mWindowManager.getDefaultDisplay().getMetrics(displayMetrics);
  35.         mScreenDensity = displayMetrics.densityDpi;
  36.  
  37.         mImageReader = ImageReader.newInstance(sreenWindowWidth,
  38.                 screenWindowHeight, 0x1, 6);
  39.  
  40.         mMediaProjectionManager = (MediaProjectionManager) getSystemService(Context.MEDIA_PROJECTION_SERVICE);
  41.     }

5. Android横竖屏自动适配

Android平台，如果是pad采集，基本就是横屏采集，如果手机端，需要确保横竖屏模式下都可以正常采集。

4. 为什么要考虑补帧

Android的时候，一定的采集模式下，屏幕如果没有变化，不会一直有实时屏幕数据回调下来，这时候，为了保持帧率或数据采集的完整性，建议补帧。

5. 异常网络处理、事件回调机制

网络状态，不管是推送端，还是播放端，都是需要有实时的状态回调，确保客户端可以实时感知网络状态。

  1. backgroudService.SetEventListener(new EventListener() {
  2.                   @Override
  3.                   public void onPublisherEventCallback(long handle, int id, long param1, long param2, String param3, String param4, Object param5) {
  4.                       String publisher_event = "";
  5.  
  6.                       switch (id) {
  7.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_STARTED:
  8.                               publisher_event = "开始..";
  9.                               break;
  10.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CONNECTING:
  11.                               publisher_event = "连接中..";
  12.                               break;
  13.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CONNECTION_FAILED:
  14.                               publisher_event = "连接失败..";
  15.                               break;
  16.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CONNECTED:
  17.                               publisher_event = "连接成功..";
  18.                               break;
  19.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_DISCONNECTED:
  20.                               publisher_event = "连接断开..";
  21.                               break;
  22.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_STOP:
  23.                               publisher_event = "关闭..";
  24.                               break;
  25.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_RECORDER_START_NEW_FILE:
  26.                               publisher_event = "开始一个新的录像文件 : " + param3;
  27.                               break;
  28.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_ONE_RECORDER_FILE_FINISHED:
  29.                               publisher_event = "已生成一个录像文件 : " + param3;
  30.                               break;
  31.  
  32.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_SEND_DELAY:
  33.                               publisher_event = "发送时延: " + param1 + " 帧数:" + param2;
  34.                               break;
  35.  
  36.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_CAPTURE_IMAGE:
  37.                               publisher_event = "快照: " + param1 + " 路径：" + param3;
  38.  
  39.                               if (param1 == 0) {
  40.                                   publisher_event = publisher_event + "截取快照成功..";
  41.                               } else {
  42.                                   publisher_event = publisher_event + "截取快照失败..";
  43.                               }
  44.                               break;
  45.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUBLISHER_RTSP_URL:
  46.                               publisher_event = "RTSP服务URL: " + param3;
  47.                               break;
  48.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUSH_RTSP_SERVER_RESPONSE_STATUS_CODE:
  49.                               publisher_event = "RTSP status code received, codeID: " + param1 + ", RTSP URL: " + param3;
  50.                               break;
  51.                           case NTSmartEventID.EVENT_DANIULIVE_ERC_PUSH_RTSP_SERVER_NOT_SUPPORT:
  52.                               publisher_event = "服务器不支持RTSP推送, 推送的RTSP URL: " + param3;
  53.                               break;
  54.                       }
  55.  
  56.                       String str = "当前状态：" + publisher_event;
  57.  
  58.                       Log.i(TAG, str);
  59.  
  60.                       if (handler_ != null) {
  61.                           Message message = new Message();
  62.                           message.what = PUBLISHER_EVENT_MSG;
  63.                           message.obj = publisher_event;
  64.                           handler_.sendMessage(message);
  65.                       }
  66.                   }
  67.             });

6. 采集到的数据可以按需录像吗

可以，而且很有必要，同屏的时候，如果需要把开会或教授内容实时保存下来，可以随时启动录像。

  1.     public boolean startRecorder()
  2.     {
  3.         Log.i(TAG, "onClick startRecorder..");
  4.  
  5.         if(!stream_publisher_.is_publishing())
  6.         {
  7.             startCaptureScreen();
  8.         }
  9.  
  10.         if (layer_post_thread_ != null)
  11.             layer_post_thread_.update_layers();
  12.  
  13.         if (stream_publisher_.is_recording()) {
  14.             stopRecorder();
  15.             return false;
  16.         }
  17.  
  18.         InitAndSetConfig();
  19.  
  20.         ConfigRecorderParam();
  21.  
  22.         boolean start_ret = stream_publisher_.StartRecorder();
  23.         if (!start_ret) {
  24.             stream_publisher_.try_release();
  25.             Log.e(TAG, "Failed to start recorder.");
  26.             return false;
  27.         }
  28.  
  29.         startAudioRecorder();
  30.         startLayerPostThread();
  31.  
  32.         return true;
  33.     }
  34.  
  35.     //停止录像
  36.     public void stopRecorder() {
  37.         stream_publisher_.StopRecorder();
  38.         stream_publisher_.try_release();
  39.  
  40.         if (!stream_publisher_.is_publishing())
  41.             stopAudioRecorder();
  42.     }

7. 文字、图片水印

需要而且建议支持，比如实时时间、学校或公司logo等。

  1.         //水印效果选择++++++++++
  2.         watermarkSelctor = (Spinner) findViewById(R.id.watermarkSelctor);
  3.         watermarkSelctor.setEnabled(false);
  4.         final String[] watermarks = new String[]{"图片水印", "全部水印", "文字水印", "不加水印"};
  5.  
  6.         ArrayAdapter<String> adapterWatermark = new ArrayAdapter<String>(this,
  7.                 android.R.layout.simple_spinner_item, watermarks);
  8.  
  9.         adapterWatermark.setDropDownViewResource(android.R.layout.simple_spinner_dropdown_item);
  10.  
  11.         watermarkSelctor.setAdapter(adapterWatermark);
  12.  
  13.         watermarkSelctor.setSelection(3,true);
  14.         watemarkType = 3;   //默认不加水印
  15.  
  16.         watermarkSelctor.setOnItemSelectedListener(new AdapterView.OnItemSelectedListener() {
  17.  
  18.             @Override
  19.             public void onItemSelected(AdapterView<?> parent, View view,
  20.                                        int position, long id) {
  21.  
  22.                 watemarkType = position;
  23.  
  24.                 Log.i(TAG, "[水印类型]Currently choosing: " + watermarks[position] + ", watemarkType: " + watemarkType);
  25.  
  26.                 if(backgroudService !=null) {
  27.                     backgroudService.updateWatermarker(watemarkType);
  28.                 }
  29.             }
  30.  
  31.             @Override
  32.             public void onNothingSelected(AdapterView<?> parent) {
  33.  
  34.             }
  35.         });

8. 可以同时启动轻量级RTSP服务吗

  1.     public boolean startRtspService(int port)
  2.     {
  3.         Log.i(TAG, "startRtspService++");
  4.  
  5.         rtsp_handle_ = lib_publisher_.OpenRtspServer(0);
  6.  
  7.         if (rtsp_handle_ == 0) {
  8.             Log.e(TAG, "创建rtsp server实例失败! 请检查SDK有效性");
  9.         } else {
  10.             if (lib_publisher_.SetRtspServerPort(rtsp_handle_, port) != 0) {
  11.                 lib_publisher_.CloseRtspServer(rtsp_handle_);
  12.                 rtsp_handle_ = 0;
  13.                 Log.e(TAG, "创建rtsp server端口失败! 请检查端口是否重复或者端口不在范围内!");
  14.             }
  15.  
  16.             if (lib_publisher_.StartRtspServer(rtsp_handle_, 0) == 0) {
  17.                 Log.i(TAG, "启动rtsp server 成功!");
  18.             } else {
  19.                 lib_publisher_.CloseRtspServer(rtsp_handle_);
  20.                 rtsp_handle_ = 0;
  21.                 Log.e(TAG, "启动rtsp server失败! 请检查设置的端口是否被占用!");
  22.             }
  23.  
  24.             isRTSPServiceRunning = true;
  25.         }
  26.  
  27.         return true;
  28.     }
  29.  
  30.     //停止RTSP服务
  31.     public void stopRtspService() {
  32.         Log.i(TAG, "stopRtspService++");
  33.         if(!isRTSPServiceRunning)
  34.         {
  35.             return;
  36.         }
  37.         if (lib_publisher_ != null && rtsp_handle_ != 0) {
  38.             lib_publisher_.StopRtspServer(rtsp_handle_);
  39.             lib_publisher_.CloseRtspServer(rtsp_handle_);
  40.             rtsp_handle_ = 0;
  41.         }
  42.  
  43.         isRTSPServiceRunning = false;
  44.     }
  45.  
  46.     public boolean startRtspPublisher(){
  47.         Log.i(TAG, "startRtspPublisher++");
  48.  
  49.         if(!stream_publisher_.is_publishing())
  50.         {
  51.             startCaptureScreen();
  52.         }
  53.  
  54.         InitAndSetConfig();
  55.  
  56.         String rtsp_stream_name = "stream1";
  57.         stream_publisher_.SetRtspStreamName(rtsp_stream_name);
  58.         stream_publisher_.ClearRtspStreamServer();
  59.  
  60.         stream_publisher_.AddRtspStreamServer(rtsp_handle_);
  61.  
  62.         if (!stream_publisher_.StartRtspStream()) {
  63.             stream_publisher_.try_release();
  64.             Log.e(TAG, "调用发布rtsp流接口失败!");
  65.             return false;
  66.         }
  67.  
  68.         startAudioRecorder();
  69.         startLayerPostThread();
  70.  
  71.         return true;
  72.     }
  73.  
  74.     //停止发布RTSP流
  75.     public void stopRtspPublisher() {
  76.         Log.i(TAG, "stopRtspPublisher++");
  77.         stream_publisher_.StopRtspStream();
  78.         stream_publisher_.try_release();
  79.  
  80.         if (!stream_publisher_.is_publishing())
  81.             stopAudioRecorder();
  82.     }
  83.  
  84.     public int getRtspSessionNumbers(){
  85.         int session_numbers = 0;
  86.         if (lib_publisher_ != null && rtsp_handle_ != 0) {
  87.             session_numbers = lib_publisher_.GetRtspServerClientSessionNumbers(rtsp_handle_);
  88.             Log.i(TAG, "GetRtspSessionNumbers: " + session_numbers);
  89.         }
  90.  
  91.         return session_numbers;
  92.     }

9. 同屏延迟，能不能做到毫秒级

废话不多说，上视频，延迟毫秒级。

安卓采集屏幕至轻量级RTSP服务|推送RTMP整体毫秒级延迟

10. 能不能采集到扬声器的audio？

Windows不在话下，Android平台需要高版本支持，高版本是可以采集到扬声器数据的，我们也实现了相关的demo，可以同时采集麦克风和扬声器的audio，单独推送或者同时混音输出。

11. 同屏过程中，重点画面可以快照吗？

当然可以，我们同屏采集端，支持采集编码png或jpg格式输出。

总结

其实一个好的无纸化同屏系统，需要考虑的有整体组网、分辨率、码率、实时延迟、音视频同步和连续性等各个指标，做容易，做好难，上述抛砖引玉，未能面面俱到，感兴趣的开发者，可以跟我单独交流。

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/酷酷是懒虫/article/detail/852556
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号