devbox
IT小白
这个屌丝很懒，什么也没留下！
关注作者
热门标签
热门文章
当前位置:   article > 正文

JAVACV+ffmpeg+OpenCV实现视频叠加合成（AR效果视频生成）_javacv 多个音频滤镜交互

作者：IT小白 | 2024-06-11 23:48:45

赞

踩

javacv 多个音频滤镜交互

同时抓取两个视频的帧，在叠加合并时进行一些图像处理，并将合并后的帧写入输出文件，最后释放资源。

具体实现步骤：

  1. 准备工作：

    • 导入所需的库，这里主要是 OpenCV 和 JavaCV 相关的库。
    • 创建一个 OpenCVFrameConverter.ToIplImage 对象 converter，它用于将 JavaCV 帧转换为 OpenCV 的 IplImage 对象。

  2. 设置视频抓取器：

    • 创建两个 FFmpegFrameGrabber 对象，分别用于原始视频文件和待合并的视频文件。
    • 设置连接超时时间和读取数据超时时间。
    • 启动两个抓取器并获取视频的长度（单位：微秒），用于后续的处理。

  3. 设置视频参数：

    • 检查并调整两个视频的帧率，确保它们相同。
    • 设置输出视频的宽度和高度。
    • 计算视频的宽高比例，并计算目标高度。

  4. 设置临时文件和输出文件：

    • 获取系统临时文件目录，创建临时文件对象。
    • 设置输出文件路径，并准备好文件名。

  5. 设置录制器参数：

    • 创建一个 FFmpegFrameRecorder 对象，用于录制合并后的视频。
    • 设置输出编码器、音频采样率、帧率、视频比特率、视频编码器等参数。

  6. 抓取和处理视频帧：

    • 循环抓取原始视频的帧，同时抓取待合并视频的帧。
    • 如果当前帧是图像帧，则进行叠加处理：
      • 将 JavaCV 帧转换为 OpenCV 的 Mat 对象，进行图像边界处理。
      • 将 JavaCV 帧转换为 BufferedImage，并创建 Graphics2D 对象。
      • 抓取待合并视频的帧，进行相应处理。
      • 将待合并视频的帧叠加到当前帧上，并写入输出文件。
    • 如果当前帧包含音频，则也将音频写入输出文件。

  7. 释放资源：

    • 停止并释放所有的抓取器和录制器。
    • 关闭颜色转换过滤器。 
      1.            OpenCVFrameConverter.ToIplImage converter = new OpenCVFrameConverter.ToIplImage();
      2.  
      3.             System.out.println(mergeFilePath);
      4.             FFmpegFrameGrabber frameGrabber1 = new FFmpegFrameGrabber(file);
      5.             FFmpegFrameGrabber frameGrabber2 = new FFmpegFrameGrabber(mergeFilePath);
      6.             frameGrabber2.setOption("timeout", "5000000"); // 设置连接超时时间
      7.             frameGrabber2.setOption("stimeout", "20000000"); // 设置读取数据超时时间
      8.             Frame frame = null;
      9.             Frame  mergeFrame1= null;
      10.             Frame mergeFrame = null;
      11.             FFmpegFrameRecorder recorder = null;
      12.             String fileName = null;
      13.             try {
      14.                 frameGrabber1.start();
      15.                 frameGrabber2.start();
      16.                 int videoLengthInSeconds = (int) (frameGrabber1.getLengthInTime() / 1000000);
      17.                 int videoLengthInSeconds2 = (int) (frameGrabber2.getLengthInTime() / 1000000);
      18.                 System.out.println("秒数"+videoLengthInSeconds+"-----------"+videoLengthInSeconds2);
      19.                 System.out.println(frameGrabber1.getImageWidth()+"11111111111111"+frameGrabber1.getImageHeight());
      20.  
      21.  
      22.                 double frameRate = frameGrabber2.getFrameRate();
      23.                 if (frameRate != frameGrabber1.getFrameRate()) {
      24.                     frameGrabber1.setFrameRate(frameRate);
      25.                 }
      26.                 frameGrabber2.setFrameRate(24);
      27.                 frameGrabber1.setFrameRate(24);
      28. // 计算两个视频的长度（单位：秒）
      29.                 // 设置帧率
      30.  
      31.                 frameGrabber1.setImageWidth(1080);
      32.                 frameGrabber1.setImageHeight(1920);
      33.                 int outputWidth = 1080; // 合成后视频的宽度
      34.                 int outputHeight = 1920;
      35.                 // 根据视频的宽高比例计算目标高度
      36.                 double videoRatio1 = (double) frameGrabber1.getImageWidth() / frameGrabber1.getImageHeight();
      37.                 double videoRatio2 = (double) frameGrabber2.getImageWidth() / frameGrabber2.getImageHeight();
      38.                 // 获取图像宽和高
      39.                 int imageWidth = outputWidth;
      40.                 int imageHeight = outputHeight;
      41.                 int imageWidth1 = frameGrabber2.getImageWidth();;
      42.                 int imageHeight1 = frameGrabber2.getImageHeight();
      43.                 long sourceVideoDuration = frameGrabber1.getLengthInTime();
      44.                 long mergeVideoDuration = frameGrabber2.getLengthInTime();
      45.                 FFmpegFrameFilter colorConvertFilter = new FFmpegFrameFilter("format=rgb24", imageWidth, imageHeight);
      46.                 colorConvertFilter.setPixelFormat(avutil.AV_PIX_FMT_RGB24);
      47.                 colorConvertFilter.start();
      48.                 FFmpegFrameFilter filter = new FFmpegFrameFilter("colorkey=black", imageWidth1, imageHeight1);
      49.                 filter.setPixelFormat(avutil.AV_PIX_FMT_RGB24);
      50.                 filter.start();
      51.                 // 设置时间戳，确保两个视频的起始点一致
      52.                 // 随机生成一个新的文件名
      53.                 Random random = new Random();
      54.                 long name1 = System.currentTimeMillis() + RandomUtils.nextInt(100, 9999);
      55.  
      56.                 // 获取系统默认的临时文件目录
      57.                 String tempDir = System.getProperty("java.io.tmpdir");
      58.                 // 创建临时文件对象8
      59.                 File tempFile = new File(tempDir);
      60.                 String path =  tempFile.getAbsolutePath();
      61.  
      62.  
      63.  
      64.                 fileName = path +File.separator+ String.valueOf(name1) + ".mp4";
      65.                 ajaxResult.put("fileUrl", domainName + String.valueOf(name1) + ".mp4");
      66.                 ajaxResult.put("filePath",fileName);
      67.                 System.out.println("--文件名-->>" + fileName);
      68.                 // 设置输出编码器、音频采样率、帧率、时间戳、视频比特率、视频编码器
      69. // 创建临时文件流记录器，将输出流作为参数传入
      70.                 recorder = new FFmpegFrameRecorder(fileName, imageWidth, imageHeight, frameGrabber1.getAudioChannels());
      71.                 recorder.setFormat("mp4");
      72.                 recorder.setSampleRate(frameGrabber1.getSampleRate());
      73.                 recorder.setVideoBitrate(frameGrabber1.getVideoBitrate());
      74.                 recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);
      75.                 recorder.setFrameRate(24);
      76.                 recorder.setTimestamp(frameGrabber2.getTimestamp());
      77.  
      78.  
      79.                 // 启动录制器和另一个视频的抓取器
      80.                 frameGrabber2.setVideoCodec(avcodec.AV_CODEC_ID_H264);
      81.  
      82.                 frameGrabber2.setPixelFormat(avutil.AV_PIX_FMT_RGB24);
      83.  
      84.                 frameGrabber2.setVideoBitrate(frameGrabber1.getVideoCodec());
      85.                 frameGrabber2.setFrameRate(frameGrabber1.getVideoCodec());
      86.                 recorder.start();
      87.                 int index = 0;
      88.                 // 获取视频的总帧数
      89.                 int totalFrameCount = frameGrabber2.getLengthInFrames();
      90.                 System.out.println("视频总帧数：" + totalFrameCount);
      91.                 int totalFrameCount1 = frameGrabber1.getLengthInFrames();
      92.                 System.out.println("视频总帧数：" + totalFrameCount1);
      93.  
      94.  
      95.                 int xum =700;
      96.                 while (index < 500) {
      97.  
      98.                     // 抓取当前视频的一帧
      99.                     frame = frameGrabber1.grabFrame();
      100.                     if (frame == null) {
      101.                         break;
      102.                     }
      103.  
      104.  
      105.                     // 如果当前帧是图像，则进行叠加
      106.                     if (frame.image != null) {
      107.                         // 将JavaCV帧转换为OpenCV的Mat对象，方便后续处理颜色通道
      108.                         Mat mat = converter.convertToMat(frame);
      109.                         // 进行图像边界处理，例如裁剪掉边界黑线条
      110.                         // 将JavaCV帧转换为BufferedImage，并创建Graphics2D对象
      111.                         BufferedImage buffImg = Java2DFrameUtils.toBufferedImage(frame);
      112.                         Graphics2D graphics = buffImg.createGraphics();
      113.                         // 抓取另一个视频的一帧
      114.                         mergeFrame1 = frameGrabber2.grabFrame();
      115.                         if(mergeFrame1!=null){
      116.                             Mat mat1 = converter.convertToMat(mergeFrame1);
      117.                             int borderSize = 1;
      118.                             mat1 = mat1.apply(new Rect(borderSize, borderSize, mat1.cols() - 2 * borderSize, mat1.rows() - 2 * borderSize));
      119.                             // 将处理后的 Mat 对象转换回帧对象
      120.                             mergeFrame = converter.convert(mat1);
      121.                         }
      122.                         frameGrabber2.setImageMode(FrameGrabber.ImageMode.COLOR);
      123.  
      124.                         if (mergeFrame != null) {
      125.                             // 如果当前帧是空帧，则一直循环直到抓取到带图像的帧
      126.                             while (mergeFrame.image == null) {
      127.                                 mergeFrame = frameGrabber2.grabFrame();
      128.                                 frameGrabber2.setImageMode(FrameGrabber.ImageMode.COLOR);
      129.                             }
      130.  
      131.                             // 进行颜色空间转换（例如，将图像从BGR转换为RGB）
      132. //                        cvtColor(mat, mat, COLOR_BGR2RGB);
      133.                             // 判断颜色空间是否需要转换
      134. //                        if (mat.channels() > 1) {
      135. //                            cvtColor(mat, mat, COLOR_BGR2RGB);
      136. //                        }
      137.                             // 将另一个视频的帧应用颜色过滤器，并将结果转换为BufferedImage
      138.                             filter.push(mergeFrame);
      139.                             Frame filteredFrame = filter.pullImage();
      140.                             BufferedImage mergeBuffer = Java2DFrameUtils.toBufferedImage(filteredFrame);
      141.                             // 进行颜色空间转换（例如，将图像从BGR转换为RGB
      142.                             //                       cvtColor(converter.convertToMat(filteredFrame), converter.convertToMat(filteredFrame), COLOR_BGR2RGB);
      143.                             // 进行直方图均衡化或颜色映射等处理（根据具体需求进行选择和调整）
      144.                             // 将另一个视频的帧叠加到当前帧上
      145.                             graphics.drawImage(mergeBuffer, 0, 0, outputWidth, outputHeight, null);
      146. //                        graphics.drawImage(mergeBuffer, 0, 0, frameGrabber1.getImageWidth(), frameGrabber1.getImageHeight(), null);
      147.                         }else {
      148.                             break;
      149.                         }
      150.                         // 将叠加后的JavaCV帧写入输出文件
      151.                         Frame newFrame = Java2DFrameUtils.toFrame(buffImg);
      152.                         recorder.record(newFrame);
      153.                     }
      154.                     // 如果当前帧包含音频，则将其写入输出文件
      155.                     if (frame.samples != null) {
      156.                         recorder.recordSamples(frame.sampleRate, frame.audioChannels, frame.samples);
      157.                     }
      158.                     if(mergeFrame1 != null){
      159.                         if (mergeFrame1.samples != null) {
      160.                             recorder.recordSamples(mergeFrame1.sampleRate, mergeFrame1.audioChannels, mergeFrame1.samples);
      161.                         }
      162.                     }
      163.  
      164.                     System.out.println("帧值=" + index);
      165.                     index++;
      166.                 }
      167.                 // 停止并释放资源
      168.                 recorder.stop();
      169.                 recorder.release();
      170.                 filter.stop();
      171.                 colorConvertFilter.stop();
      172.                 frameGrabber2.stop();
      173.                 frameGrabber1.stop();
      174.  
      175. //在业务侧写代码时记得处理掉这个临时文件
      176. //            if (file!=null){
      177. //                file.deleteOnExit();
      178. //            }
      179.             } catch (Exception e) {
      180.                 e.printStackTrace();
      181.             }
      1.  
      2.         <dependency>
      3.             <groupId>org.bytedeco</groupId>
      4.             <artifactId>javacv</artifactId>
      5.             <version>1.5.2</version>
      6.         </dependency>
      7.         <dependency>
      8.             <groupId>org.bytedeco</groupId>
      9.             <artifactId>javacpp</artifactId>
      10.             <version>1.5.2</version>
      11.         </dependency>
      12.  
      13.         <dependency>
      14.             <groupId>org.bytedeco</groupId>
      15.             <artifactId>opencv</artifactId>
      16.             <version>4.1.2-1.5.2</version>
      17.             <classifier>windows-x86_64</classifier>
      18.         </dependency>
      19.         <dependency>
      20.             <groupId>org.bytedeco</groupId>
      21.             <artifactId>openblas</artifactId>
      22.             <version>0.3.7-1.5.2</version>
      23.             <classifier>windows-x86_64</classifier>
      24.         </dependency>
      25.         <dependency>
      26.             <groupId>org.bytedeco</groupId>
      27.             <artifactId>ffmpeg</artifactId>
      28.             <version>4.2.1-1.5.2</version>
      29.             <classifier>windows-x86_64</classifier>
      30.         </dependency>
      31.  
      32.         <dependency>
      33.                     <groupId>org.bytedeco</groupId>
      34.                     <artifactId>opencv</artifactId>
      35.                     <version>4.1.2-1.5.2</version>
      36.                     <classifier>linux-x86_64</classifier>
      37.                 </dependency>
      38.                 <dependency>
      39.                     <groupId>org.bytedeco</groupId>
      40.                     <artifactId>openblas</artifactId>
      41.                     <version>0.3.7-1.5.2</version>
      42.                     <classifier>linux-x86_64</classifier>
      43.                 </dependency>
      44.                 <dependency>
      45.                     <groupId>org.bytedeco</groupId>
      46.                     <artifactId>ffmpeg</artifactId>
      47.                     <version>4.2.1-1.5.2</version>
      48.                     <classifier>linux-x86_64</classifier>
      49.                 </dependency>

声明：本文内容由网友自发贡献，不代表【wpsshop博客】立场，版权归原作者所有，本站不承担相应法律责任。如您发现有侵权的内容，请联系我们。转载请注明出处：https://www.wpsshop.cn/w/IT小白/article/detail/705218
推荐阅读
相关标签

Copyright © 2003-2013 www.wpsshop.cn 版权所有，并保留所有权利。

  

闽ICP备14008679号