realESR-GAN（超分辨率重建）_深度学习之esrgan图像超分辨率重建

个人网站：https://tianfeng.space/934.html

一、前言

CSRGAN（Compressed Sensing with Regularization Generative Adversarial Network）是一种基于生成对抗网络（GAN）和压缩感知（CS）的图像超分辨率（SR）算法。它通过学习图像的稀疏表示来实现超分辨率重建，并使用生成对抗网络来提高重建图像的视觉质量。相较于其他传统的图像超分辨率算法，CSRGAN 在保持图像细节和纹理的同时，还能够有效地减少重建图像中的伪影和噪声。

二、安装使用

1.环境搭建

anaconda和cuda和pytorch环境以前写过详细教程：安装

2.源码下载

地址：https://github.com/xinntao/Real-ESRGAN

git clone或者zip下载

3.依赖安装

cd cd Real-ESRGAN
python -m pip install -r requirements.txt  已经有torch环境把里面torch，torchvision删掉
1
2

4.运行，结果在result

python inference_realesrgan.py -n RealESRGAN_x4plus -i inputs
1

5.视频修复

ffmpeg下载

原视频
onepiece_demo.mp4
视频分帧输出的文件夹
tmp_frames
重组后的视频名
output_w_audio.mp4
1
2
3
4
5
6

• 视频分帧

ffmpeg -i onepiece_demo.mp4 -qscale:v 1 -qmin 1 -qmax 1 -vsync 0 tmp_frames/frame%08d.jpg
1

\2. 推理可以按照上面方式也可以下载ncnn文件进行推理Windows / Linux / MacOS

./realesrgan-ncnn-vulkan.exe -i tmp_frames -o out_frames -n realesr-animevideov3 -s 2 -f jpg
1

\3. 重组视频

ffmpeg -i out_frames/frame%08d.jpg -i onepiece_demo.mp4 -map 0:v:0 -map 1:a:0 -c:a copy -c:v libx264 -r 23.98 -pix_fmt yuv420p output_w_audio.mp4
1

最新版推理文件更新了视频功能，自动下载ffmpeg导入，上述现在仅供参考，不用绕弯

使用

默认安装ffmpeg，易与ffmpeg、python-ffmpeg混淆

pip3 uninstall ffmpeg
pip3 install ffmpeg-python
python inference_realesrgan_video.py -n RealESRGAN_x4plus -i ./video/onepiece_demo.mp4 --face_enhance
1
2
3

face_enhance面部修复可选，-s 4，默认4倍放大可修改