当前位置:   article > 正文

【AI工具篇】使用OpenAI开源的Whisper模型,制作本地离线的视频或音频转文本功能...

whisper模型

有时候在看一些学习视频时候,难免感觉进度太慢,或者学习视频太枯燥,想自己根据视频关键信息做总结或快速浏览,想着如果有一个工具,我把视频丢进去,它自己给我生成里面语音的所有文本的信息,然后我自己根据文本来提炼关键的有用的信息,还可以节约看视频的时间,是不是会很Nice? 于是,前一天经过一位小伙伴的推荐,使用一款OpenAI开源的模型,也就是今天的主角——Whisper,来实现我们的上面这个偷懒的功能。

首先,去hugging face网上下载对应的模型,该模型分为几个不同的档次,可以根据自己的电脑配置要求来。例如,显卡显存、或者内存。如果使用CPU计算,可以使用内存,不过准确度会降低;如果使用显卡计算,就会提高很多准确度。同时,模型对显存需求越大,也代表精确越高。

模型下载地址:https://huggingface.co/ggerganov/whisper.cpp

be2b456727511ae6bf358073c29a5692.png

选择模型版本,根据自己需要选择。我的电脑是老古董了,还用着1060的卡,但是足够用了,就这么着吧。如果配置比较差的情况下,建议适当选择其他模型。large模型比较大,但是会更准确一些。我这边就用large系列模型好了,虽然显卡不咋地,但是跑这个还是够用了。

ab9dd4b3590d5c379e3f7ad1af38ba47.png

然后下载官方提供的客户端,客户端下载可能需要梯子,此处为了节省大家时间,我下载了个最新版本的客户端(截止到2023年4月1日)放网盘上,可在本公众号【Dotnet Dancer】后台回复【AI文本提取】进行获取编译后的客户端以及官方客户端源码(C++和C#开发的源码)

80be0d24a5142a245848907237088c27.png

进入到解压缩文件夹,双击exe运行

9a144e7f06e80b8134939aeeb13d7b2c.png

打开页面,选择模型文件

e2485cdd49a7eed8e74267f455b96ec9.png

选择GPU,然后在 advanced里面选择你的显卡,例如我的老破小GTX1060

5729c3537172b626ffe831abc2378f44.png

点击OK,加载模型

4c30aaa036e0f939473cf0ee7a73b328.png

然后选择语言,例如我的视频是中文版的,就选择中文

f93bd550c6cec56a3a4345f30f9dac3f.png

然后选择需要处理的音视频文件,以及选择输出文本样式格式(例如我选择的是带时间线的,每个文本会自带文字信息)和需要保存的文件名称等。

e4b78e32e764ae10eaa293e410635fcf.png

完了以后,点击Transcribe,然后开始执行,电脑也开始轰轰响(毕竟是老古董)

5f8894fe9228fdb4e7926dee6cb265ee.png

右上角勾选debug console,可以打开控制台,查看实时信息

edcb7637b24a784eb82ba66fefcae7b9.png

按Ctrl C,或者取消掉勾选,控制台实时日志就会关闭掉。

让机器跑一会儿,看了下视频有点大,接近俩小时,可能要个几分钟。

两分钟过去了……

cb7e9bfa5f005daf28c11ac888ca0e89.png

看来还要点时间,我去喝杯茶压压惊先,等下再回来续写。

……

看来机器不给力,又三分钟过去了,看样子才1/4 ~ 1/3的样子。

dad6a098594a312f204969afa8fba5ea.png

继续喝杯茶压压惊提提神

……

大概20分钟又过去了,虽然还没完成,看来黎明就在眼前~

b649df3df0207a11b321d34d9d6f2afb.png

老古董电脑太卡了,显卡还是有点小压力~~~

……又过了三分钟,弹出提示OK了.一共用了40分钟,视频是1小时29分钟,看来还是得需要牛逼点的显卡啊!!!我这款1060老破小,还算勉强能用。

2915495e1434a7c34f1de7fedd1c906a.png

接下来看提取的内容的效果

dd5d268f7beae3a578579751b8c5bbcd.png

哦豁,基本上内容没毛病,和视频内的发音内容很一致,说明OK,拉到最底下看看:

2ae2bd461787ee70e7942748dd6e8a8d.png

嗯,也没毛病,说明提示的效果还可以接受,错别字也很少。

以上就是该文章的全部内容。

祝大家玩的愉快~~~

声明:本文内容由网友自发贡献,不代表【wpsshop博客】立场,版权归原作者所有,本站不承担相应法律责任。如您发现有侵权的内容,请联系我们。转载请注明出处:https://www.wpsshop.cn/w/我家自动化/article/detail/111265?site
推荐阅读
相关标签
  

闽ICP备14008679号