如何使用OpenAI的whisper_openai whisper怎么使用

作者：在线问答5 | 2024-07-17 01:41:18

踩

openai whisper怎么使用

文章目录

一、安装ffmpeg
二、安装torch等相关组件
三、安装Whisper
四、下载模型
五、测试效果
六、cpu与gpu解码的耗时对比
参考文献

一、安装ffmpeg

yum localinstall --nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion-free-release-7.noarch.rpm
yum install ffmpeg ffmpeg-devel
1
2

二、安装torch等相关组件

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
1

conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch
1

三、安装Whisper

pip install git+https://github.com/openai/whisper.git
1

如果上述报错，就改为下面的方法：

pip install --upgrade pip
git clone git@github.com:openai/whisper.git
cd whisper/
pip install setuptools-rust
pip install -r requirements.txt
python setup.py develop
1
2
3
4
5
6

四、下载模型

import whisper
model = whisper.load_model("large")  # 此处会下载模型
1
2

模型的默认下载路径在：~/.cache/whisper/large-v2.pt
如果网速不佳，可以先在网速好的服务器上先下载好模型，再拷贝到本机

五、测试效果

从下面cpu的结果看，tiny模型的结果不忍直视，而large_model的耗时，也无法忍受。

模型名称	cpu执行时间	结果	gpu执行时间	占显存
large_model	15.5456秒	喂王阳能听到我说话吗今天天气怎么样	超过16G	超16G
medium_model	9.1108秒	喂,王阳,想听到我说话吗?今天天气怎么样?	1.7336秒	10G
small_model	3.2420秒	喂,完了,那听到我说话吗?今天天气怎么样?	1.1716秒	3.3G
base_model	1.5984秒	喂王雅能聽到我說話嗎今天天氣怎麼樣	0.3483秒	1.6G
tiny_model	1.0238秒	喂玩呀那听到我说话吗今天听见怎么样	0.2637秒	1.3G

六、cpu与gpu解码的耗时对比

在这里插入图片描述

参考文献

https://www.assemblyai.com/blog/how-to-run-openais-whisper-speech-recognition-model/
https://github.com/AppleHolic/chatgpt-streamlit
https://github.com/openai/whisper
https://github.com/Joooohan/audio-recorder-streamlit

本文内容由网友自发贡献，转载请注明出处：https://www.wpsshop.cn/w/在线问答5/article/detail/837328