如何使用OpenAI的whisper_openai whisper怎么使用

一、安装ffmpeg

yum localinstall --nogpgcheck https://download1.rpmfusion.org/free/el/rpmfusion-free-release-7.noarch.rpm
yum install ffmpeg ffmpeg-devel
1
2

二、安装torch等相关组件

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia
1

conda install pytorch==1.10.1 torchvision==0.11.2 torchaudio==0.10.1 cudatoolkit=10.2 -c pytorch
1

三、安装Whisper

pip install git+https://github.com/openai/whisper.git
1

如果上述报错，就改为下面的方法：

pip install --upgrade pip
git clone git@github.com:openai/whisper.git
cd whisper/
pip install setuptools-rust
pip install -r requirements.txt
python setup.py develop
1
2
3
4
5
6

四、下载模型

import whisper
model = whisper.load_model("large")  # 此处会下载模型
1
2

模型的默认下载路径在：~/.cache/whisper/large-v2.pt
如果网速不佳，可以先在网速好的服务器上先下载好模型，再拷贝到本机

五、测试效果

从下面cpu的结果看，tiny模型的结果不忍直视，而large_model的耗时，也无法忍受。

六、cpu与gpu解码的耗时对比

参考文献

• https://www.assemblyai.com/blog/how-to-run-openais-whisper-speech-recognition-model/
• https://github.com/AppleHolic/chatgpt-streamlit
• https://github.com/openai/whisper
• https://github.com/Joooohan/audio-recorder-streamlit