深度学习系列56：使用whisper进行语音转文字_faster-whisper加速

1. openai-whisper

这应该是最快的使用方式了。安装pip install -U openai-whisper，接着安装ffmpeg，随后就可以使用了。模型清单如下：

第一种方式，使用命令行：

whisper japanese.wav --language Japanese  --model medium
1

另一种方式，使用python调用：

import whisper
model = whisper.load_model("base")
result = model.transcribe("audio.mp3",initial_prompt='以下是普通话的句子。')
print(result["text"])
1
2
3
4

2. faster-whisper

安装也一样：pip install -U faster-whisper，速度对比：

3. whisper-jax

在GPU上的加速版本
首先安装库：
pip install jax jaxlib git+https://github.com/sanchit-gandhi/whisper-jax.git datasets soundfile librosa

调用代码为：

from whisper_jax import FlaxWhisperPipline
import jax.numpy as jnp
pipeline = FlaxWhisperPipline("openai/whisper-tiny", dtype=jnp.bfloat16, batch_size=16)
%time text = pipeline('test.mp3')
1
2
3
4

4. whisper-openvino

在intel系列的cpu上加速的版本：
安装库：pip install git+https://github.com/zhuzilin/whisper-openvino.git
调用方法：whisper carmack.mp3 --model tiny.en --beam_size 3

5. whisper-onnx

参考https://k2-fsa.github.io/sherpa/onnx/pretrained_models/whisper/export-onnx.html
安装库：pip install torch openai-whisper onnxruntime onnx
下载示例代码并转码，例如转tiny模型。转码的结果包括encoder，decoder和tokens。其中encoder，decoder都包含普通版本和量化版本，然后将onnx转为onnxruntime格式：

git clone https://github.com/k2-fsa/sherpa-onnx/
cd sherpa-onnx/scripts/whisper
python3 ./export-onnx.py --model tiny.en
python3 -m onnxruntime.tools.convert_onnx_models_to_ort --optimization_style=Fixed ./
1
2
3
4

接下来进行测试：