python系列&deep_study系列：实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）_whisper实时语音识别

---

实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）

Whisper是OpenAI于2022年发布的一个开源深度学习模型，专门用于语音识别任务。它能够将音频转换成文字，支持多种语言的识别，包括但不限于英语、中文、西班牙语等。Whisper模型的特点是它在多种不同的音频条件下（如不同的背景噪声水平、说话者的口音、语速等）都能实现高准确率的语音识别，这得益于它在训练过程中使用的大量多样化的音频数据。

Whisper模型使用了一系列先进的深度学习技术和架构，主要包括：

• 自注意力机制（Self-Attention）：Whisper模型中使用了自注意力机制，特别是变种形式的Transformer架构，这在处理序列数据（如音频）中尤其有效。

• 端到端学习：Whisper采用端到端的训练方式，直接从原始音频数据学习到文本输出，无需人工提取特征。

• 大规模数据集训练：它是在广泛的数据集上进行训练的，包括各种语言、口音和音频质量，这有助于提高模型的泛化能力和鲁棒性。

Whisper的开发和发布对于语音识别和人工智能领域有着重要的意义：

• 提高语音识别的准确率：Whisper在多种测试集上显示出优越的性能，尤其是在噪声环境下和非英语语言的识别上。

• 多语言支持：Whisper的多语言识别能力对于打破语言障碍、促进全球信息的交流和共享具有重要作用。

• 开源共享：作为一个开源项目，Whisper为研究人员和开发者提供了一个强大的工具，可以在此基础上进一步开发定制化的语音识别应用，促进了技术的创新和应用的多样化。

• 推动人工智能技术的发展：通过对Whisper模型的研究和应用，可以进一步推动相关领域，如自然语言处理、机器学习等领域的技术进步。

pip install -U openai-whisper
 
pip install git+https://github.com/openai/whisper.git 
 
# on Ubuntu or Debian
sudo apt update && sudo apt install ffmpeg
 
# on Arch Linux
sudo pacman -S ffmpeg
 
# on MacOS using Homebrew (https://brew.sh/)
brew install ffmpeg
 
# on Windows using Chocolatey (https://chocolatey.org/)
choco install ffmpeg
 
# on Windows using Scoop (https://scoop.sh/)
scoop install ffmpeg
 
pip install setuptools-rust
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20

运行：

whisper 5.wav --language Chinese
1

python代码：

import whisper
 
model = whisper.load_model("base")
result = model.transcribe("audio.mp3")
print(result["text"])
1
2
3
4
5

部署api服务：

繁体变简体：

pip install opencc-python-reimplemented

1
2

from fastapi import FastAPI, File, UploadFile
from whisper import load_model
import asyncio
import uvicorn
from opencc import OpenCC
 
app = FastAPI()
model = load_model("small")  # 加载模型
 
@app.post("/transcribe/")
async def transcribe_audio(file: UploadFile = File(...)):
    contents = await file.read()
    with open("temp_audio.mp3", "wb") as f:  # 临时保存上传的音频文件
        f.write(contents)
 
    # 调用Whisper模型进行语音识别
    result = model.transcribe("temp_audio.mp3")
    text = result["text"]
 
    # 将繁体字转换为简体字
    cc = OpenCC('t2s')  # 繁体转简体
    simplified_text = cc.convert(text)
 
    return {"text": simplified_text}
 
if __name__ == "__main__":
    uvicorn.run("whisper_api:app", host="0.0.0.0", port=8000, reload=True)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

问答：

问：想问一下啊这个实时语音识别的代码在哪里呢，目前这个代码的话只是上传的语音文件进行识别的，并不是实时的流式识别呀表情包

答：请看第二天

---

学术菜鸟小晨

实战whisper语音识别第一天，部署服务器，可远程访问，实时语音转文字（全部代码和详细部署步骤）