Librosa库——语音识别，语音音色识别训练及应用

很多同学以为语音识别是非常难的，其实并不然，起初我也是这么认为，但后来发现语音识别是最简单的，因为同学们可能不知道Python有一个音频处理库Librosa，这个库非常的强大，可以进行音频处理、频谱表示、幅度转换、时频转换、特征提取（音色、音高提取）等等，关于Librosa的更多介绍或者应用需要大家去官网或者查看其他博客资料，这里我就简单安装，然后进行语音识别的讲解。

第一步：在终端安装Librosa库

方法一：使用pip命令

pip install librosa

方法二：使用conda命令

conda install -c conda-forge librosa

第二步：打开jupyter，导入该导的库

import librosa
import numpy as np
from sklearn import svm
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_split
import IPython.display as ipd

第三步：制作语音数据，这里的意思就是自己录制不同人声音的音频录音，每个录音长短不做要求，当然个人认为录音时间在20-30秒就可以，至少3个录音音频，因为下面我使用的方法是多分类训练方法，必须3个音频，而且Librosa音频格式一般是WAV、MP3（这里要注意的是如果你录制的音频文件原本不是MP3或者WAV格式，不要重命名改文件后缀，要用专门工具改后缀，要不然报错，我试过了），下面是我用我3个录音来进行训练的音频文件分别是tbb-01.mp3（我直接说话的声音），这3个音频换成你们自己录的音，如果还不理解的咱们评论区见。

# 加载数据集
def load_data():
    # 加载tbb、aichen、xsc三种乐器的音频数据
    tbb, sr1 = librosa.load('tbb-01.mp3')
    aichen, sr2 = librosa.load('aichen-01.mp3')
    xsc, sr3 = librosa.load('xsc-01.mp3')
 
    # 提取MFCC特征，这里也就是不同人声音音色提取
    tbb_mfcc = librosa.feature.mfcc(y=tbb, sr=sr1)
    aichen_mfcc = librosa.feature.mfcc(y=aichen, sr=sr2)
    xsc_mfcc = librosa.feature.mfcc(y=xsc, sr=sr3)
 
    # 将不同人声音色的MFCC特征合并成一个数据集
    X = np.concatenate((tbb_mfcc.T, aichen_mfcc.T, xsc_mfcc.T), axis=0)
 
    # 生成标签向量
    y = np.concatenate((np.zeros(len(tbb_mfcc.T)), np.ones(len(aichen_mfcc.T)), 2*np.ones(len(xsc_mfcc.T))))
 
    return X, y

执行函数并且输出

# 加载数据集
X, y = load_data()
y

 这个结果为什么是0开始到2呢，因为这里有3个音频，可以说是生成的数据集的默认标签，第一个音频的标签是0，第二个音频标签是1，第三个音频标签是2，以此类推，有多少个就有多少个，那为什么有多个0、1、2呢，因为在制作这个数据集时会将音频分成一段一段来打上标签，这样做数据集的数量就多了，训练效果就更好

第四步：利用上面处理的数据集进行训练

# 训练模型
def train(X, y):
    # 将数据集分成训练集和测试集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
    # 使用逻辑回归算法进行多类别分类
    model = LogisticRegression(multi_class='ovr')
 
    # 训练模型
    model.fit(X_train, y_train)
 
    return model

执行函数

# 训练模型
model = train(X, y)

第五步：进行模型测试

# 测试模型
def predict(model, audio_file):
    # 加载音频文件并提取MFCC特征
    y, sr = librosa.load(audio_file)
    mfcc = librosa.feature.mfcc(y=y, sr=sr)
 
    # 进行多类别分类预测
    label = model.predict(mfcc.T)
    proba = model.predict_proba(mfcc.T)
 
    # 获取概率最大的类别标签
    max_prob_idx = np.argmax(proba[0])
    max_prob_label = label[max_prob_idx]
 
    return max_prob_label

执行函数，这里我重新录制了一个我自己的声音来进行测试

# 测试模型
label = predict(model, 'tbb-02.mp3')
 
print('音色为：', label)

 结果如下：

识别的标签是0，确实是正确的

那么语音识别其实到这里就结束了，当然我这里只做了音色识别，就是识别不同人说话的声音，Librosa库还可以进行其他的识别，等待大家去了解

这里再说一个库就是IPython.display，如下

import IPython.display as ipd

这个可以直接在jupyter进行音频播放 

audio_data = 'nideyangzi.mp3'
ipd.Audio(audio_data)

结果如下：

好了，本次语音识别就到此结束，再次感谢大家的支持！