python实验六 语音信号处理_实验用的语音信号

目录

实验目的：

实验原理：

实验准备：

实验步骤与内容：

参考代码：

实验目的：

• 依托语音信号处理领域的声学特征提取任务，学习常用的语音信号处理工具，实现对语音数据的预处理和常用特征提取等操作；
• 熟悉掌握安装和使用各种语音信号处理 python 库的方法；
• 熟练掌握 matplotlib.pyplot 库绘制多图的方法。

实验原理：

图 6.5 Mel 三角形滤波器组

三角滤波器的频率响应定义

其中：

三角带通滤波器的主要目的是对频谱进行平滑化，并消除谐波的作用。此外还可以减少运算量。在 MATLAB 的 voicebox 工具箱中有 melbankm 函数可用于计算 Mel 滤波器组。

计算每个滤波器组输出的对数能量为：

 经离散余弦变换（DCT）得到 MFCC 系数：

将上述的对数能量带入离散余弦变换，求出 L 阶的Mel-scale Cepstrum 参数。L 阶指 MFCC 系数阶数，通常取 12-16。这里 M 是三角滤波器个数。

实验准备：

1.pydub库

Pydub 提供了简洁的高层接口，极大的扩展了python 处理音频文件的能力， pydub 可能不是最强大的 Python 音频处理库，但绝对是 Python 最简洁易用的音频库，其功能足以满足大多数情况下的音频处理需求，但是 Pydub 库高度依赖ffmpeg，需要在使用前安装 ffmpeg。

Pydub 的核心功能大部分都在 pydub/audio_segment.py 中。使用 pydub，可以实现分割音频片段、改变音量大小、连接音频片段、添加淡入淡出效果等功能。

2.python_speech_feature 库

Python_speech_feature 是一个用于音频特征提取的 python 工具包，擅长音频信号处理。包含了一些常用的频谱特征的提取方法，比如常见的Mel Spectrogram、MFCC、CQT、chroma 等。

实验步骤与内容：

2.音频预处理

录制音频文件的软件大多数都是以 mp3 格式输出的，但 mp3 格式文件对语音的压缩比例较重，因此一般需要先将 mp3 转化为 wav 文件。首先，随意选取并下载一条 mp3 格式的音乐音频***.mp3，并将其转换成采样率为 16kHz wav 格式***.wav；然后，读取音频文件，如果音频不足 5s,重复该音频满足时长大于 5 秒，然后随机选取其中的 5s 片段，重复 3 次，再对首尾添加 3s 的淡入淡出，得到新的音频文件***_new.wav。（pydub 库）

所用接口：from_mp3()、from_wav()、set_frame_rate()、fade_in()、fade_out()、export()

3.特征提取

计算得到新音频文件的频谱图、fbank 和梅尔倒谱系数，并将新音频文件的时域波形图、logfbank 和梅尔倒谱系数绘制在一张图中，如图 6.7 所示。(python_speech_feature 库提取特征)，如果输入音频是多通道，则只对第一个通道进行处理和展示。(logfbank 和 mfcc 特征均采用汉明窗作为窗函数，并将原始信号、logfbank 和梅尔倒谱系数在一行展示。)

图 6.7  结果样例

音频读取：scipy.io.read() 特征提取：fbank()、mfcc()

绘图：matplotlib.pyplot.figure() 、 add_subplot(), matplotlib.pyplot.plot(), matplotlib.pyplot.pcolormesh()等接口

参考代码：

#python6_1
import random
from pydub import AudioSegment
#mp3转wav
s1 = AudioSegment.from_mp3("Hans Zimmer - 荣耀主题.mp3")
s1.export("Hans Zimmer - 荣耀主题.wav", format="wav")
s2=AudioSegment.from_wav("Hans Zimmer - 荣耀主题.wav")
s3=s2.set_frame_rate(16000)#转换成采样率为 16kHz wav
t = s3.duration_seconds #获取音频文件时长
while t<5:
    s3+=s3
    t+=s3.duration_seconds
five_seconds = 5000#以毫秒为单位
n=random.randint(0,150000)
m=n+five_seconds
s4=s3[n:m]+s3[n-2000:m-2000]+s3[n+10000:m+10000]
s4=s4.fade_in(3000)
s4=s4.fade_out(3000)
s5=s4.set_channels(1)#转换成单音道
s5.export("Hans Zimmer - 荣耀主题new.wav", format="wav")
 
 

#python6_2
import matplotlib.pyplot as plt
import scipy
from scipy.io import wavfile
from python_speech_features import mfcc, logfbank, fbank
import wave
# 读取输入音频文件
(a, b) = wavfile.read("Hans Zimmer - 荣耀主题new.wav")
# 提取MFCC和滤波器组特征
mfcc_features = mfcc(b, a).T
filterbank_features = logfbank(b, a).T
# 梅尔倒谱系数
fig=plt.figure(figsize=(13,5))
a1= fig.add_subplot(133)#1行3列第3个
# a1.plot(mfcc_features)
#logfbank
a2=fig.add_subplot(132)#1行3列第2个
# a2.plot(filterbank_features)
#时域波形图
a3= fig.add_subplot(131)#1行3列第1个
a3.plot(b)
a1=a1.pcolormesh(mfcc_features)
a2=a2.pcolormesh(filterbank_features)
plt.show()

效果：