赞
踩
如何能在不改变音频其他特点的情况下,只改变语速呢?
有几个python的库可以实现该功能,下面一一介绍。
首先,确保安装了pydub和ffmpeg。
下面是一个简单的Python脚本,展示如何改变音频的播放速度:
from pydub import AudioSegment from pydub.playback import play def change_speed(audio_file, speed=1.0): sound = AudioSegment.from_file(audio_file) # 增加速度 sound_with_altered_speed = sound._spawn(sound.raw_data, overrides={ "frame_rate": int(sound.frame_rate * speed) }).set_frame_rate(sound.frame_rate) return sound_with_altered_speed # 加载音频文件 audio_path = "your_audio_file.mp3" # 改变速度,例如1.5倍速 altered_sound = change_speed(audio_path, speed=1.5) # 播放修改后的音频 play(altered_sound) # 导出音频 altered_sound.export("modified_audio.mp3", format="mp3")
change_speed函数接受原始音频文件路径和速度因子。通过修改帧率来改变速度。如果你想要加快速度,可以将速度因子设置为大于1的值;如果想要减慢速度,将其设置为小于1的值。
但是该方法在改变语音的同时,使得音调也发生改变。
librosa主要用于音乐和音频分析。它支持音频的时间伸缩(即改变音频速度而不改变音调),并且提供了许多其他音频处理功能。
实现代码:
import librosa
import soundfile as sf
audio_path = 'your_audio_file.wav'
y, sr = librosa.load(audio_path, sr=None) # sr=None 保持原始采样率
# 变速处理,比如加速1.5倍
y_change = librosa.effects.time_stretch(y, 1.5)
#保存
sf.write('output_audio_file.wav', y_change, sr)
在改变音频速度的同时保持原有音调,librosa使用了时间拉伸算法(Time Stretching)。
librosa.effects.time_stretch函数是用于调整音频的播放速度,同时不改变音频的音高(音调)。
我们看下这个函数源码:
def time_stretch(y, rate, **kwargs): '''Time-stretch an audio series by a fixed rate.''' if rate <= 0: raise ParameterError('rate must be a positive number') # Construct the short-term Fourier transform (STFT) stft = core.stft(y, **kwargs) # Stretch by phase vocoding stft_stretch = core.phase_vocoder(stft, rate) # Predict the length of y_stretch len_stretch = int(round(len(y)/rate)) # Invert the STFT y_stretch = core.istft( stft_stretch, dtype=y.dtype, length=len_stretch, **kwargs) return y_stretch
可以看到,该函数主要包含三个步骤:
1.音频的频谱表示
首先,librosa.effects.time_stretch利用短时傅里叶变换(STFT)将音频信号从时间域转换到频域。这种转换将音频分解成其组成的频率成分,每个成分都有相应的幅度和相位。
2.相位估计(phase_vocoder)
在进行时间伸缩处理时,保持相位连续性是一个重要的挑战。librosa采用了相位估计技术来调整每个频率成分的相位,以保证在变速过程中音频信号的相位连续性。这是通过相位重构实现的,确保在变速后的音频中,所有频率成分的相位都能正确对齐。
3.相位恢复和重构,重建音频
处理相位信息时,使用相位展开技术,从原始音频中提取和修改相位信息,然后在处理过程中适当调整这些信息以匹配新的时间伸缩率。
最后,将处理过的频谱数据通过逆短时傅里叶变换(ISTFT)重新转换回时间域,生成最终的音频输出。在这一步中,经过调整的幅度和重构的相位信息被合成,以产生时间伸缩后的音频信号。
补充:相位声码器Phase vocoder
相位声码器(phase vocoder)是一种特殊的声码器,用于分析和修改音频信号的频谱相位。它是在数字信号处理中广泛使用的一种工具,特别适用于时间伸缩(改变音频速度而不改变音调)和音高移动(改变音调而不改变速度)。
相位声码器技术可以实现音频的时间伸缩。这一技术是基于频域处理,它可以调整音频的时长而不改变音高,主要依靠精确的相位处理。
先看看源码:
def phase_vocoder(D, rate, hop_length=None): """Phase vocoder. Given an STFT matrix D, speed up by a factor of `rate` Based on the implementation provided by [1]_. .. note:: This is a simplified implementation, intended primarily for reference and pedagogical purposes. It makes no attempt to handle transients, and is likely to produce many audible artifacts. For a higher quality implementation, we recommend the RubberBand library [2]_ and its Python wrapper `pyrubberband`. .. [1] Ellis, D. P. W. "A phase vocoder in Matlab." Columbia University, 2002. http://www.ee.columbia.edu/~dpwe/resources/matlab/pvoc/ .. [2] https://breakfastquay.com/rubberband/ Parameters ---------- D : np.ndarray [shape=(d, t), dtype=complex] STFT matrix rate : float > 0 [scalar] Speed-up factor: `rate > 1` is faster, `rate < 1` is slower. hop_length : int > 0 [scalar] or None The number of samples between successive columns of `D`. If None, defaults to `n_fft/4 = (D.shape[0]-1)/2` Returns ------- D_stretched : np.ndarray [shape=(d, t / rate), dtype=complex] time-stretched STFT See Also -------- pyrubberband """ n_fft = 2 * (D.shape[0] - 1) if hop_length is None: hop_length = int(n_fft // 4) time_steps = np.arange(0, D.shape[1], rate, dtype=np.float) # Create an empty output array d_stretch = np.zeros((D.shape[0], len(time_steps)), D.dtype, order='F') # Expected phase advance in each bin phi_advance = np.linspace(0, np.pi * hop_length, D.shape[0]) # Phase accumulator; initialize to the first sample phase_acc = np.angle(D[:, 0]) # Pad 0 columns to simplify boundary logic D = np.pad(D, [(0, 0), (0, 2)], mode='constant') for (t, step) in enumerate(time_steps): columns = D[:, int(step):int(step + 2)] # Weighting for linear magnitude interpolation alpha = np.mod(step, 1.0) mag = ((1.0 - alpha) * np.abs(columns[:, 0]) + alpha * np.abs(columns[:, 1])) # Store to output array d_stretch[:, t] = mag * np.exp(1.j * phase_acc) # Compute phase advance dphase = (np.angle(columns[:, 1]) - np.angle(columns[:, 0]) - phi_advance) # Wrap to -pi:pi range dphase = dphase - 2.0 * np.pi * np.round(dphase / (2.0 * np.pi)) # Accumulate phase phase_acc += phi_advance + dphase return d_stretch
直接调用调用phase_vocoder来实现时间伸缩。这里是一个简单的示例:
import librosa
# 加载音频数据
y, sr = librosa.load('audio_file.wav', sr=None)
# 计算STFT
D = librosa.stft(y)
# 应用相位声码器进行时间伸缩
D_stretched = librosa.core.phase_vocoder(D, rate=1.5)
# 通过逆STFT重构音频
y_stretched = librosa.istft(D_stretched)
基本原理:
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。