基于Tacotron汉语语音合成的开源实践

2017年初，Google 提出了一种新的端到端的语音合成系统——Tacotron。Tacotron打破了各个传统组件之间的壁垒，使得可以从<文本，声谱>配对的数据集上，完全随机从头开始训练。本文是来自喜马拉雅FM音视频工程师马力的投稿，他手把手式的介绍了Tacotron的使用方法，帮助你快速上手。

文 / 马力

语音合成（Text to Speech Synthesis）是一种将文本转化为自然语音输出的技术，在各行各业有着广泛用途。传统TTS是基于拼接和参数合成技术，效果上同真人语音的自然度尚有一定差距，效果已经达到上限，在实现上也依赖于复杂流水线，比如以文本分析为前端的语言模型、语音持续时间模型、声学特征预测模型、将频谱恢复成时域波形的声码器（vocoder）。这些组件都是基于大量领域专业知识，设计上很艰难，需要投入大量工程努力，对于手头资源有限的中小型玩家来说，这种“高大上”的技术似乎有些玩不起。

幸运的是近年来基于神经网络架构的深度学习方法崛起，使得原本在传统专业领域门槛极高的TTS应用上更接地气。现在，我们有了新方法Tacotron一种端到端的TTS生成模型。所谓“端到端”就是直接从字符文本合成语音，打破了各个传统组件之间的壁垒，使得我们可以从<文本，声谱>配对的数据集上，完全随机从头开始训练。从Tacotron的论文中我们可以看到，Tacotron模型的合成效果是优于要传统方法的。

本文下面主要内容是github上一个基于Tensorflow框架的开源Tacotron实现，介绍如何快速上手汉语普通话的语音合成。至于模型的技术原理，限于篇幅就不再详细介绍了，有兴趣可以直接阅读论文，本文的宗旨是，对于刚入门的同学能够在自己动手实践中获取及时的结果反馈。

在正文开始之前，笔者假设读者手头已经准备好项目运行的软硬件环境，包括NVIDIA GTX系列显卡及其驱动，能够在控制台上使用Python3引入Tensorflow模块。

关于Tacotron的源代码，我们选择了Keith Ito的个人项目，笔者的汉语语音合成正是基于此源码上修改而成，代码在：https://github.com/begeekmyfriend/tacotron