赞
踩
声音或音色克隆的原理实现步骤主要基于深度学习技术,特别是语音合成和生成模型。以下是声音/音色克隆的大致实现步骤:
OpenVoice原型是Github发布的一个项目链接如下:
OpenVoice-github项目https://github.com/myshell-ai/OpenVoice
使用时需要本地部署,但对新手来说,本地部署较为复杂,所以我们采用下面的较为简单的使用流程!
使用流程:
1、浏览器打开下面的Colab 笔记本文件链接
Colaboratory (简称为ColabQ)是由Google开发的一种基于云端的交互式笔记本环境。它提供了免费的计算资源(包括CPU、GPU和TPU) ,可让用户在浏览器中编写和执行代码,而无需进行任何配置和安装。
点击运行符号,即可一键在colab上布置好这个项目所需要的各种环境。几分钟后运行完成,会提供一个链接:
点击链接即可跳转到项目的使用界面:
这个支持上传任意话语的音频文件,或者自己麦克风录制,不会让你读规定的文本:
这里我上传了一段工藤新一的中配干声文件(去除过背景音乐和噪声等),然后进行训练:
几秒就好了,很快,但是结果一言难尽。。。可能中文效果不好吧,不知怎么回事竟然把新一训练成一个“老嫂子”的女人声音。。。。
若想简单点的可以用这个,ModelScope工具链接:
modelscope官网https://www.modelscope.cn/home
官网登陆后搜索声音,个人声音定制里即可:
但这个训练时只能录制它提供的语句,大概需要读20句话,但是是免费的,与剪映新出的功能差不多!
还提供了一些免费的训练好的音色模型,如下面丁真音色模型:
支持SDP/DP混合比,感情调节,音素长度和生成长度等的调节。
OpenVoice是一个创新的开源项目,它利用最先进的深度学习技术,为开发者提供强大且易用的语音合成工具。以下是关于OpenVoice的详细介绍:
功能与特点:
开源优势:
应用场景:
ModelScope官网是一个AI模型社区及创新平台,由阿里巴巴达摩院联合CCF开源发展委员会共同推出。该平台致力于通过开放的社区合作,构建深度学习、机器学习等领域的创新应用。
在音频克隆模型中,通常会有两个主要的路径:一个是依赖于特定说话人(SDP)的路径,另一个是不依赖于特定说话人(DP)的路径。
STM32专栏(9.9)http://t.csdnimg.cn/A3BJ2
OpenCV-Python专栏(9.9)http://t.csdnimg.cn/jFJWe
AI底层逻辑专栏(9.9)http://t.csdnimg.cn/6BVhM
机器学习专栏(免费)http://t.csdnimg.cn/ALlLlSimulink专栏(免费)http://t.csdnimg.cn/csDO4电机控制专栏(免费)http://t.csdnimg.cn/FNWM7
Copyright © 2003-2013 www.wpsshop.cn 版权所有,并保留所有权利。