使用xtts_v2实现文本转语音以及音色克隆

实现效果

      选择音色样本文件，输入文字，如果全部是汉字就使用zh-cn语言，否则使用en。

模型资源

基于TTS内部代码的资源，在国内下载模型很慢。可到镜像站下载后，放到指定目录。

$ tts --list_models

Name format: type/language/dataset/model1: tts_models/multilingual/multi-dataset/xtts_v2 [already downloaded]

windows下的目录地址默认位置：

C:\Users\$username$\AppData\Local\tts\

实现代码

from TTS.api import TTS

cn_text = """选择建议优先推荐 XTTS-v2：对于中英文混合语音和高质量音色需求，XTTS-v2 是最佳选择，无需复杂配置即可处理混合文本，且音色克隆功能强大。轻量级场景选择多语言 VITS：如果对速度要求较高，且能接受稍低的音色质量，可以使用多语言 VITS 模型。极致质量选择组合模型：如果需要针对每种语言使用最佳模型，可以组合中文和英文模型，但实现复杂度较高。"""def tts_cn_en():   tts = TTS("tts_models/multilingual/multi-dataset/xtts_v2", gpu=False)   # generate speech by cloning a voice using default settings   tts.tts_to_file(text=" It took me quite a long time to develop a voice, and now that I have it I'm not going to be silent.",                   file_path="output/output.wav",                   speaker_wav="speaker/nicole-sample.wav",                   language="en")   # generate speech by cloning a voice using default settings   tts.tts_to_file(text=cn_text,                   file_path="output/cn_output.wav",                   speaker_wav="speaker/gauss-sample.wav",                   language="zh-cn")tts_cn_en()

参考资料

国内的镜像 ： https://hf-mirror.com/models

优秀的模型 ： tts_models/multilingual/multi-dataset/xtts_v2