[TTS]chinese - english mixed training 中英文混合语料训练

[bigsausage]

General Question

[bigsausage]

参考的是：https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/other/tts_finetune/tts3

想知道训练的语料是形如【今天的weather真是beautiful】这种一句话包含了中英文的；
在mfa对齐的时候是怎么操作呢？
看上述链接的时候我看着是分开成两块：
（1）纯英文的进行mfa
（2）纯中文的进行mfa
然后脚本./run_mix.sh 应该设置的是通过参数只对其中一种文本进行处理。但是oov问题会导致混合的语料都会丢失生成不出文件。
这种时候有没有什么方法可以帮助呢？

正确的流程是分割成纯中文 纯英文，然后纯英文finetune一遍，纯中文finetune一遍吗？？

[yt605155624]

如果训练预料是中英文混合建议参考 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/zh_en_tts/tts3
MFA 的时候把文本处理成 拼音+英文+拼音 的形式，MFA 的发音字典把 中文字典（simple.lexion） + 英文字典（cmudict）拼接后处理
https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/other/tts_finetune/tts3 里面的即使是用 ./run_mix.sh 对中英文混合模型做 finetune，输入也只能是纯中文或者纯英文

更多中英文混合相关经验请参考：

• 🎉 PaddleSpeech 实现多种卡通音色和方言的中英文混合 TTS #2492

[Alital]

想请问大佬，训练的语料是形如【今天的weather真是beautiful】这种一句话包含了中英文的，是需要自己按照文本处理成 拼音+英文+拼音 的形式， 然后把中文字典（simple.lexion） + 英文字典（cmudict）拼接后，使用https://github.com/PaddlePaddle/PaddleSpeech/blob/develop/examples/other/mfa/run.sh案例中这部分代码去训练自己的语料生成mfa对齐模型吗？

请问纯中文和中英混合这种在MFA训练流程是完全一样吗

[bigsausage]

如果训练预料是中英文混合建议参考 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/zh_en_tts/tts3 MFA 的时候把文本处理成 拼音+英文+拼音 的形式，MFA 的发音字典把 中文字典（simple.lexion） + 英文字典（cmudict）拼接后处理 https://github.com/PaddlePaddle/PaddleSpeech/tree/develop/examples/other/tts_finetune/tts3 里面的即使是用 ./run_mix.sh 对中英文混合模型做 finetune，输入也只能是纯中文或者纯英文

更多中英文混合相关经验请参考：

• 🎉 PaddleSpeech 实现多种卡通音色和方言的中英文混合 TTS #2492

尝试了增加词表进行训练，mfa模型也重新训练自己对齐了的；
但是最后结果比较多的杂音（或者说电流声？）
请问一下这方面有什么比较好的解决方案不？比如调参还是预处理？
但是我训练文件还是很清晰比较少杂音的。。。

[lancelee98]

@bigsausage 我也遇到相似的问题，您现在解决了吗

[Daisyqk]

@bigsausage @lancelee98 同样遇到合成音频有较多电流声的问题，看频谱图声纹没有正常音频清晰，尝试继续迭代多个epoch后依旧如此。请问现在您解决了吗？

[wytyl13]

@bigsausage @lancelee98 同样遇到合成音频有较多电流声的问题，看频谱图声纹没有正常音频清晰，尝试继续迭代多个epoch后依旧如此。请问现在您解决了吗？

请问使用微调的权重进行合成，电流声很严重，这个问题解决了吗