Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

如何通过自己训练的单人speaker的fastspeech2模型进行二次微调，并且加入到模型中，且可以通过id索引的方式进行推理不同音色 #2953

Closed
CnYiXiaoNaiHe opened this issue Feb 23, 2023 · 4 comments
Closed

如何通过自己训练的单人speaker的fastspeech2模型进行二次微调，并且加入到模型中，且可以通过id索引的方式进行推理不同音色 #2953

CnYiXiaoNaiHe opened this issue Feb 23, 2023 · 4 comments
Assignees
@yt605155624
Labels
Question T2S

Comments

@CnYiXiaoNaiHe
Copy link

一共两个问题。
1.在单音色原有的基础上进行调整训练形成另一个音色。
2.如何讲上面二次训练的音色配置到模型中，并且推理阶段可以通过索引来控制使用哪种音色合成
@yt605155624
Copy link
Collaborator

yt605155624 commented Feb 24, 2023 •
edited
Loading

  1. 微调参考：
  1. 不行，如果你想一个模型通过索引控制不同音色，则必须基于多说话人模型进行微调，否则无法，必须多个单音色模型控制，后者会增大开销

@yt605155624 yt605155624 self-assigned this Feb 24, 2023
@CnYiXiaoNaiHe
Copy link
Author

CnYiXiaoNaiHe commented Feb 28, 2023 •
edited
Loading

第一种方法也就是说如果想通过一个模型的不同ID来索引多音色的话，需要遵守AISHELL3的多说话人语音进行设置训练；
第二种方法就是训练多个单音色模型进行控制，这样的话相当于有多个模型，相当于单模型的N倍。
可以这么理解嘛

@yt605155624
Copy link
Collaborator

可以

@CnYiXiaoNaiHe
Copy link
Author

关于训练语料每种音色至少准备多少，这个有统计数据吗

@yt605155624 yt605155624 mentioned this issue Mar 1, 2023
Open
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@yt605155624 yt605155624

Labels
Question T2S
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@yt605155624 @CnYiXiaoNaiHe