【DiffSinger】自制多语种多说话人混合模型演示

发布人

数据时长丨约15小时 / 约40.5小时（含数据增强）
内置角色丨浮亦、宛沚、弥望、江上曜、勇气等12位自持版权 / 获得研究授权的角色
内置音素丨154个（含汉语普通话复合元音拆分）
音素方案丨X-SAMPA
标记方式丨MFA + 手动精标（全数据集精标）
标记协力丨热带宇霖、樗儿
烧炉协力丨卷毛兔w

特别感谢丨弱犬バカ、OpenVPI团队
特别感谢（音素本地化指导）丨Leka、流绪绪绪、Doaz
特别感谢（音素器指导）丨金刚

※本模型所使用的开源数据
日语丨東北きりたん © SSS
日语丨御丹宮くるみ © 御丹宮くるみ
韩语丨Children Singing Dataset © 韩国科学技术研究院
英语丨NUS-SMC-48 © 新加坡国立大学声音与音乐计算实验室
中文丨Opencpop © Opencpop团队（虽然因精度放弃使用，但研究过程少不了Opencpop的帮助，遂保留）

※参考资料索引
DiffSinger官方仓库丨https://github.com/MoonInTheRiver/DiffSinger
OpenVPI维护DiffSinger仓库丨https://github.com/openvpi/DiffSinger
OpenUTAU官方仓库丨https://github.com/stakira/OpenUtau
寻梦社维护OpenUTAU for DiffSinger仓库丨https://github.com/xunmengshe/OpenUtau
韩国科学技术研究院CSD韩英双语数据集丨https://zenodo.org/record/4785016
新加坡国立大学声音与音乐计算实验室丨https://smcnus.comp.nus.edu.sg/

※本演示所使用的公开配布无参工程
使用工程丨络霏、PRINTmov、木栈道出品、白洛QAQ

※本演示所公开的测试编辑器与声库（弥望、勇气）
下载地址丨https://share.weiyun.com/pClnswI5
【注意】本测试编辑器为基于寻梦社fork杉田朗OpenUTAU官方仓库的DiffSinger定制版，以兼容多音素与多语种为目的重新修改与增补音素器的过渡编辑器。
【注意】编辑器包含OpenVPI团队企划的DiffSinger社区声码器（https://openvpi.github.io/vocoders/），详细信息可见声码器文件夹内的分发说明。
【注意】本编辑器若需兼容往期方案或其他以寻梦社倡导的声库部署方案，需要相应地将字典文件名与文件内容进行一定程度的修改。推荐使用正则表达式【^(.*)\t(.*)\s(.*)】→【$1\t$2|$3】进行字典内容替换，文件名根据音素器指向做相应更改。
【注意】在中文默认音素器下，部分含有介母与韵腹的发音可以通过在汉语拼音歌词后输入“#1”或“#2”来进行复合元音分解。复合元音拆分实现方案为设计拆音方案后人工标定。“#2”状态相较于“#1”状态拆音方案更激进（元音拆分至3段），支持的拼音数量也更少。拆分出的复合元音音素组在默认状态下可能听感不甚良好，需要拖动音素不断调整以达到正常人的发音效果，或者有意创造出异于常人的特殊发音效果。具体支持拼音可前往声库目录下字典进行查看。
【注意】在非中文默认音素器下的其他音素器中，可直接输入基于音素符号以特殊的规则排列的特殊字符串进行个性化填词。检测到输入歌词中带有符号“|”时，即可进入音素输入模式。该状态下可输入多个音素，每个音素以半角空格进行分离识别，以符号“|”作为辅音元音分割标识，“|”两端同样需要留出空格，例如英语单词lines可以在音符歌词栏中输入“l | aI n s”。

打开封面下载高清视频观看高清视频视频下载器