Convbased

Convbased是一个高性能的中文语音合成模型,基于卷积神经网络和编码器-解码器架构设计。该模型在多个中文数据集上进行训练,支持多说话人和多方言的语音合成。

  • 更快的训练收敛速度
  • 更稳定的训练过程
  • 更好的语音质量输出
  • 支持多种中文方言(普通话、粤语、闽南语、四川话、温州话等)
  • 多说话人语音合成能力

模型信息

训练规模

  • 说话人数量: 476个不同说话人
  • 训练时长: 35天连续训练
  • 模型类型: 编码器 + 解码器架构
  • 总训练数据: 约467小时高质量语音数据

模型架构

  • 编码器: 基于卷积的文本编码器
  • 解码器: 声学特征解码器
  • 判别器: 对抗训练判别器
  • 损失函数: 组合损失(Mel频谱损失 + KL散度损失 + 特征匹配损失)

训练曲线

模型训练过程中的各项损失函数变化:

loss_d_total 判别器总损失

loss_g_fm 生成器特征匹配损失

loss_g_kl KL散度损失

loss_g_mel Mel频谱损失

loss_g_total 生成器总损失

训练数据集

本模型使用以下高质量中文语音数据集进行训练:

数据集名称 时长(小时) 描述
data_aishell 178 中文普通话语音识别数据集
data_thchs30 30 清华大学中文语音数据集
primewords_md_2018 178 中文语音合成数据集
VCTK 44 英文多说话人数据集
四川方言 4 四川话方言数据
闽南语 3 闽南话方言数据
粤语 3 粤语方言数据
温州方言 7 温州话方言数据
噪声 20 噪声环境语音数据

本模型致力于推进中文语音合成技术的发展,该底模已用于微调大部分模型于 Convbased

Downloads last month
30
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Dataset used to train PluginsKers/Convbased-Studio