好友
阅读权限25
听众
最后登录1970-1-1
|
大家好，本次分享的是文本生成语音的又一款神器：阿里音频生成大模型的其中一款“CosyVoice”，[color=var(--text1)]文字转语音,声音克隆,粤语模型,情感控制,笑声控制，[color=var(--text1)]tts读小说等。
借助官方的介绍：CosyVoice是通义实验室依托大规模预训练语言模型，深度融合文本理解和语音生成的新一代生成式语音合成大模型，支持文本至语音的实时流式合成。可以应用于：- 智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。
- 音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。
- CosyVoice则专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。
- 仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。
- CosyVoice是一款基于语音量化编码的语音生成大模型。它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、音色逼真等特点。CosyVoice支持多达5种语言，同时还支持以自然语言或富文本形式对生成语音进行情感等维度的细粒度控制。研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct，可满足不同场景下的使用需求。
- 通过与原始音频以及最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。（文件包有预合成演示音频，可自行听取）
看过介绍语，高精干的小伙伴是不是已经想好各种应用场景了吧，嘿嘿!
介于本次分享的与往期的语音模型大致操作异曲同工，就不过多演示，请大家自行挖掘吧。
下载解压包：标准用户点击： 运行CosyVoice-300M 待CMD窗口读数会自动弹出web页面，即可探索。
CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型，CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。
项目地址：https://gitee.com/youkuanghua/CosyVoice
阿里官方API接口详情：
https://help.aliyun.com/zh/model ... .0.0.56f01751Ke29mh
结语：因考察CosyVoice项目半载有余，项目拥护者自行维护基本7月反反复复期间做了些许优化升级更新，故推算7月最终版敲定，故现此发布于此。
为表谢意维护者，大家可按需下载多多支持：https://pan.quark.cn/s/3201dd483e92
https://www.123pan.com/s/GaNFjv-QAKSv.html 提取码:52pj
度盘我暂且不放了，让给维护者，有小伙伴需要的，可让哪位好心的同学置顶分享一下。
|
免费评分
-
查看全部评分
|
发帖前要善用【论坛搜索】功能，那里可能会有你要找的答案或者已经有人发布过相同内容了，请勿重复发帖。 |
|
|
|
|
|
|
[复制链接]
发表于 2024-7-24 02:52
|
发表于 2024-7-24 16:23
