阿里开源语音模型CosyVoice整合包0721更新版

ISO881818

   大家好，本次分享的是文本生成语音的又一款神器：阿里音频生成大模型的其中一款“CosyVoice”，[color=var(--text1)]文字转语音,声音克隆,粤语模型,情感控制,笑声控制，[color=var(--text1)]tts读小说等。



     借助官方的介绍：CosyVoice是通义实验室依托大规模预训练语言模型，深度融合文本理解和语音生成的新一代生成式语音合成大模型，支持文本至语音的实时流式合成。可以应用于：

• 智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。
• 音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。
• CosyVoice则专注自然语音生成，支持多语言、音色和情感控制，支持中英日粤韩5种语言的生成，效果显著优于传统语音生成模型。
• 仅需要3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。而且CosyVoice支持以富文本或自然语言的形式，对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升。
• CosyVoice是一款基于语音量化编码的语音生成大模型。它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice具有韵律自然、音色逼真等特点。CosyVoice支持多达5种语言，同时还支持以自然语言或富文本形式对生成语音进行情感等维度的细粒度控制。研究团队提供了基模型CosyVoice-300M、经过SFT微调后的模型CosyVoice-300M-SFT、以及支持细粒度控制的模型CosyVoice-300M-Instruct，可满足不同场景下的使用需求。
• 通过与原始音频以及最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，达到了与人类发音人相当的水平。此外，通过对合成音频进行重打分，能够进一步降低识别的错误率，甚至在内容一致性和说话人相似度上超越人类。（文件包有预合成演示音频，可自行听取）
  

看过介绍语，高精干的小伙伴是不是已经想好各种应用场景了吧，嘿嘿!




介于本次分享的与往期的语音模型大致操作异曲同工，就不过多演示，请大家自行挖掘吧。


下载解压包：标准用户点击：             运行CosyVoice-300M   待CMD窗口读数会自动弹出web页面，即可探索。





CosyVoice-300M本身具备一定从文本内容中推断情感的能力，经过细粒度控制训练的模型，CosyVoice-300M-Instruct在情感分类中的得分更高，具备更强的情感控制能力。






项目地址：https://gitee.com/youkuanghua/CosyVoice

阿里官方API接口详情：
https://help.aliyun.com/zh/model ... .0.0.56f01751Ke29mh


结语：因考察CosyVoice项目半载有余，项目拥护者自行维护基本7月反反复复期间做了些许优化升级更新，故推算7月最终版敲定，故现此发布于此。

为表谢意维护者，大家可按需下载多多支持：https://pan.quark.cn/s/3201dd483e92  




https://www.123pan.com/s/GaNFjv-QAKSv.html       提取码:52pj




度盘我暂且不放了，让给维护者，有小伙伴需要的，可让哪位好心的同学置顶分享一下。




  

WilliamJabin

大模型只能看看了，电脑带不动，只能玩玩小的

Yerik

亲测，效果嘎嘎好，有需要B度盘链接的 欢迎自取：链接：https://pan.baidu.com/s/1K49X-Dh9DnpcRc7tHT1MwQ?pwd=52pj
提取码：52pj

ISO881818

DaRuiDd 发表于 2024-7-24 14:54
这个对显卡内存是不是有要求？楼主知道吗

做 长篇小说的话不能低于6G，做短视频解说的话，至少 4G起，所以往后的硬件16G最起码了，包括存储硬件大模型也要10T起步。

心雨飞飞

厉害了，但是我的电脑越来越受不了。

Yerik

之前帮忙分享的度盘链接失效了 更新如下，需要的小伙伴自取
链接：https://pan.baidu.com/s/10WqtC4z7H90H4iLcipQqoQ?pwd=yzpo
提取码：yzpo

DaBengui1

感谢分享   很有用！                                 

lanjishu

不错，下载来试下，感谢分享

nowns

太酷了，早就听说了这个语言模型

win7share

感谢分享  一直再找这个模型

kaishuifeng

这个可以试试，谢谢分享

289

感谢分享 希望能对我的模型有辅助效果。