- +1
爆火ChatTTS突破开源语音天花板,3天斩获9k的Star量
机器之心报道
编辑:陈萍、佳琪
未来人与人的交流,难道是这个样?
近日,一个名为 ChatTTS 文本转语音项目爆火出圈,引来大家极大的关注。短短三天时间,在 GitHub 上已经斩获了 9.2 k 的 Star 量。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/558.jpg)
项目地址:https://github.com/2noise/ChatTTS/tree/main
作者本人也在 x 上表示,ChatTTS 突破了开源天花板。不过,目前开源的只是底模,没有经过 SFT 监督微调。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/562.jpg)
该项目将文本转换成语音,效果是这样的:
ChatTTS 不仅能说中文,英文也能 hold 住,还支持一些细粒度控制,它允许你加入笑声、说话间的停顿,还有语气词,可玩性很强。
它可以复刻已经逝去的人的绝版声音,想要再听到乔布斯开发布会,随时都可以。听它模仿霉霉的音色,不论是语调还是语气的变化,都挺接近本人,几乎听不出来 AI 味儿。
中英文混说也能拿捏,这口半英半中的腔调勇闯留子圈,ChatTTS 的语言能力已达到 next level。
以上音频来自 B 站: https://www.bilibili.com/video/BV1zn4y1o7iV/?share_source=copy_web&vd_source=983ec32a3036bb1cf2699e4fdbce3c28
从上述展示中我们可以看出,ChatTTS 能够实现自然流畅的语音合成,同时支持多说话人;还能预测和控制细粒度的韵律特征,包括笑声、停顿和插入词等;ChatTTS 在韵律方面超越了大部分开源 TTS 模型。
目前 ChatTTS 支持中文和英文。最大模型使用了超过 10 万小时的中英文数据进行训练。在 HuggingFace 中开源的版本为 4 万小时训练且未 SFT 的版本。
值得一提的是,上述展示的音频都是基于语音合成技术制作,旨在展示技术成果,无意冒犯或侵犯他人权益。
项目一经发布,各路网友纷纷试用起来,给出了声音确实真假难辨。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/564.jpg)
还有人拿 GPT 生成文本,让 ChatTTS「读」出来,语气语调和真人的差距非常小:
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/567.jpg)
效果这么好,自然是想要上手试试。怎样才能用 ChatTTS 当你的嘴替,可以参考如下方法进行操作。
在线体验地址:https://huggingface.co/spaces/Dzkaka/ChatTTS
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/570.jpg)
ChatTTS 主要有两种核心功能,第一种是文字转语音,第二种是将与大语言模型实时语音对话。在这些功能之外,可以在「Audio Seed」处调节数字指定说话人的音色,或者摇骰子随机生成一种。但是有不少测试者表示,每次采用一样的参数,生成的音色也不一定固定。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/573.jpg)
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/576.jpg)
2Noise 称,目前支持音色克隆,但需要更大的数据量。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/579.jpg)
在文本框内输入文本后,ChatTTS 会自动为你生成韵律和停顿,还会加入一些如「然后」之类的语气词。如果你在输入时在文本中加入 [laugh] 和 [uv_break],就能手动控制 ChatTTS 在说话间产生一些「笑果」。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/586.jpg)
不过 ChatTTS 现在还不能搞定比较长的文本,有网友让它挑战了一下有声书,发现初始版本不能生成超过 30 秒的音频,需要手动修复。遇到比较长的文本时,ChatTTS 的分词也会出问题。
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/592.jpg)
![](https://imagepphcloud.thepaper.cn/pph/image/307/476/595.jpg)
本文为澎湃号作者或机构在澎湃新闻上传并发布,仅代表该作者或机构观点,不代表澎湃新闻的观点或立场,澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问http://renzheng.thepaper.cn。
![](/_next/static/media/pp_report.644295c3.png)
![](/_next/static/media/logo_caixun.cd299678.png)
![](/_next/static/media/logo_104x44_tianzi_white@2x.b88d1296.png)
![](/_next/static/media/logo_rebang.f9ee1ca1.png)
- 报料热线: 021-962866
- 报料邮箱: news@thepaper.cn
互联网新闻信息服务许可证:31120170006
增值电信业务经营许可证:沪B2-2017116
© 2014-2024 上海东方报业有限公司