剧本策划助手▸ 
Ai应用
Ai资讯
小说剧本写作
小云雀短剧Agent
Seko漫剧生成
Muyan-TTS：沐言智语发布的开源、可训练的TTS模型，专为播客而设计数字人工具
Muyan-TTS是什么？ai线上
Muyan-TTS 是一由北京沐言智语发布的开源、可训练的TTS模型，专为播客而设计，预算控制在 5 万美元以内。Muyan-TTS用超过 100,000 小时的播客音频数据进行预训练，支持零样本 TTS 合成，能够生成高质量语音，还支持通过几十分钟的目标语音进行说话人自适应调整。ai对话无限制
Muyan-TTS模型特点豆包官网网页版入口
大规模预训练：Muyan-TTS 基于 Llama-3.2-3B 模型，使用超过 10 万小时的播客音频数据进行预训练，能够实现零样本文本到语音aiai线上合成，生成高质量的语音。
支持说话人适应：通过几十分钟的目标说话人语音数据，Muyan-TTS 可以进一步适应特定说话人的声音特征，从而实现高度定制化的语音合成。ai人工智能选号
架构设计：Muyan-TTS 采用 GPT-SoVITS 的两阶段结构，语言模型部分以 Llama-3.2-3B 为 backbone 继续预训练，解码器部分使用 SoVITS 架构，结合了 LLM 的语义建模能力和 VITS 模型的音素到音素（G2P）特性，有效减少了幻觉现象。ai下载免费安装
数据处理：构建了包含超过 100,000 小时高质量语音和对应转录的并行语料库，适用于播客等长音频场景的 TTS 训练。ai对话无限制
开源与训练
开源信息：Muyan-TTS 完全开源，提供了完整的数据收集和处理流程、详细的训练方法以及优化的推理框架。其代码和模型可在 GitHub 上找到。ai大全
训练成本：在训练成本方面，假设 A10 和 A100 GPU 的租赁价格分别为每小时 0.5 美元和 1 美元，Muyan-TTS 的总训练成本约为 50,540 美元。豆包是一个什么软件
性能表现ai人工智能选号
零样本合成：在 LibriSpeech 数据集上，Muyan-TTS 的零样本合成性能表现出色，其词错误率仅次于 CosyVoice2，且平均意见得分高于 Spark-TTS 和 GPT-SoVITS v3。数字人工具
监督微调模型：经过监督微调的 Muyan-TTS-SFT 在语音质量和说话人相似度上优于基础模型，但在 WER 上略有下降。千问要登录吗
推理速度：Muyan-TTS 的推理速度在所有测试模型中最快，仅需 0.33 秒即可合成 1 秒的语音，适合实时语音生成场景。ai人工智能选号
Muyan-TTS应用场景海螺ai下载
Muyan-TTS 适用于多种音频内容形式，比如主持人旁白、访谈复刻、语音摘要等。兼顾合成质量、个性化能力和运行效率，适合播客等长音频场景。ai线上
限制数字人工具
依赖于解码器中的 G2P 模块，需要完整的音素序列才能进行合成，无法实现流式推理。千问app官网
训练数据主要为英语，多语言语音合成能力有限。ai数字人直播软件
由于训练语料中缺乏指令级标注，Muyan-TTS 目前不支持指令跟随 TTS 任务。滴滴ai
Muyan-TTS安装与使用数字人工具
安装步骤下载即梦a i
1. 克隆仓库并创建虚拟环境：ai大全
git clone https://github.com/MYZY-AI/Muyan-TTS.git cd Muyan-TTS conda create -n muyan-tts python=3.10 -y conda activate muyan-tts make build
2. 安装 FFmpeg（Ubuntu 系统）：豆包免费使用吗?
sudo apt update sudo apt install ffmpeg
3. 下载模型：豆包官网网页版入口
Muyan-TTS 和 Muyan-TTS-SFT 模型可从 Hugging Face 或 ModelScope 下载。豆包是一个什么软件
还需要下载 chinese-hubert-base 的权重。ai线上
将所有下载的模型放在 pretrained_models 目录下。数字人工具
使用方法豆包免费使用吗?
运行以下命令进行语音合成：数字人工具
python tts.py
核心推理代码如下：
async def main(model_type, model_path):
tts = Inference(model_type, model_path, enable_vllm_acc=False)
wavs = await tts.generate(
ref_wav_path="assets/Claire.wav",
prompt_text="Although the campaign was not a complete success, it did provide Napoleon with valuable experience and prestige.",
text="Welcome to the captivating world of podcasts, let's embark on this exciting journey together."
)
output_path = "logs/tts.wav"
with open(output_path, "wb") as f:
f.write(next(wavs))
print(f"Speech generated in {output_path}")github仓库：数字人工具https://github.com/MYZY-AI/Muyan-TTS
