Fish Audio发布开源语音模型Drama 3
Fish Audio在arXiv技术报告中发布开源语音生成模型Drama 3,称其能把文本转成带有“导演指令”的表演。模型基于350亿参数的混合专家(MoE)主干,每个token激活30亿参数,支持多参考音频的音色克隆、自然语言指令控制,并新增多轮改稿、多角色场景配音、通过填充(infilling)编辑已有语音和流式文本输入。报告称Drama 3采用混合线性注意力主干与新的码本多token预测音频解码器,训练流程包括三阶段预训练、指令微调和以单一人类偏好学习模型为唯一奖励的大批量强化学习。作者表示权重已在GitHub和Hugging Face发布,推理可通过SGLang-Omni运行;报告还称单张H200上单流解码速度为271帧/秒,Fish Audio S2为177帧/秒。
作者称该模型在一个开放权重系统中同时具备多轮修订、场景配音、填充编辑与流式输入能力,并已公开权重供下载。
Computer Science > Sound
arXiv:2610.18010 (cs)
[Submitted on 13 Oct 2026]
Title:Fish Audio Drama 3 Technical Report
Authors:Dawei Han, Shidong Li, Shijia Liao, Jiahua Liu, Songting Liu, Qingzheng Wang, Yuxuan Wang, Xin Chen, Yifan Cheng, Tianyu Li, Gangin Park, Xuehao Yang, Chang Zeng, Haoyang Zhang, Ruoyi Zhang, Xiangyu Zhang
View a PDF of the paper titled Fish Audio Drama 3 Technical Report, by Dawei Han and 15 other authors
#Fish Audio#Fish Audio Drama 3#Fish Audio S2#Hugging Face#GitHub#SGLang-Omni