9月 1 日,“多模态卷王”阶跃星辰正式发布开源端到端语音大模型Step-Audio 2 mini,在多个国际基准测试集上取得SOTA(State-of-The-Art,当前最佳水平)成绩,在大部分任务上超越GPT-4o-audio。
技术层面,Step-Audio 2 mini采用了端到端多模态架构,将语音理解、音频推理与生成统一建模,时延更低、输出更快,还能更加精准地理解副语言信息、非人声信号等语音要素。Step-Audio 2 mini首创的音频推理能力,能对情绪、语调、音乐等副语言和非语音信号进行精细理解、推理并自然回应。
同时,该模型支持语音原生的Tool Calling能力可实现联网搜索等操作,有效解决幻觉问题,并让语音模型具有知识储备和推理能力。
目前,Step-Audio 2 mini已在GitHub、Hugging Face等平台发布。(澎湃新闻记者 秦盛)