蚂蚁公司全面开源五款语音技术模型
10月20日,蚂蚁百灵宣布推出Ming-3.0系列语音技术,并开放五个模型。它们涵盖了语音合成、音频理解与对话、语音识别三个领域。开发者可根据需求选择单独模型,或将不同功能组装在一起以优化工作流程。
在语音合成方面,Ming-3.0-tts系列中的Voice Design允许用户通过文字描述或参考音频来指定音色。特别的是,它引入了导演模式,使创作者能够指导角色表演的方式,包括情绪变化、重读词汇和节奏处理。这种方式使配音过程从选择声音转变为给出具体指令。
Ming-3.0-tts已在蚂蚁内部多个应用中得到广泛使用,例如阿福 App 的主对话及语音通话功能、医生音色克隆以及小虎智能办公,不仅可以独立进行配音,还能与Ming-3.0-asr-tiny结合,实现语音输入与回复的无缝连接。 新球体育比分网即时比分
在音频理解方面,Ming-3.0-audio-flash / tiny模型能够对长音频进行直接转写、总结和观点分析,并输出结构化结果。与传统逐字稿分析方法相比,它更能保留对话中的情感和说话人信息,但要求模型对长上下文进行快速推理。
语音识别领域,Ming-3.0-asr-tiny模型构建了高质量的普通话、英语、方言及热词语料,并结合上下文理解能力,以提升在真实场景下的识别效果。这一模型已经在多个蚂蚁业务,如阿福医生助手和支付宝搜索中投入使用。
开发者可以通过多个渠道来体验这些模型:在线体验平台、Ling Studio Chat进行音频理解及对话、以及API调用。Ming-3.0系列的五款模型现已在Hugging Face与ModelScope上架,从合成到理解再到识别,所有环节均已提供开源选项供试用。 新球体育比分网即时比分