蚂蚁集团旗下百灵大模型团队在近期蚂蚁技术日上宣布重大决定:将统一多模态大模型Ming-lite-omni进行全面开源。这一举措不仅标志着蚂蚁集团在AI领域的又一次重大开放,更被业界视为首个在模态支持方面能够与GPT-4o相媲美的开源模型。
220亿参数的技术突破
Ming-lite-omni基于Ling-lite构建,采用先进的MoE(专家混合)架构,拥有220亿总参数和30亿激活参数的强大配置。这一参数规模在开源多模态模型中达到了新的高度,展现了蚂蚁集团在大模型技术上的深度积累。
目前,Ming-lite-omni的模型权重和推理代码已向公众全面开放,后续的训练代码和训练数据也将陆续发布,为全球开发者提供完整的技术支持。
持续开源战略显成效
今年以来,百灵大模型团队已连续开源多个重要模型产品,包括Ling-lite、Ling-plus等大语言模型,多模态大模型Ming-lite-uni以及预览版Ming-lite-omni。
其中,五月中旬开源的Ling-lite-1.5版本能力已接近同水位SOTA水平,性能介于千问4B和8B之间,成功验证了300B尺寸SOTA MoE大语言模型在非高端算力平台上训练的可行性。
性能对标国际顶级模型
在多项理解和生成能力评测中,Ming-lite-omni的性能与10B量级领先的多模态大模型相当或更优。蚂蚁集团表示,这是目前已知首个在模态支持方面能够与GPT-4o相媲美的开源模型,为全球开发者提供了重要的技术选择和参考标准。
百灵大模型负责人西亭介绍了团队的技术路线:"我们坚定地在语言大模型和多模态大模型上统一使用MoE架构,并大量使用非高端算力平台,成功证明了国产GPU在训练可比拟GPT-4o模型方面的能力。"
本文由「aiuc」编辑整理,文章链接:https://www.aiuc.net/64522
该文观点仅代表作者本人,平台仅提供信息存储空间服务。