Mistral 推出万亿参数模型 Large 4 预览版,权重月底开放
摘要
Mistral 发布 Mistral Large 4 公开预览版,代号 le Chonk,参数规模达 1 万亿,激活参数 490 亿,为原生多模态模型。用户可在 Mistral Studio 试用,模型权重计划于本月底开放。
法国 AI 公司 Mistral 近日推出其新一代大模型 Mistral Large 4 的公开预览版,内部代号为 le Chonk。该模型以 1 万亿总参数、490 亿激活参数的规格亮相,定位为原生多模态模型。
目前,开发者与用户可通过 Mistral Studio 平台对该预览版进行试用,提前体验其多模态能力。Mistral 方面表示,模型的权重将于本月底正式开放。
从参数配置来看,Large 4 延续了当前大模型领域稀疏激活的技术路线,在万亿级总参数规模下仅激活 490 亿参数,兼顾模型容量与推理效率。原生多模态的设计也意味着其从训练阶段即整合多种模态输入,而非后期拼接。
此次预览版的发布,使 Mistral 在开源权重模型赛道上的布局进一步清晰。随着月底权重开放,该模型有望进入更多开发者的实际部署与二次开发流程,其多模态表现与推理成本将成为业界关注焦点。
本文由新大陆基于公开信息编辑整理
信息来源:AIHOT AIHOT原文 ↗