OVHcloud发布首个开源AI模型Olala mini 7A1B,训练耗资700万欧元
摘要
欧洲云服务商OVHcloud推出首个AI模型家族Olala,首款成员Olala mini 7A1B以Apache 2.0许可开源,总参数70亿、激活参数10亿,可在8GB显存GPU运行,训练耗资700万欧元,后续将推128K上下文版本及超100B参数的Olala 2.0。
欧洲云服务企业OVHcloud于11月17日宣布,正式进军AI模型领域,推出其首个模型家族Olala,并同步公开了该系列的首位成员Olala mini 7A1B。这一动作意味着这家以云基础设施见长的欧洲厂商,开始向上游的模型层延伸。
从技术架构看,Olala mini 7A1B采用Differential-TPA与Mamba-3相结合的混合注意力机制,总参数规模为70亿,激活参数为10亿,数据格式使用BF16。该模型以Apache 2.0许可开源,并已发布在Hugging Face平台,供开发者下载使用。
在部署表现上,该模型对硬件的要求相对友好:可在8GB显存的GPU上运行,在RTX A4500上实现160 TPS的词元吞吐量,即便仅依赖CPU平台也能达到50 TPS。据OVHcloud披露,模型在三台欧洲公共超级计算机上完成训练,调用NVIDIA GH200、A100与H100,总开销为700万欧元,按现汇率约合5142.8万元人民币。
功能规划方面,Olala mini 7A1B初始版本的上下文长度为32K;预计今年底推出的1.1版本将把上下文扩展至128K,并提升数学能力。OVHcloud同时表示,将持续投入AI模型开发,下一代Olala 2.0的参数规模将超过100B。
本文由新大陆基于公开信息编辑整理
信息来源:IT之家 IT之家原文 ↗