阶跃 Step 5 Preview 大模型权重开放,支持 100 万 token 上下文窗口
摘要
IT之家 10 月 15 日消息,阶跃今天正式释放 Step5Preview 权重。本次开放:BF16 与 FP8 模型权重、技术博客、配套开源开发工具。据官方介绍,Step 5 Preview 面向长程 Agent 任务而设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活参数仅 27B,支持 100 万 token 上下文窗口,原生支持文本与视觉输入,在 AI 编程、软件工程、专业知识工作和金融等场景表现突出。近期,Step 5 Preview 在 OpenRouter 周调用量、日调用量榜单中均位居全球第二。目前,模型权重已上线 Hugging Face 和 ModelScope,并提供面向多种芯片平台和推理框架的适配支持。开发者可以通过 vLLM 或 SGLang 部署兼容 OpenAI 接口的 API 服务,也可以使用 Transformers 进行离线推理,将模型接入自己的数据、工具和系统,构建智能体、应用、工作流与服务。IT之家注意到,官方同步公开的技术博客,介绍了 Step 5 Preview 如何通过架构与训练的协同优化,支持更长、更复杂的 Agent 任务。关键设计包括:92 层窄深架构:为隐式多跳推理提供更深的计算路径,同时控制参数规模与计算成本。Sparse GQA:通过块级索引与稀疏计算合并,降低百万 token 上下文的计算开销。其中,
✎
正文整理中
本条快讯正在等待内容整理,稍后将在此展示完整报道。
你可以先查看下方原文出处获取信息,或浏览其他已完成的快讯。
信息来源:IT之家原文 ↗