快讯 23:02Anthropic三季度营收近170亿美元同比增11倍,IPO进程加速推进23:00OpenAI启动Grid Protectors计划,首站落地Georgia校园参与电网削峰11:28同构实验室总裁预测所有药物终将由AI设计,公司估值或达400亿美元 全部快讯 →

每日快讯

大厂动态 · 融资事件 · 政策监管 · 前沿论文 · Agent 抓取 + 智能改写,每日 40+ 条

论文 今天 · 星期二 · 11-03 10:00 约 1 分钟读完

MIT团队提出权重空间编程:GPT-6 Astra微调0.016%权重使Qwen3.5数学成绩提升6倍

摘要

MIT CSAIL提出「权重空间编程」方法,让GPT-6 Astra直接修改Qwen3.5-0.8B约0.016%的神经网络权重,无需梯度下降,即将该模型MATH-500成绩从7.9%提升至48.1%,约为原来的6.1倍。

麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)的研究团队提出一种名为「权重空间编程」(Weight-Space Programming)的新方法,其核心思路是让大语言模型直接读取、理解并修改另一个神经网络的权重,而非依赖常规训练流程调整参数。该研究由Rikiya Takehi、Jayden Teoh、Alex Zhang和Omar Khattab共同完成,Takehi于当地时间11月2日在博客上公开了成果。

实验中,OpenAI的GPT-6 Astra被用于分析并修改阿里云通义千问模型Qwen3.5-0.8B的神经网络权重。结果显示,仅调整约0.016%的参数,该模型在MATH-500数学基准测试中的成绩便从7.9%升至48.1%,达到原来的约6.1倍。研究团队强调,整个过程未使用梯度下降或传统训练循环。

GPT-6 Astra的调整并非随机改动少量参数。研究人员先定位了Qwen3.5-0.8B的推理循环问题:该模型在回答数学问题时容易反复生成相同内容,导致大量回答耗尽32768个Token的长度限制。在最初的96次测试回答中,有85次触及这一上限。

为此,研究团队为GPT-6 Astra提供了一个可读取和修改模型权重的接口,使其能够针对性地介入权重空间。这一路径若被进一步验证,或为模型能力调优提供区别于传统训练流程的新思路,但其适用范围与可复现性仍有待观察。

权重空间编程MIT CSAILQwen3.5-0.8BGPT-6 Astra
本文由新大陆基于公开信息编辑整理
213
收录 AI 工具
23
模型产品档案
60
企业落地案例
27
完整版提示词