FireTofu
GPT-6 Astra 爆改Qwen 大脑:只动0.016% 参数,数学成绩疯涨

商业 · zh

GPT-6 Astra 爆改Qwen 大脑:只动0.016% 参数,数学成绩疯涨

虎嗅 · 2026年11月3日 07:30 UTC

只改了0.016%的权重,一个8亿参数大模型的数学成绩,就从7.9%飙升到了48.1%。 更夸张的是,动手修改这些权重的,竟然是另一个大模型GPT-6 Astra。 最近,MIT CSAIL的研究团队展示了一种相当大胆的AI优化方法。他们让GPT-6 Astra像程序员阅读和修改代码一样,直接分析神经网络的权重,定位模型的问题,再修改其中的参数。 图|研究博客地址:https://rikiyat.github.io/blog/weight-space-programming/ 整个过程没有使用传统的梯度训练。研究人员仅修改了Qwen3.5-0.8B的131072个参数,就让它在MATH-500上的成绩从7.9%提升至48.1%,GSM8K从13.8%提升至67.1%,指令遵循能力也明显改善。…

科技 · 虎嗅

如果AI解开了世界难题,人类数学家还剩下什么?

继知名数学家陶哲轩公开批评OpenAI后,近期另一位新晋菲尔茨奖得主邓煜也炮轰OpenAI——不能你蒸馏了全世界,不让别人来蒸馏你。 随着顶级模型公司不断破解世界级数学难题,数学家们集体破防。 邓煜近期提出的观点大意是,AI公司在构建大模型时,通过“知识蒸馏”或抓取全人类的网络文献、学术论文与知识库来训练自己。…
阅读原文 ↗