GPT-6 Astra が Qwen3.5-0.8B の重みを0.016%だけ書き換え、MATH-500 が7.9%から48.1%に。話題の「Weight-Space Programming」の実験を一次情報から読み解きます。何を見つけ、どこをどう直したのか、数字は何を意味するのか、そして「学習がいらなくなった」は本当か。
2026年11月2日、MIT CSAIL の Rikiya Takehi さん、Jayden Teoh さん、Alex Zhang さん、Omar Khattab さんが、ある実験をブログで公開しました。OpenAI の GPT-6 Astra に、オープンウェイトの小さな言語モデル Qwen3.5-0.8B の重みを直接読ませ、書き換えさせたところ、全体のわずか0.016%を変えただけで数学のスコアが大きく伸びた、という内容です。
SNSでは「AIが学習という概念を置き去りにした」とドラマチックに紹介されていますが、実際には何が起きたのでしょうか。このアニメモでは、一次情報であるブログをもとに、何をどう直したのか、数字は何を意味するのか、どこに注意が必要かを、順を追って見ていきます。
ニューラルネットワークの賢さは、中に並んだ大量の数字、つまり重み（パラメータ）で決まります。Qwen3.5-0.8B なら約8億個です。ふつう、この重みを変えるには学習をします。データで予測させ、正解とのずれ（Loss）を測り、ずれが小さくなる方向（勾配）を計算して、重みをほんの少しずつ動かす。この輪を何百万回も回します。
この方法は強力ですが、大量のデータとGPUの時間が必要で、しかも「どの重みが何のためにあるのか」は人間にはほとんど分かりません。重みは人が読んだり手で書いたりするものではない、というのがこれまでの常識でした。
今回の実験では、この学習の輪を使いません。ぐるぐる回っていた4つの箱が、一本道に並び替わりました。GPT-6 Astra が重みそのものを読み、どこが何をしているかを推理し、必要な部分を直接書き換えます。書き換えたあとに少しだけ実際に動かして確かめることはできますが、勾配を計算したり、学習用のコードを書いたりすることは禁止されています。
ちょうど、プログラマーがソースコードを読んでバグを見つけ、その行を直すのと同じことを、重みの数字に対してやっているイメージです。著者らはこれを Weight-Space Programming（重み空間プログラミング） と呼んでいます。
ブログでは8つの実験が紹介されていて、大きく3つの力に分けられています。1つ目は読む力で、ゲームを遊ぶように学習した小さなネットワークの重みだけを見て、何のゲーム用かを4つとも言い当てました。2つ目は直す力で、坂を登れずに止まってしまう車の制御ネットワークの重みを3.5%書き換え、成功率を0%から100%にしました。3つ目は書く力で、ゲームのルールだけからネットワークの重みをゼロから書き、1億ステップ学習したネットワークより高いスコアを出しました。
SNSで話題になっているのは、このうち「直す」を、実際の言語モデルである Qwen3.5-0.8B で試した実験8です。ここからは、その実験8を詳しく見ていきます。
「直す」のカードが、Astra の作業場に変わりました。実験8で Astra に与えられたのは、Qwen3.5-0.8B の重みを読み書きできる Python の作業場（ノートブックのようなもの、GPUなし）と、数学の練習問題（GSM8K と MATH の訓練用データ）です。そして「モデルに実際に問題を解かせてみる」お試し実行を、10回・25回・50回のいずれかの回数だけ使えます。
学習や勾配を使うことは禁止で、性能を測る本番のテスト問題（MATH-500 など）は Astra には見せていません。限られた回数の観察と、重みの読み書きだけで、数学を良くしてほしいという依頼です。右の24枚の帯が、Qwen3.5-0.8B の24層です。
Astra がまず気づいたのは、このモデルが考えの堂々めぐり（ループ）に陥りやすいことでした。Qwen3.5-0.8B は答える前に長く「考える」モデルですが、同じ文章を何度も繰り返し、最大の長さ（32,768トークン）に達して時間切れになってしまうのです。練習問題の最初の96回答のうち、85回がこの上限に達していました。
この癖は Astra が見つけた新発見というわけではなく、Qwen 自身のモデルカードにも「考えがループしやすい」と注意書きがある、既知の問題です。つまり多くの問題で、「解けない」以前に「答えまで行き着けていない」状態でした。
次に Astra は、お試し実行を使いながら、モデルの中でループが起きるときに何が起きているかを調べました。その結果、24層のうち15層目と19層目のMLP（各層の後半にある計算部分）が書き込んでいる、ある特定の方向が、ループと結びついていることを突き止めました。紫に光っている2枚がその層です。
ここでいう「方向」とは、モデルの内部の状態（たくさんの数を並べたベクトル）の中の、ある向きのことです。モデルの中を流れる情報に、その向きの成分が書き込まれると、同じ考えを繰り返しやすくなる、ということです。
図は、モデルの内部の状態を2次元に縮めて描いたイメージです。本当は何千もの数が並んだベクトルですが、ここでは「ふつうに考えを進める向き」と「ループの向き d」の2つだけにしています。青い矢印 h が内部の状態で、紫の縦の矢印がそのうちの「ループの向きの成分」です。
Astra がやったのは、この d の向きの成分だけを取り除くことです。ほかの向きの情報には手をつけないので、モデルがもともと持っている知識や考える力はそのまま残ります。ある1つの方向を重みから消して特定の振る舞いを取り除くという考え方は、これまでの「モデルの中身を読み解く研究（解釈可能性）」でも知られていました。
紫の「ループの成分」が縮んで消え、青い矢印は「ふつうに考えを進める向き」だけになりました。これで、15層目と19層目が内部の状態をループの方向へ押し出すことがなくなります。
実際にやったのは、この2つの層で「計算結果を書き戻す行列」から、ループの方向に当たる部分を引き算する、という重みの編集です。毎回の計算のたびに成分を消しているのではなく、重みそのものを書き換えたので、編集したモデルはふつうのモデルとしてそのまま使えます。どこをどれだけ書き換えたのかを、次のページで見てみます。
MLP は、最後に down_proj という行列を使って、計算結果をモデルの中を流れる情報へ書き戻します。Astra はこの down_proj のうち、ループの方向を書き込んでいた64列からだけ、その方向を引き算しました。1列は1,024個の数なので、15層目と19層目の2層で、64 × 1,024 × 2 ＝ 131,072個の重みを書き換えたことになります。
ほかの重みには一切触れていません。プログラムで言えば、巨大なコードのうち、バグの原因になっている数行だけを書き換えたようなものです。
131,072個は、モデル全体の約8億個の重みから見ると0.016%にすぎません。前のページの紫の帯が、大きな四角の真ん中の小さな点に縮みました。四角全体がモデルのすべての重みだとすると、書き換えたのはこの点くらいの量です。
学習（ファインチューニング）では、ふつうモデルのかなりの部分の重みが少しずつ動きます。それに比べると、この編集はとても狙いを絞った「手術」のようなものです。狙った場所だけを変えるので、ほかの能力を壊しにくい（いわゆる破滅的忘却を避けやすい）という利点も、著者らは期待しています。
では、編集の前後でスコアはどう変わったのでしょうか。評価は、Astra が一度も見ていない MATH-500（数学）、GSM8K（算数の文章題）、IFEval（指示どおりに答えられるか）などで、編集前と同じ生成の設定のまま行われています。
まずは編集前のスコアです。MATH-500 が7.9%、GSM8K が13.8%、IFEval が21.0%。0.8B という小さなモデルであることを考えても、低めの数字です。この低さの大きな理由が、先ほどのループでした。
お試し実行50回で編集したモデルでは、バーが一気に伸びました。MATH-500 が7.9%から48.1%に、GSM8K が13.8%から67.1%に上がっています。数学の問題で編集したにもかかわらず、指示に従う力を測る IFEval 。21.0%から62.3%と約3倍になりました。
ループは数学に限った問題ではないので、ループが減ったことで、数学以外の課題でも答えまでたどり着けるようになった、と考えられます。なお、公開されたログから Hugging Face のメンバーがこの編集済みモデルを作り直して評価し直しており、そのモデルカードでも約51%という近い数字が報告されています。
面白いのは、お試し実行の回数による違いです。10回や25回では、MATH-500 の答えが上限に達する割合は90%近いままで、スコアも12〜14%程度にしか伸びませんでした。50回使えたときに初めてループが大きく減り、上限に達する割合が93%から33.1%へと一気に下がっています。
この変化から分かるのは、スコアの大きな伸びのほとんどが「ループが減って、答えを最後まで出せるようになったこと」で説明できる、ということです。
ここが、SNS の紹介で抜け落ちがちな点です。著者ら自身が、ループを直すことと数学の力そのものを上げることは別物だとはっきり書いています。ループを直すと、モデルがもともと解けたはずの問題を最後まで解き切れるようになるだけです。
図の上の段の Qwen は、解く力はあるのに、ループという壁で答えにたどり着けない状態でした。下の段の Gemma 3 270M は、比較のために著者らが同じことを試したモデルで、もともとループがほとんどありません（上限に達した答えは8.5%だけ）。
Qwen では、赤い壁（ループ）を取り除いたことで、隠れていた力が答えに届くようになりました。一方、Gemma 3 270M で Astra が失敗の原因を調べたところ、見つかったのは計算ミスや式変形の誤りといったふつうの間違いで、消せば済むような1つの原因はありませんでした。編集しても MATH-500 は6.8%から最大7.7%程度で、ほとんど変わりませんでした。
つまり今回の方法は、能力を隠している障害物を取り除くことはできても、モデルが持っていない能力を新しく足すことはできなかった、ということです。「学習がいらなくなった」と言うのは、まだ言いすぎです。
SNS で広まった投稿と、一次情報であるブログを並べてみました。研究者と Astra が掛け合いをする会話の部分は演出で、ブログにそのようなやり取りや「数百万かけて A100 を回す予定だった」という話は出てきません。一方、0.016%・MATH-500 で約6倍・IFEval で約3倍といった数字は、ブログの記述と一致しています。
注意したいのは、これが著者らのブログで発表された初期の結果で、査読を受けた論文ではないことです（著者は MIT CSAIL 所属ですが、掲載先は著者の個人サイトです）。また、「学習の概念を置き去りにする」というほどの結果でないことは、前の2ページで見たとおりです。ただし、Astra に渡した指示や出力、実行したコードはすべて GitHub でログとして公開されていて、誰でも検証できるようになっています。
著者らは、この方向が進めば、次のようなことが可能になるかもしれないと書いています。テストを走らせなくても、重みを読むだけで隠れた問題（バックドアなど）を見つける監査。データ集めや学習をせずに済む、ずっと安い最適化。データなしで能力を足したり消したりする操作。そして、AI が自分や次のモデルの重みを点検して直す自己改善です。
ただし、今回の結果はまだ「兆し（Sparks）」の段階で、著者ら自身も、文脈の長さや作業環境の効率が制約になっていると認めています。現在は、この能力を測るためのベンチマークと作業環境を作っているところだそうです。数字の派手さだけでなく、何が直ったのか、何はまだできないのかをセットで受け取るのが大事です。
出典：Rikiya Takehi, Jayden Teoh, Alex Zhang, Omar Khattab「Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights」（2026年11月2日）。実験ログは GitHub、編集済みモデルは Hugging Face で公開されています。
