Metaのオープンウェイトモデル「Muse Spark Open」（816B・1トークンで使うのは42B）の中身を、入口から62層、Attention、KVキャッシュ、MoE、4ビット化、8枚のGPUへの分割、そして処理時間の内訳まで、図が動く形で一段ずつ開いていきます。
Muse Spark Open は、Metaがオープンウェイトで公開した大規模言語モデルです。パラメータ（重み）の総数は8,160億（816B）ですが、1つのトークンを処理するときに実際に使うのはそのうち約420億（42B）だけ、という少し変わった作りをしています。
このアニメモでは、このモデルを入口から出口まで、ブロックごとに開いていきます。もとになっているのは、Joaquín Campo さんのブログ「Memory-Bound」の解説記事で、数値は記事の記述（2026年10月27日時点）に基づいています。詳しい数式や触れる図は元の記事もあわせてどうぞ。
Muse Spark Open は、文章だけでなく画像・動画・音声も受け取れます。入口は3つあり、文章はトークナイザで、画像や動画は画像用のエンコーダで、音声は音声用のエンコーダで、それぞれ処理されます。
どの入口から入っても、出てくるものは同じ形です。1つのトークンが8,192個の数を並べたベクトルになり、それが入力の長さぶん並んだ「トークンの列」になります。この列は最大で100万トークンまで扱えます。黒い箱が右に移動したように、ここから先はこの列だけがモデルの中を流れていきます。
黒い箱を開けると、中には層が62枚重なっています。トークンの列はこの62枚を順番に通り抜けます。62枚はすべて同じ形をしていて、違うのは中の重みだけです。
最後の層を出たあと、出力層が約20万語の語彙それぞれに点数をつけ、次に来るトークンを1つ選びます。選ばれたトークンは入力の最後に付け足され、もう一度モデルに入ります。文章を生成するときは、この輪を1トークンずつ回しています。
62枚のうちの1枚を拡大しました。中には大きく2つの部品があります。前半の Attention は、各トークンがそれより前のトークンを見て、必要な情報を集める部分です。後半の MoE（Mixture of Experts） は、トークンを1つずつ、専門家と呼ばれる小さなネットワークで加工する部分です。
2つの部品は、オレンジの線で描いた残差ストリームを直接書き換えるのではなく、そこに結果を混ぜ込みます。まずストリームのコピーを正規化（数の大きさをそろえる処理）してから部品に通し、出てきた結果も正規化して、ゲート（G）で混ぜます。
普通のモデルは単純に足し算しますが、Muse は「元のストリームをどれだけ残すか（α）」と「新しい結果をどれだけ足すか（β）」を、8,192個の数それぞれについて学習しています。こうすると、62層を通ってもストリームの値が膨らみすぎません。
62枚の層は形は同じですが、Attention がどこまでさかのぼって見るかが違います。46枚は直近2,048トークンだけを見るスライディング層、残りの16枚はそれまでの全部を見るフル層です。
並び方は「スライディング・フル・スライディング・スライディング」の4枚1組のくり返しです。図の紫のマスがフル層で、4枚に1枚の割合で入っているのが分かります。すべての層が全文脈を見る必要はなく、遠くを見る役を一部の層に任せることで、計算とメモリを節約しています。下の2本のバーが、それぞれが見る範囲のイメージです。
Attention では、各トークンが3種類のベクトルを作ります。探したいものを表す Q（クエリ）、自分が何者かを示す見出しの K（キー）、渡す中身の V（バリュー） です。あるトークンは自分の Q を過去のトークンたちの K と照らし合わせ、よく合ったトークンの V を多めに受け取ります。
Muse の Q は128個のヘッド（並列に動く小さな Attention）に分かれています。図では8ヘッドずつを箱1つにまとめて、青い箱16個で描いています。ふつうの作りなら K と V も128ヘッドずつ必要です。そして過去のトークンの K と V は、毎回計算し直さなくていいようにKVキャッシュとして保存しておきます。トークンが増えるほどこのキャッシュは大きくなり、長い文脈ではメモリの一番の悩みになります。
そこで Muse は、K と V のヘッドを16個だけにしています。Q の8ヘッドが、1組の K・V を一緒に使う形です。これを GQA（Grouped-Query Attention） と呼びます。下の段の K・V の箱が、一気に8分の1の細さに縮んだのがその様子です。
KVキャッシュの大きさは K・V のヘッド数で決まるので、これだけでキャッシュは8分の1になります。さらに Muse はキャッシュの数を1つ1バイト（FP8）で保存して、もう半分にしています。Q のほうは128ヘッドのままなので、問いかける力は落としていません。
図は、どのトークンがどのトークンを見てよいかを表したものです。上から下へ並ぶ行が「見る側」、左から右へ並ぶ列が「見られる側」で、色の付いた部分が見てよい組み合わせです。どの層でも、自分より後のトークンは見られません。
フル層は、自分より前のトークンを全部見ます。スライディング層は、直近の決まった数だけを見ます（図では3つですが、実際は2,048トークン）。さらに、トークンの位置を表す情報（RoPE）はスライディング層にだけ加えられ、フル層は位置を持たずに中身だけで探します。こうすると、学習したときより長い文章にも強くなると考えられています。
Attention の最後には出力ゲートもあり、ヘッドごとに「このトークンには何も足さない」と、出力を0近くまで絞れるようになっています。
ここで、KVキャッシュがどれくらいの大きさになるかを計算してみます。もし何も工夫せず、128ヘッドぶんの K と V を1つ2バイトで62層ぶん持つと、1トークンあたり約2MBになります。100万トークンなら約2TB。H200（1枚141GB）を8枚つないでも、合計1,128GBなので入りません。
赤いバーがその大きさで、縦線がGPU1枚と8枚ぶんのメモリです。ここから、これまでに見てきた工夫を、下のリストの順に当てはめていきます。
まず GQA で K・V のヘッドを16に減らすと8分の1、さらに FP8 で1つの数を1バイトにすると半分になります。合わせて16分の1、約125GBです。赤いバーが一気に縮みました。
それでもGPU1枚のメモリはほぼ埋まってしまいますし、この大きさは会話が長くなるほど増え続けます。
次に効くのが、46層あるスライディング層です。これらは直近2,048トークンぶんしか保存しないので、会話が長くなっても増えません。増え続けるのは16枚のフル層だけになり、全体で約35GB、1トークンあたり約33KBまで小さくなります。
最後に、8枚のGPUで K・V のヘッドを2つずつ分担するので、1枚が持つのはその8分の1、約4GBです。最初の約2TBから見ると、全体で約60分の1になりました。これで、100万トークンの文脈を現実的に扱えるようになっています。
層の後半の MoE を見てみます。1枚の層には256人の「専門家（エキスパート）」がいて、それぞれが小さなニューラルネットワークです。トークンが来ると、まずルーターが256人全員に点数をつけ、上位8人だけにそのトークンを担当させます。右の16×16のマスが256人で、紫のマスがあるトークンのために選ばれた8人です。
ルーターの中身は、トークンのベクトルに1つの行列を掛けるだけの単純な計算です。ただ、選び間違えたときの影響が大きいので、ここだけは精度の高いFP32で計算しています。また Muse には、他のモデルによくある「全員が必ず通る共有の専門家」がいません。トークンが受け取るものは、すべて自分で選んだ8人から来ます。
選ばれた8人の専門家が、マスの中から抜け出して一列に並びました。この8人は、トークンをそのままの幅（8,192）では受け取りません。まず8人共通の行列でトークンを4,096の幅に縮め、その小さな空間で8人がそれぞれ処理します。
各専門家の中身は、gate・up・down という3つの4,096×4,096の行列です。gate が「この特徴を通すかどうか」を決め、up が「どれだけ・どちら向きに」を決め、down が結果を元の形に戻します。8人の出力はそれぞれ正規化されたあと、ルーターがつけた点数で重みをつけて足し合わされ（Σ）、最後にもう一度共通の行列で8,192の幅に広げられます。幅を半分にしたことで、専門家1人あたりの重みは半分で済んでいます。
重みの内訳を見ると、このモデルの性格がよく分かります。専門家1人は約5,000万個の重みを持ち、それが1層に256人、62層ぶんで約7,990億個。全体の816Bのうち、ほとんどが専門家です。Attention や埋め込み、画像エンコーダなどを全部合わせても、右端の細い青い帯（約17B）しかありません。
一方、1つのトークンが1層で使う専門家は8人だけなので、実際に掛け算に使う重みは約42Bで済みます。「大きいのに速い」のはこのためです。ただし、どの専門家が呼ばれるかは前もって分からないので、全員分の重みをメモリに置いておく必要があります。
紫の帯が、そのままメモリの大きさを表すバーに変わりました。専門家の重み約7,990億個を、1つ16ビット（BF16）で持つと約1.6TBになります。
H200を8枚つないだノード全体のメモリは1,128GB。縦線を大きくはみ出しています。専門家の重みだけで、一番大きなGPUノードにも収まらないのです。
そこで Meta は、専門家の重みを NVFP4 という4ビット形式でも公開しています。16個の数ごとに小さな倍率を共有する形式で、1つあたり約4.5ビット。これで専門家の重みは約449GBまで縮み、縦線の内側に収まりました。
ただし H200 には4ビットのまま掛け算する機能がないため、重みを読み込むたびにBF16へ戻してから計算しています。つまり4ビット化で節約できるのは、メモリの量と、メモリから重みを読む時間です。この「読む時間」が、あとで大事になります。
4ビットにしても約449GBあるので、1枚（141GB）には入りません。そこで各層の256人を8枚のGPUに32人ずつ分けて置きます。先ほどの16×16のマスが戻ってきて、横2行ずつの枠が1枚のGPUになりました。Attention のほうは、K・V のヘッドを2つずつ分担します。
あるトークンの8人は、たいてい複数のGPUに散らばっています。図の例では6枚です。トークンはそれぞれのGPUへ送られ、処理された結果が集められて足し合わされます。1つずつ送っていては遅すぎるので、実際にはたくさんのトークンをまとめて（バッチで）運び、専門家ごとに担当トークンを集めて一度に計算します。
たとえば753トークンのまとまりなら、選ばれる回数は753×8＝6,024回で、専門家1人あたり平均約24トークンになります。なお、人気の専門家が1枚のGPUに偏ると、その1枚の仕事が終わるまで他のGPUは待たされてしまいます。
専門家1人を動かすには、GPUは2つのことをします。メモリから専門家の重みを読むことと、その重みで掛け算をすることです。H200 はこの2つを同時に進められるので、かかる時間は遅いほうで決まります。
重みを読む時間は、専門家1人ぶん（4ビットで約28MB）で約5.9マイクロ秒。担当するトークンが1つでも500個でも、ほとんど変わりません。一方、計算はトークン1つあたり約0.1マイクロ秒で、トークンが増えるほど長くなります。
文章を1つずつ生成しているときは、専門家1人が受け持つトークンは1つだけ。オレンジの計算のバーはほんの少しで、GPUはほとんどの時間を重みの読み込み待ちに使っています。
プロンプトをまとめて読むとき、たとえば753トークンなら、専門家1人あたり約24トークンになります。オレンジの計算のバーは伸びましたが、まだ2.4マイクロ秒。青い「読む」バーの5.9マイクロ秒には届かず、GPUは引き続き重みを待っています。
2本のバーがちょうど同じ長さになるのは、灰色の縦線のところ、専門家1人あたり約58トークンのときです。
会話4つぶんを同時に読むと、専門家1人あたり約94トークンになり、オレンジのバーが縦線を越えました。今度は計算のほうが長く、メモリが計算を待つ側です。
この見方をすると、4ビット化の意味がもう1つ見えてきます。もし重みがBF16のままなら、専門家1人を読むだけで約21マイクロ秒かかっていました。4ビットにしたことで、メモリに収まるだけでなく、生成のように「読む」がボトルネックになる場面そのものが速くなっているのです。
では、現在の実装はこの下限にどれだけ近いのでしょうか。記事が取り上げている高速化チャレンジでは、Meta が使っている推論エンジン SGLang の時間が基準になっています。GPU1枚が受け持つ32人の専門家を1層ぶん動かすのに、753トークンのときは約757マイクロ秒。重みを読むだけの下限は約190マイクロ秒なので、約4倍かかっています。会話4つ同時のときは約2,236マイクロ秒で、計算の下限約310マイクロ秒の約7倍です。
前のページの青いバーとオレンジのバーが、それぞれの「下限」に姿を変えました。灰色の部分が、よりよいカーネル（GPUで動く計算プログラム）を書けば取り戻せるかもしれない時間です。専門家の部分が処理時間の大半を占めることもあって、ここがチャレンジの一番の狙いどころになっています。
Muse Spark Open は、62枚の同じ形の層が、Attention と MoE で交互に残差ストリームへ書き込んでいく構造でした。Attention は GQA・FP8・スライディング窓の組み合わせで、100万トークンのKVキャッシュを1枚あたり約4GBまで小さくしています。MoE は256人から8人を選ぶことで、816Bの大きさを持ちながら1トークンには42Bしか使いません。その代わり、時間の多くは専門家の重みをメモリから読むことに使われていて、そこに高速化の余地が残っています。
この内容は、Joaquín Campo さんのブログ記事 Understanding Muse Spark Open をもとに、構成と図を作り直してまとめたものです。元の記事には、ここでは省いた数式や、触って動かせる図がたくさんあります。
