PFNが重みを公開した翻訳特化LLM「PLaMo 3 Translate」（0.8B〜31B）。土台のモデル、LLMで作った対訳の磨き方（逆翻訳・トーナメント・自己蒸留）、SFTとDPO、小さなモデルへの蒸留、量子化までを、図を動かしながらたどります。数値はPFNのモデルカードと公開資料に基づきます。
2026年11月5日、Preferred Networks（PFN）が翻訳に特化したLLM「PLaMo 3 Translate」の重みを公開しました。大きさは 0.8B・2B・8B・31B の4種類で、日本語と英語を中心に53言語の翻訳ができます。
開発ブログには専門用語がたくさん並んでいます。このアニメモでは「重みの公開とは何か」から始めて、土台のモデル、翻訳データの磨き方、仕上げの学習、小さなモデルへの引き継ぎまでを、図を動かしながら順にたどります。数値は PFN のモデルカードと公開資料に基づいています。
LLMの中身は、膨大な数の「重み」（パラメータ）です。PLaMo 3 Translate は、10月から PFN の翻訳サービス「PLaMo翻訳」で使われてきたモデルです。サービスで使うと、原文はネット越しに PFN のサーバーへ送られます（上の段）。
今回公開されたのは、その重みのファイルそのものです（下の段）。Hugging Face からダウンロードすれば、自分のPCやサーバーで翻訳を動かせます。原文も訳文も手元から出ないので、契約書や研究資料のように外へ送りにくい文書にも使えます。PFN は、0.8B モデルを機内モードのスマートフォンで動かすデモも公開しています（社内で作ったデモで、アプリ自体はまだリリースされていません）。
名前の 0.8B・2B・8B・31B の B は billion（10億）で、重みのおおよその数を表します。図の四角は面積が重みの数に比例していて、31B は 0.8B のおよそ40倍です。下の数字は、重みを BF16（1個2バイト）で保存したときのファイルの大きさです。
大きいモデルほど訳は正確になりますが、動かすのに大きなメモリと計算が要ります。小さいモデルはスマホやノートPCに、大きいモデルは品質を優先するGPUサーバーに向きます。用途と機械に合わせて選べるよう、4つの大きさが用意されています。
ChatGPT のような汎用のLLMも「翻訳して」と頼めば訳してくれますが、PLaMo 3 Translate は最初から翻訳だけをするモデルです。そのぶん、入力の形が翻訳用に決まっています。
原文と訳したい言語（53言語）に加えて、文書の状況を伝える 文脈、固有名詞や専門用語の訳し方を決める 用語集、日本語に訳すときの です・ます／だ・である を指定できます。直前の原文と訳文を渡せば、話の流れを踏まえた訳にもなります。図の例文は説明用です。
PLaMo 3 Translate は、ゼロから作られたわけではありません。すでに大量の文章を学んだ土台のモデル（大きさごとにあります）に、翻訳のための学習を追加して作られています。
31B は、磨いた翻訳データで2段階の SFT を行い、DPO で仕上げて完成です。8B 以下も同じ SFT から始めますが、そのあと完成した 31B を先生にした「蒸留」をはさみ、最後に DPO を行います。
上の帯の ①〜⑤ は、このアニメモで説明する順番です。開発の鍵として PFN が挙げているのは、② のデータの磨き方です。
土台は、PFN と情報通信研究機構（NICT）の共同研究で作られた PLaMo 第3世代の事前学習モデル「PLaMo 3 NICT」です。0.8B から 31B まで、大きさごとに土台があります。事前学習とは、大量の文章を読ませて「次に来る言葉」を当てさせる学習のことで、ここで言語そのものの知識を身につけます。報道によると、その学習データの3割近くが日本語です。
もう1つの特徴が、PLaMo 独自のトークナイザ（文章を区切る規則）です。日本語を少ないトークン数で表せるように作られています。LLM は1トークンずつ出力するので、トークンが少ないほど訳文を速く、安く出せます。右下の図は考え方を示す模式図です。
翻訳を教えるには、原文と訳文の組（対訳）が大量に必要です。でも、きちんと訳された対訳は世の中にそれほど多くありません。そこで PFN は、原文を Web などから集め、訳文を LLM で作るやり方で、学習データのほとんどを作りました。訳文づくりには、オープンなモデルの中でも多言語に強い Google の「Gemma 4 31B IT」を使っています。
原文を集めるときは、スパムや機械翻訳された文章を除き、各言語のネイティブが書いた文章を選ぶよう、言語ごとに細かいルールを作っています。この「人が書いた自然な原文」が、次の逆翻訳で効いてきます。ただし、LLM が一発で出した訳文には改善の余地が残ります。ここからの3つの工夫で、それを磨きます。
前のページの対訳は、原文がネイティブの文章で、訳文が LLM の文章です。「原文 → 訳文」の向きで学ぶと、モデルは「ネイティブの流暢な文を読むこと」を学べます。でも、書く側のお手本は LLM の文だけになり、それでは出力の流暢さが落ちてしまいます。
そこで向きを逆にした問題も作ります。LLM の訳文を入力にして、人が書いた原文を正解にするのです。これは「ネイティブの流暢な文を書くこと」を学ぶデータになります。ただし、自然な訳文から原文の情報をすべて復元できるとは限らないため、Gemma 4 に原文と訳文の両方を与え、自然さを保ったまま対応がずれた箇所だけ原文を直してから使います。最終的なデータには、両方の向きが入っています。
Gemma 4 は強力なモデルですが、一発で出した訳には改善の余地が残ります。そこで、1回で訳させる代わりに、計算を多めに使って何度も推論させ、より良い訳を作ります。
まず Gemma 4 に、1つの原文の訳の候補をいくつも出させます（実際は8つ）。候補は2つずつ組にして、Gemma 4 に「融合」させます。融合では、2つを比べて勝ちを決めつつ、負けた訳に良い点があれば勝った訳に取り込んで書き直します。これを勝ち上がりで繰り返すのがトーナメント式データ合成です。図は4候補に簡略化しています。
1回戦で、A と B から「A に B の良いところを足した訳」が、C と D から「C に D の良いところを足した訳」ができました。決勝ではこの2つを同じように融合し、最後に残った訳を、その原文の訳として採用します。
ふつうは「候補をたくさん作って、いちばん良いものを選ぶ」だけです。トーナメント式なら、負けた候補の良い部分も捨てずに集めていけます。PFN の予備実験では、そうした選び方と比べて、トーナメント式がいちばん質の高い訳を作れたそうです。そのぶん計算はたくさん使いますが、データの質を上げるために、そこへ計算をつぎ込んでいるわけです。
トーナメントと逆翻訳のおかげで、PLaMo は合成に使った Gemma 4 よりも良い訳を出せるようになっていきます。そこで、その時点の最新の PLaMo 自身に訳の候補を作らせ、トーナメントで磨きます。その訳を、データにいま入っている訳と「決勝戦」で比べ、新しい方が良いと判定されたときだけ差し替えます。そのデータで SFT をやり直すと、少し賢くなった PLaMo ができます。
賢くなった PLaMo は、前より良い候補を出せます。この輪を何度も回しました。自分の出力から学ぶので「自己蒸留」、それを繰り返すので「反復的」と呼びます。計算コストの都合で、この工夫は仕上げ用の Phase2 SFT データにだけ使っています。
磨いたデータを使って、土台のモデルに翻訳を教えます。原文を入れたら訳文を出すように、正解つきの問題で重みを直していく学習で、SFT（教師ありファインチューニング）と呼びます。
SFT は2段階です。Phase1 では Web から大量に集めたデータ（約339億トークン）で、まず翻訳という仕事に慣れさせます。Phase2 では、実際の使い方に近い多様な原文を集め、訳文を Phase1 以上に徹底的に磨いたデータ（約34億トークン）で仕上げます。分野は学術論文から特許、口語、ブラウザ翻訳、ファイル翻訳まで幅広く、量は少なめでも文庫本数万冊分あります。「大量のデータ → 少量でも高品質なデータ」という流れです。
SFT でどれだけ伸びたかを、大きさごとに並べました（日英の3つのベンチマークの平均。縦軸は 0.45 から）。灰色が土台のまま、水色が Phase1 のあと、青が Phase2 のあとです。
どの大きさでも Phase1 で大きく伸び、Phase2 でもう一歩伸びています。0.8B でさえ、前の世代の 8B モデル PLaMo 2 Translate（0.612、赤い線）を上回りました。PLaMo 2 Translate では後の DPO による伸びが大きかったのに対し、今回は SFT だけで大幅に伸びています。PFN によると、開発中は学習方法や設定をほとんど変えず、データを磨くことだけで性能を上げ続けられたそうです。
SFT は「正解はこれ」と1つを教える学習でした。DPO（Direct Preference Optimization）は、同じ原文に対する2つの訳を並べて「こちらの方が良い」と教える学習です。良い訳（chosen）を出す確率を上げ、悪い訳（rejected）を出す確率を下げるように重みを直します。
chosen と rejected は、その時点のモデル自身に訳をたくさん出させ、Gemma 4 31B IT に順位をつけさせて、1位と最下位から選びます。自分が実際に出してしまう良くない訳にペナルティをかけられるのがポイントです。これを2周くり返し（Iterative DPO）、31B も、蒸留後の 8B 以下も、最後の仕上げに使っています。図の確率の変化は模式図です。
DPO で日英のベンチマークの点数はどう変わったか。31B では 0.6931 → 0.6940 → 0.6943 と、ほとんど差がありません。ところが PFN によると、実際の訳文を見ると一定の改善があり、それがベンチマークには表れにくいそうです。
そこで、強い LLM（Gemini 3.1 Pro）に2つの訳を読み比べさせる方法で調べました。SFT のあとと DPO 1周目では DPO 側の勝率が 57%（英→日）と 59%（日→英）、1周目と2周目では 53% と 57% で、少しずつ良くなっています。下の例では、DPO のあとの訳の方が、誰が喜び誰が見ているのかが素直に伝わる日本語になっています。
開発の初期、PFN は DPO 以外に、強化学習の手法 GRPO も試しています。ベンチマークの点数は上げられましたが、人が読んで評価すると流暢さ（自然な読みやすさ）が落ちる傾向が見られ、採用しませんでした。
GRPO の報酬には LLM による採点を使っていました。流暢さも評価するよう指示しても、報酬の値は上がるのに人の評価は上がりませんでした。各言語の流暢さを正しく採点すること自体が難しいうえ、強化学習は報酬を最大化する力が強いので、訳の忠実さなどの報酬を追ううちに流暢さが犠牲になったのでは、と PFN は推測しています。DPO でも同じことが起こりうるため、chosen に対する SFT の損失と、元のモデルから離れすぎないための正則化を加え、強さを細かく調整しました。その結果、流暢さはむしろ良くなったそうです。
小さいモデルは、同じデータで学んでも大きいモデルほど上手には訳せません。そこで 8B 以下のモデルには、SFT のあと、DPO の前に、完成した 31B を先生にした蒸留をはさみました。
SFT では正解の訳文を出すように学びますが、蒸留では、訳文の各位置で先生が予測する「次の言葉の確率分布」を学びます。正解の1語だけでなく、先生がほかの候補にどれくらい確率を置いているか（右の図、模式図）まで真似るので、1つの例文から学べることが多くなります。手法は DistiLLM-2 をもとに、AMiD という方法で目標の分布を調整したもので、PFN の2026年夏のインターンの成果をもとに決めたそうです。
蒸留では2種類の文章を使います。1つはデータにある（原文, 訳文）のペアで、正しい訳が出ている場面で先生がどう予測するかを生徒に真似させます（Forward KL）。もう1つは生徒自身が出した訳で、先生ならそうは予測しないところを直させます（Reverse KL）。生徒の訳は、学習の途中で数十ステップごとに作り直します。
効果は小さいモデルほど大きく、0.8B の日英の点数は 0.658 から 0.671 に、日本語と多言語の間の点数は 33.8 から 36.0 に上がりました。PFN は「一度大きなモデルを作り、その力で小さいモデルを鍛える」ことに大きな意味があったとしています。蒸留のあと、8B 以下も DPO を2周して完成です。
4つの大きさの成績を並べました。左がファイルの大きさ、右が PFN 社内の日英ベンチマーク PFTB の点数です（参照訳とどれだけ一致するかを測り、1に近いほど良い）。
ファイルの大きさは 31B の 63.51GB から 0.8B の 1.78GB まで約36分の1になりますが、PFTB は 0.624 から 0.586 へ、約94%を保っています。英日の公開ベンチマーク WMT24++ の COMET-22 では 0.880 と 0.872 で、ほぼ同じです。蒸留で小さいモデルの性能を引き上げた、というのが PFN の説明です。
重み1個を16ビットで持つ代わりに、8ビットや4ビットに丸めて小さくする「量子化」をした版も公開されています。量子化には AutoRound などを使い、どの形式でも BF16 版からの劣化は小さく抑えられていると PFN は説明しています。図は 31B の例で、4ビットの GGUF（Q4_K_M）にすると 63.51GB が 19.53GB になりますが、PFTB は 0.6244 から 0.6237 と、ほとんど変わりません。
0.8B を4ビットにすると 0.57GB で、スマホのメモリにも余裕で収まります。GGUF 版は llama.cpp で PC の CPU や GPU から、MLX 版は Apple シリコンの Mac で動かせます。なお2ビット（Q2_K）まで削ると、小さいモデルほど点数が大きく落ちる傾向があります。
PFN は、Google DeepMind の TranslateGemma（4B・12B・27B）と Tencent の HY-MT2（1.8B・7B・30B-A3B）という、他社の翻訳特化LLMと比べています。四角の面積は重みの数で、27B は 0.8B の約34倍です。
PFN の評価では、日英（PFTB・SaaS・WMT24++ の平均）と、日本語と他の言語の間の翻訳（FLORES+）で、最小の 0.8B でもこれらすべてを上回りました。英語と他の言語の間でも、2B の時点ですべてを上回っています。なお HY-MT2 の 30B-A3B は MoE という作りで、1トークンの計算に使う重みは約3Bです。
「世界最高クラス」は PFN 自身の評価に基づく表現です。PFTB と SaaS は PFN の社内ベンチマークで、公開ベンチマーク（WMT24++、FLORES+）も使っていますが、比較相手の数値は図で示されているだけです。また PFN は、WMT24++ は短い文が多く参照訳の質にもやや懸念があるため、開発では主に PFTB と SaaS を見ていたと書いています。第三者による検証はこれからです。
また、誰でも自由に使えるオープンソースとは条件が違います。PLaMo コミュニティライセンスで、個人の学習や趣味、研究などの非商用は無料で、登録も要りません。商用でも、売上が10億円以下の会社なら事前登録すれば無料で、それを超えると別の契約が要ります。長い文書は、入力と出力の合計が 32,768 トークンに収まるよう分けて訳します。
試すなら、Mac は MLX 版、そのほかの PC は GGUF 版（llama.cpp）が手軽です。
