RTX 4070（12GB）で動く
日本語ローカルLLM 実測表

測り方

道具: llama.cpp（llama-server）を選んだ理由

• LM Studio・Ollama・llama.cpp のうち、llama.cpp の公式ビルド（b11852 (commit 7894e8b92)、CUDA 13.4 版）で全モデルを測りました。LM Studio と Ollama も中身は llama.cpp ですが、同梱の版が別々に更新され、量子化ファイルの選択や GPU への載せ方が隠れます。llama.cpp なら、Hugging Face の GGUF ファイルをそのまま指定でき、版を1つに固定でき、1回ごとの時間（読み込み・生成）をサーバーが返します。
• 設定はすべて同じ: 文脈長 4,096、並列 1、KV キャッシュ f16、Flash Attention は auto（対応しない形のモデルは自動でオフ）、温度 0、プロンプトのキャッシュなし。12GB に収まるモデルは全層を GPU に固定（-ngl all --fit off）、収まらない MoE は llama.cpp の自動配置（--fit on）。
• モデルのファイルは Hugging Face から取得し、sha256 を Hugging Face の値と照合しました（sha256.json）。

速度

• モデルごとにサーバーを3回起動し直し、毎回「短い指示（梅雨の説明）」「長文要約（青空文庫の芥川龍之介『蜘蛛の糸』全文 2,885字）」「会話（3往復の後の質問）」を順に投げました。表の値は3回の中央値です。
• 生成速度は llama-server が返す timings の値で、短い指示と会話の計6回の中央値。クライアント側で測った値（最初と最後のトークンの間）とも突き合わせました。全99リクエストで差の中央値は 0.45%、5%を超えたのは Qwen3.6 35B-A3B の、26トークンしか出なかった1回（48%）だけです。さらに llama-bench（同じビルド）の値を各カードの「詳しい条件」に載せています。
• 最初の1文字まではリクエストを送ってから最初のトークンが届くまで（思考するモデルは思考の最初のトークン）。
• 1文字あたりのトークン数は『蜘蛛の糸』と書き下ろしの現代文（549字）をそのモデルのトークナイザに通して数えました。
• VRAM は nvidia-smi の使用量を 0.25 秒ごとに取り、生成中の最大値から起動前の値を引いたもの。測定の直前、デスクトップのアプリが使っていた VRAM は 0.2〜1.5GB（時間で変動）でした。
• 読み込みはプロセスの起動から準備完了（/health が応答）までの時間。カードの値は2回目と3回目の中央値で、OS のファイルキャッシュが効いた状態です。1回目の値は「詳しい条件」に載せています（多くは数倍かかりました）。モデルは USB 接続の外付け SSD に置きました（gpt-oss-20b のみ内蔵 NVMe）。
• 各起動の前に GPU の使用状況を確かめ、他のプロセスの 3D/計算の使用率が合計 15% を超えるか、VRAM が 4.5GB を超えていたら待ってから測りました（動画再生のデコードは対象外）。GPU の温度は生データに残しています。

品質

• 常識: JCommonsenseQA v1.3（JGLUE、CC BY-SA 4.0）の検証用1,119問から seed=42 で100問。5択の番号を答えさせ、出力の最初の数字で自動採点。
• 知識: MMMLU の日本語版（OpenAI、MIT。MMLU を人手で日本語に訳したもの）14,042問から seed=42 で100問。A〜D を答えさせ、出力の最初の記号で自動採点。
• 自由記述: ELYZA-tasks-100（CC BY-SA 4.0）から seed=42 で20問。採点は Claude（Anthropic の Claude Opus 5.5）が審査員として、データセット付属の模範解答と採点観点を見ながら1〜5点で付けました。モデル名は伏せ、問題ごとに並び順を入れ替えています。審査プロンプトは下に全文を載せます。
• 問題文はこのページに転載していません。どの問題を使ったかは ID で quality_items.csv に残しています。
• JMMLU はライセンスが CC BY-NC-ND 4.0 のため使いませんでした。
• 思考（推論）を切り替えられるモデルは切って測りました。切れない設計のモデル（Qwen3-Swallow、gpt-oss、llm-jp-4.1 thinking）は思考ありで、思考の上限 1,024 トークン、選択式は最大 1,088 トークン・自由記述は最大 2,048 トークンまで。上限で答えが出なかった問題は不正解です。選択式で上限に届いたのは Qwen3-Swallow の 25問（うち答えを読み取れなかったのは3問）で、llm-jp-4.1 と gpt-oss は1問も届きませんでした。思考ありのモデルは、その分だけ答えが出るまでの時間が長くなります。
• 採点スクリプトは、既知の正解（正解をそのまま出す満点の回答・必ず外す0点の回答・よくある出力の形）で assert してから使いました（test_scoring.py）。

自由記述の審査プロンプト（全文）

あなたは日本語の回答を採点する審査員です。以下の「問題」「模範解答」「採点観点」を読み、各「回答」に 1〜5 の整数で点を付けてください。
模範解答は一例です。内容が正しく指示を満たしていれば、模範解答と書き方が違っても減点しないでください。

## 基本の採点基準
- 1点: 誤っている、指示に従えていない
- 2点: 誤っているが、方向性は合っている
- 3点: 部分的に誤っている、部分的に合っている
- 4点: 合っている
- 5点: 役に立つ（合っていて、そのうえ有用）

## 基本の減点
- 不自然な日本語（文法の誤り、中国語・英語の混入、文の途中での途切れなど）: -1点
- 部分的に事実と異なる内容を述べている: -1点
- 「倫理的に答えられません」のように過度に安全性を気にして答えない: 2点にする
- 回答が空、または途中で切れて結論がない: 1点

## 問題ごとの採点観点
データセット付属の「採点観点（eval_aspect）」を優先して適用してください。

## 出力
各回答について {"id": "<回答ID>", "score": <1-5>, "reason": "<30字以内の理由>"} を JSON で返してください。

外したモデルと理由

• Ternary Bonsai 2 27B（prism-ml/Ternary-Bonsai-2-27B-gguf, PTQ1_0 5.95GB, Apache-2.0）
  実在とライセンス（Apache-2.0）は確認し、ファイルも取得した（sha256 一致）。ただし PrismML 独自の三値の量子化型を使っており、公式 llama.cpp b11852 では「tensor 'output.weight' has invalid ggml type 143」で読み込めない。動かすには PrismML の llama.cpp フォークの実行ファイルが必要で、今回は同じ条件（公式ビルド）で比べることを優先して外した。
• Sarashina3（SB Intuitions）
  2026-10-24 時点で Hugging Face の sbintuitions に Sarashina3 の重みは公開されていない（無料ベータはサービスとしての提供）。ローカルでは動かせないため、重みが公開されている Sarashina2.2 3B instruct を測った。
• llm-jp-4 8B instruct（mmnga-o/llm-jp-4-8b-instruct-gguf Q4_K_M）
  llama.cpp b11852 のチャット出力の解析（harmony 形式）でサーバーがエラー 500 を返し、回答を受け取れなかった。公式 GGUF がある後継の llm-jp-4.1 8B thinking に差し替えた。
• 27B〜35B 級の密モデル（Qwen3.8 27B、Gemma 4 31B など）
  Q4_K_M で 16GB 以上あり、12GB の GPU には載らない。MoE（専門家の一部だけが動くモデル）なら CPU に逃がしても実用速度が出るので、代わりに Qwen3.6 35B-A3B と gpt-oss-20b を「はみ出し組」として測った。
• ELYZA の最新モデル（ELYZA-Thinking-1.0 llm-jp-4 32B-A3B など）
  常に思考する 32B 級で、200問の選択式でも数時間かかる見込みのため今回は外した。ELYZA の 12GB 向けの新しい密モデルは見つからなかった。

この表の限界

• この1台での結果です。同じ RTX 4070 でも、CPU・メモリ・ドライバ・裏で動いているアプリで数字は変わります。特に「一部CPU」のモデルは CPU とメモリの速さに強く左右されます。
• 12GB ぎりぎりのモデルは、ほかのアプリの VRAM 次第で速さが倍変わります。gpt-oss-20b は、デスクトップの VRAM 使用が少なかった時に全層を GPU に載せた llama-bench（-ngl 99）で 143 tok/s 出ました。表の 70.2 tok/s は、自動配置で一部を CPU に置いた状態です。
• Qwen3.6 35B-A3B は、メモリ 32GB に対して 22GB のモデルで、読み込み後の空きメモリは約 2GB しかありませんでした。メモリに余裕のある PC なら、もっと速い可能性があります。
• 文脈長は 4,096 に固定しました。長い文書を扱うと KV キャッシュが増え、VRAM と速度は変わります。
• 品質は1モデルあたり選択式200問＋自由記述20問の抜粋です。区間を見ると分かるとおり、近いモデルの順位は入れ替わり得ます。
• 量子化は Q4_K_M を基本にしました（gpt-oss は配布形式の MXFP4、Qwen3.6 は unsloth の UD-Q4_K_M）。量子化を変えれば品質も速度も変わります。量子化を作った人（unsloth、mmnga など）による差もあります。
• 自由記述は Claude 1体の採点で、人手の評価ではありません。採点者による癖が入ります。
• 思考ありのモデルは思考トークンの上限を付けたため、本来の実力より低く出ている可能性があります。

生データとスクリプト

このページの数値と生データは CC BY 4.0 で使ってかまいません。使ったベンチマークのデータはそれぞれのライセンスに従います。