モデル
Gemma 4 12Bはローカルで動く？
Google DeepMind · Apache 2.0 · 最終確認
Gemma 4 12Bは、16GBクラスで扱いやすい中間サイズのモデルです。それでも重み、KVキャッシュ、実行時オーバーヘッドを合わせると、8GBでは簡単ではありません。
このモデルについて
画像入力を使う場合は投影ファイルも含めて確認してください。ローカル用途では、モデル名だけでなく、実際に使う量子化とコンテキストで判断するのが安全です。
公開量子化ファイル
| 推奨量子化 | 重みファイル | 8K | GPU | Mac | 最小GPU／Macでのコンテキスト | 速度推定 | 実行コマンド例 |
|---|---|---|---|---|---|---|---|
| Q4_0 | 7.15 GB | 9.1 GB | NVIDIA GeForce RTX 3060 12GB | Apple Mac mini M4 16GB | 68,127 / 149,498 | 推定 · Moderate relative class | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Q4_K_M | 7.30 GB | 9.2 GB | NVIDIA GeForce RTX 3060 12GB | Apple Mac mini M4 16GB | 65,157 / 146,528 | 推定 · Moderate relative class | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Q8_0 | 12.85 GB | 14.7 GB | NVIDIA GeForce RTX 4090 24GB | Apple Mac mini M4 24GB | 196,408 / 196,408 | 推定 · Moderate relative class | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
代表的なマシンでの互換性
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 トークン
At least 20% memory headroom remains after weights, KV cache, and runtime overhead.
実行コマンド例
ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf google/gemma-4-12B-it -c 8192 -ngl 99 -p "Your prompt"mlx_lm.generate --model google/gemma-4-12B-it --prompt "Your prompt" --max-tokens 8192対応ランタイム
- ollama
- llama.cpp
- mlx
FAQ
ダウンロード前に
Gemma 4 12B Unifiedの最小ファイルサイズは？
公開されている最小の量子化はQ4_0で、約7.15GBです。実行時にはKVキャッシュと約1.5GBのオーバーヘッドも必要です。
MoEはメモリを節約しますか？
MoEは1トークンあたりの計算量を減らせますが、重み全体は保存する必要があります。このモデルはDenseなので、すべての重みが常に必要です。
購入前に何を確認すべき？
実際に使う量子化、コンテキスト長、バックエンドの対応状況を確認してください。このページの推定はベンチマークではなく、公開データに基づく保守的な計算です。
Gemma 4 12B Unifiedを8Kで快適に動かせるGPU／Macは？
Q4_0は約9.1GB必要で、最小候補はNVIDIA GeForce RTX 3060 12GB／Apple Mac mini M4 16GBです。 Q4_K_Mは約9.2GB必要で、最小候補はNVIDIA GeForce RTX 3060 12GB／Apple Mac mini M4 16GBです。 Q8_0は約14.7GB必要で、最小候補はNVIDIA GeForce RTX 4090 24GB／Apple Mac mini M4 24GBです。
収まらない場合、何を試すべき？
まず最小量子化と短いコンテキストを選びます。それでも不足する場合は、gpt-oss-20b、Qwen3.6 35B-A3B、Qwen3.8 27Bなど小さいモデルと比較してください。外部SSDは保存には使えますが、推論メモリは増えません。