VRAMガイド · LocalLM Fit
24GB VRAMで動くローカルAIモデル
24GBあれば、より大きなDenseモデルや効率的なMoEをCPUへ即時フォールバックせずに扱えます。ローカル実験用の実用的なワークステーション帯です。
計算基準：8,192トークン、公開重み＋KVキャッシュ＋1.5 GBのオーバーヘッド。余裕ありは20%以上のヘッドルームを意味します。 しきい値と出典を見る.
余裕あり
24 GB · 余裕あり
| モデル | 推奨量子化 | 推定必要量 | 余裕と適合率 | 実行コマンド |
|---|---|---|---|---|
| Flint 40B39.8B total / ~2.5B active | UD-IQ3_XXS | 16.3 GB | +7.7 GB · 148% | ollama run flint:40blms get "Flint 40B"@ud-iq3_xxs |
| NVIDIA Nemotron 3.5 Bolt E4B8B total / 4B effective | Q4_K_M | 8.0 GB | +16.0 GB · 302% | ollama run nemotron-3.5-bolt:e4blms get "NVIDIA Nemotron 3.5 Bolt E4B"@q4_k_m |
| LFM3-1.7B1.73B dense | Q8_0 | 3.4 GB | +20.6 GB · 696% | ollama run lfm3:1.7b-q8_0lms get "LFM3-1.7B"@q8_0 |
| Bonsai 227.36B dense / ternary | PQ2_0 | 9.2 GB | +14.8 GB · 260% | ollama run bonsai-2:27b |
| Qwen3.8 27B27B dense | Q4_K_M | 19.4 GB | +4.6 GB · 124% | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified11.95B dense | Q8_0 | 14.7 GB | +9.3 GB · 163% | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 E4B4.5B effective / 8B stored | Q8_0 | 11.0 GB | +13.0 GB · 219% | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| gpt-oss-20b21B total / 3.6B active | MXFP4 | 13.8 GB | +10.2 GB · 174% | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3 8B8.2B dense | Q8_0 | 11.6 GB | +12.4 GB · 207% | ollama run qwen3:8b-q8_0lms get "Qwen3 8B"@q8_0 |
| DeepSeek R1 8B8B dense | Q8_0 | 11.1 GB | +12.9 GB · 217% | ollama run deepseek-r1:8b-llama-distill-q8_0lms get "DeepSeek R1 8B"@q8_0 |
| Llama 3.2 3B3.2B dense | Q8_0 | 5.8 GB | +18.2 GB · 411% | ollama run llama3.2:3b-instruct-q8_0lms get "Llama 3.2 3B"@q8_0 |
| Phi-4 Mini3.8B dense | Q8_0 | 6.7 GB | +17.3 GB · 360% | ollama run phi4-mini:3.8b-q8_0lms get "Phi-4 Mini"@q8_0 |
| Mistral 7B7.2B dense | Q8_0 | 10.3 GB | +13.7 GB · 234% | ollama run mistral:7b-instruct-v0.3-q8_0lms get "Mistral 7B"@q8_0 |
| Gemma 3 4B4B dense | Q8_0 | 7.6 GB | +16.4 GB · 314% | ollama run gemma3:4b-it-q8_0lms get "Gemma 3 4B"@q8_0 |
ぎりぎり
ぎりぎり
| モデル | 推奨量子化 | 推定必要量 | 余裕と適合率 | 実行コマンド |
|---|---|---|---|---|
| Gemma 4 31B30.7B dense | Q4_K_M | 22.2 GB | +1.8 GB · 108% | ollama run gemma4:31b-it-q4_K_Mlms get "Gemma 4 31B"@q4_k_m |
量子化の感度
24GBで各量子化が収まるか
上位5モデルの公開量子化を同じ8K基準で計算しています。「動かない」は品質評価ではなく容量計算です。
| モデル | 推奨量子化 | 推定必要量 | 判定 | 余裕と適合率 | 実行コマンド |
|---|---|---|---|---|---|
| Qwen3.8 27B | Q8_0 | 32.0 GB | 収まらない | -8.0 GB | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
| Qwen3.8 27B | Q4_K_M | 19.4 GB | 余裕あり | +4.6 GB | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified | Q8_0 | 14.7 GB | 余裕あり | +9.3 GB | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 12B Unified | Q4_K_M | 9.2 GB | 余裕あり | +14.8 GB | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 12B Unified | Q4_0 | 9.1 GB | 余裕あり | +14.9 GB | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Gemma 4 E4B | Q8_0 | 11.0 GB | 余裕あり | +13.0 GB | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Gemma 4 E4B | Q4_K_M | 7.7 GB | 余裕あり | +16.3 GB | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Gemma 4 E4B | Q4_0 | 7.9 GB | 余裕あり | +16.1 GB | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| gpt-oss-20b | MXFP4 | 13.8 GB | 余裕あり | +10.2 GB | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B | Q8_0 | 39.5 GB | 収まらない | -15.5 GB | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
| Qwen3.6 35B-A3B | Q4_K_M | 24.7 GB | 収まらない | -0.7 GB | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Qwen3.6 35B-A3B | MXFP4 | 24.3 GB | 収まらない | -0.3 GB | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
低予算の環境改善
GPU買い替え前にボトルネックを解消するアクセサリ
Amazonの検索カテゴリであり、特定商品の価格や在庫を示すものではありません。購入前に実際のマシンとの互換性を確認してください。
モデル保存用 外付けNVMe SSD
大容量のGGUF／MLXファイルを起動ディスクから分離できます。読み込みは速くなりますが、推論に使えるメモリ容量は増えません。
Amazonで現在の出品を検索デスクトップPC用メモリ増設キット
MoEのCPUオフロードやOS用メモリの確保に役立ちます。マザーボードのメモリ規格、スロット構成、最大容量、動作確認済み型番に合わせてください。
Amazonで現在の出品を検索GPUサポートブラケット
大型3スロットGPUの荷重対策を低コストで行えます。クリアランス、取り付け高さ、ファンやケースパネルを妨げないか確認してください。
Amazonで現在の出品を検索As an Amazon Associate I earn from qualifying purchases. Amazonアソシエイトとして、適格な購入から収益を得ることがあります。リンクはスポンサー付き検索リンクで、購入価格は変わりません。 アフィリエイト開示.
FAQ
このVRAM容量についての質問。
24GB VRAMで余裕を持って動くモデルは？
8,192トークンのコンテキストでは、Flint 40B、NVIDIA Nemotron 3.5 Bolt E4B、LFM3-1.7B、Bonsai 2、Qwen3.8 27B、Gemma 4 12B Unified、Gemma 4 E4B、gpt-oss-20b、Qwen3 8B、DeepSeek R1 8B、Llama 3.2 3B、Phi-4 Mini、Mistral 7B、Gemma 3 4Bが20%の余裕基準を満たします。
なぜ24GBで「ぎりぎり」になるモデルがある？
ぎりぎりは、推定必要量が容量以上かつ容量の120%未満の状態です。現在はGemma 4 31Bが該当します。他のGPUアプリを閉じ、コンテキストを短くしてください。
表のコンテキスト長とメモリ計算は？
8,192トークンを基準に、公開重み、FP16 KVキャッシュ、1.5GBの実行時オーバーヘッドを加算しています。長いコンテキストでは必要量が増えます。
24GBで量子化を変えると結果はどう変わる？
同じ8K条件でも、低ビット化すると必要量が下がり、余裕ありやぎりぎりへ移動する場合があります。下の量子化表は上位5モデルの公開ファイルを個別に計算したもので、画質やバックエンド対応が同じになることを意味しません。
選んだモデルが24GBに収まらない場合は？
まず最小の公開量子化と短いコンテキストを試してください。それでも最低要件を満たさない場合は、小さいモデル、より大きな容量のGPU、またはユニファイドメモリの多いMacを比較します。外部SSDはモデル保存には使えますが、VRAMは増えません。