VRAMガイド

実際に動かしたいモデルに合わせて容量を選ぶ。

すべて同じ8Kコンテキスト基準で計算しています。余裕のある結果とぎりぎりの結果を分け、単に読み込めるだけの構成を快適とは呼びません。

計算基準：8,192トークン、公開重み＋KVキャッシュ＋1.5 GBのオーバーヘッド。余裕ありは20%以上のヘッドルームを意味します。しきい値と出典を見る.

8 GB

8 GB · VRAMガイド

8GBは非常に厳しい容量です。小さいモデルなら実用的な余裕を持てますが、20B級の多くは収まりません。願望的なモデル名より、実際に動く構成を優先します。

12 GB

12GBなら小型の8B級モデルや効率的なMoEに手が届きますが、きれいに収まるか、デスクトップがメモリを押し出すかの差は小さいです。

16 GB

16GBは最初に実用性が見えてくる容量です。12B級なら余裕を持てますが、20B〜35B級は量子化とコンテキスト次第で結果が大きく変わります。

24 GB

24GBあれば、より大きなDenseモデルや効率的なMoEをCPUへ即時フォールバックせずに扱えます。ローカル実験用の実用的なワークステーション帯です。

32 GB

32GBは量子化の質が主なトレードオフになるプレミアム帯です。多くのモデルはこの容量以下で収まるため、余ったメモリはコンテキストや将来のモデルに回せます。