VRAM-Guides · LocalLM Fit
Lokale KI-Modelle für 8 GB VRAM
Acht Gigabyte sind eine sehr enge Stufe. Kleine Modelle passen mit brauchbarer Reserve; die meisten 20B-Pakete nicht. Dieser Guide bevorzugt ehrliche Kompatibilität statt großer Modellnamen.
Berechnungsbasis: 8.192 Token, veröffentlichte Gewichte + KV-Cache + 1,5 GB Overhead. Komfortabel bedeutet mindestens 20 % Reserve. Alle Schwellenwerte und Quellen ansehen.
Komfortabel
8 GB · Komfortabel
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|
| LFM3-1.7B1.73B dense | Q8_0 | 3.4 GB | +4.6 GB · 232% | ollama run lfm3:1.7b-q8_0lms get "LFM3-1.7B"@q8_0 |
| Llama 3.2 3B3.2B dense | Q8_0 | 5.8 GB | +2.2 GB · 137% | ollama run llama3.2:3b-instruct-q8_0lms get "Llama 3.2 3B"@q8_0 |
| Phi-4 Mini3.8B dense | Q4_K_M | 5.1 GB | +2.9 GB · 158% | ollama run phi4-mini:3.8b-q4_K_Mlms get "Phi-4 Mini"@q4_k_m |
| Gemma 3 4B4B dense | Q4_K_M | 6.0 GB | +2.0 GB · 132% | ollama run gemma3:4b-it-q4_K_Mlms get "Gemma 3 4B"@q4_k_m |
Knapp
Knapp
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|
| NVIDIA Nemotron 3.5 Bolt E4B8B total / 4B effective | Q4_K_M | 8.0 GB | +0.0 GB · 101% | ollama run nemotron-3.5-bolt:e4blms get "NVIDIA Nemotron 3.5 Bolt E4B"@q4_k_m |
| Bonsai 227.36B dense / ternary | PTQ1_0 | 8.0 GB | +0.0 GB · 100% | ollama run bonsai-2:27b |
| Gemma 4 E4B4.5B effective / 8B stored | Q4_K_M | 7.7 GB | +0.3 GB · 103% | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Qwen3 8B8.2B dense | Q4_K_M | 7.9 GB | +0.1 GB · 101% | ollama run qwen3:8b-q4_K_Mlms get "Qwen3 8B"@q4_k_m |
| DeepSeek R1 8B8B dense | Q4_K_M | 7.5 GB | +0.5 GB · 107% | ollama run deepseek-r1:8b-llama-distill-q4_K_Mlms get "DeepSeek R1 8B"@q4_k_m |
| Mistral 7B7.2B dense | Q4_K_M | 7.0 GB | +1.0 GB · 115% | ollama run mistral:7b-instruct-v0.3-q4_K_Mlms get "Mistral 7B"@q4_k_m |
Quantisierungsempfindlichkeit
Wie die Quantisierungen bei 8 GB abschneiden
Die veröffentlichten Quantisierungen der fünf wichtigsten Modelle werden mit derselben 8K-Basis berechnet. „Passt nicht“ ist keine Qualitätsbewertung.
| Modell | Empfohlene Quantisierung | Geschätzter Bedarf | Passung | Reserve und Verhältnis | Startbefehl |
|---|---|---|---|---|---|
| Qwen3.8 27B | Q8_0 | 32.0 GB | Passt nicht | -24.0 GB | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
| Qwen3.8 27B | Q4_K_M | 19.4 GB | Passt nicht | -11.4 GB | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Gemma 4 12B Unified | Q8_0 | 14.7 GB | Passt nicht | -6.7 GB | ollama run gemma4:12b-it-q8_0lms get "Gemma 4 12B Unified"@q8_0 |
| Gemma 4 12B Unified | Q4_K_M | 9.2 GB | Passt nicht | -1.2 GB | ollama run gemma4:12b-it-q4_K_Mlms get "Gemma 4 12B Unified"@q4_k_m |
| Gemma 4 12B Unified | Q4_0 | 9.1 GB | Passt nicht | -1.1 GB | ollama run gemma4:12b-it-qatlms get "Gemma 4 12B Unified"@q4_0 |
| Gemma 4 E4B | Q8_0 | 11.0 GB | Passt nicht | -3.0 GB | ollama run gemma4:e4b-it-q8_0lms get "Gemma 4 E4B"@q8_0 |
| Gemma 4 E4B | Q4_K_M | 7.7 GB | Knapp | +0.3 GB | ollama run gemma4:e4b-it-q4_K_Mlms get "Gemma 4 E4B"@q4_k_m |
| Gemma 4 E4B | Q4_0 | 7.9 GB | Knapp | +0.1 GB | ollama run gemma4:e4b-it-qatlms get "Gemma 4 E4B"@q4_0 |
| gpt-oss-20b | MXFP4 | 13.8 GB | Passt nicht | -5.8 GB | ollama run gpt-oss:20blms get "gpt-oss-20b"@mxfp4 |
| Qwen3.6 35B-A3B | Q8_0 | 39.5 GB | Passt nicht | -31.5 GB | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
| Qwen3.6 35B-A3B | Q4_K_M | 24.7 GB | Passt nicht | -16.7 GB | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Qwen3.6 35B-A3B | MXFP4 | 24.3 GB | Passt nicht | -16.3 GB | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
Günstige Setup-Upgrades
Zubehör, das den Engpass vor einem GPU-Upgrade löst
Dies sind allgemeine Amazon-Suchkategorien, keine Live-Aussagen zu Produkten oder Preisen. Kompatibilität vor dem Kauf mit dem exakten Rechner prüfen.
Externe NVMe-SSD für Modelldateien
Lagert große GGUF- und MLX-Dateien außerhalb der Systemplatte aus. Schnellerer Speicher verkürzt Ladezeiten, vergrößert aber nicht den Arbeitsspeicher für die Inferenz.
Aktuelle Angebote auf Amazon suchenDesktop-RAM-Upgrade-Kit
Hilft beim CPU-Offload von MoE-Modellen und hält das Betriebssystem aus dem VRAM. Speichertyp, Slots, Maximalkapazität und geprüfte Teilenummern des Mainboards beachten.
Aktuelle Angebote auf Amazon suchenGPU-Stützhalterung
Eine günstige mechanische Entlastung für schwere Drei-Slot-Karten. Freiraum, Bauhöhe und mögliche Kollisionen mit Lüftern oder Seitenteilen prüfen.
Aktuelle Angebote auf Amazon suchenAs an Amazon Associate I earn from qualifying purchases. Als Amazon-Associate verdiene ich an qualifizierten Käufen. Die Links sind gesponserte Suchlinks; der Kaufpreis ändert sich dadurch nicht. Affiliate-Hinweis.
FAQ
Fragen zu dieser VRAM-Stufe.
Welche Modelle laufen mit 8 GB VRAM komfortabel?
Bei 8.192 Token Kontext erreichen LFM3-1.7B, Llama 3.2 3B, Phi-4 Mini, Gemma 3 4B die 20-%-Komfortschwelle.
Warum sind manche Modelle bei 8 GB nur knapp?
Knapp bedeutet: Der geschätzte Bedarf liegt über der Kapazität, aber unter 120 % davon. Aktuell betrifft das NVIDIA Nemotron 3.5 Bolt E4B, Bonsai 2, Gemma 4 E4B, Qwen3 8B, DeepSeek R1 8B, Mistral 7B. Schließe andere GPU-Anwendungen und verkürze den Kontext.
Welche Kontextlänge und Speicherformel gelten?
Die Tabelle nutzt 8.192 Token, veröffentlichte Gewichte, einen FP16-KV-Cache und 1,5 GB Laufzeit-Overhead. Längerer Kontext erhöht den Bedarf.
Wie verändert die Quantisierung das Ergebnis bei 8 GB?
Bei gleichem 8K-Kontext kann eine niedrigere Bitbreite den Bedarf senken und ein Modell von „passt nicht“ zu „knapp“ oder „komfortabel“ verschieben. Die Quantisierungstabelle berechnet die veröffentlichten Dateien der fünf wichtigsten Modelle einzeln; sie garantiert nicht dieselbe Qualität oder Backend-Unterstützung.
Was tun, wenn das gewünschte Modell nicht in 8 GB passt?
Zuerst die kleinste veröffentlichte Quantisierung und einen kürzeren Kontext testen. Reicht das nicht, ein kleineres Modell, eine GPU mit mehr VRAM oder einen Mac mit mehr Unified Memory vergleichen. Eine externe SSD speichert Modelldateien, erhöht aber nicht den VRAM.