Modelle
Qwen3.8 27B lokal: Speicher und Grenzen
Alibaba Cloud · Apache 2.0 · Zuletzt geprüft
Qwen3.8 27B ist ein Dense-Modell. Auch quantisiert müssen die Gewichte für alle 27B gespeichert werden. Anders als bei einem MoE mit kleinem aktivem Pfad bestimmt die volle Gewichtsmenge die Kapazität.
Was dieses Modell ist
Auf einer 24-GB-GPU ist es je nach Quantisierung und Kontext knapp; ab 32 GB gibt es mehr Spielraum. Ein längerer Kontext erhöht den KV-Cache und kann die Bewertung verändern.
Veröffentlichte Quantisierungsdateien
| Empfohlene Quantisierung | Gewichtsdateien | 8K | GPU | Mac | Kontext auf kleinster GPU / Mac | Geschwindigkeit | Beispielbefehle |
|---|---|---|---|---|---|---|---|
| Q4_K_M | 17.39 GB | 19.4 GB | NVIDIA GeForce RTX 4090 24GB | Apple Mac mini M4 24GB | 77.937 / 77.937 | Schätzung · Heavy relative class | ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m |
| Q8_0 | 29.98 GB | 32.0 GB | NVIDIA RTX 6000 Ada 48GB | Apple Mac mini M4 Pro 48GB | 252.137 / 252.137 | Schätzung · Heavy relative class | ollama run qwen3.8:27b-q8_0lms get "Qwen3.8 27B"@q8_0 |
Kompatibilität auf einem repräsentativen Rechner
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 Token
At least 20% memory headroom remains after weights, KV cache, and runtime overhead.
Beispielbefehle
ollama run qwen3.8:27b-q4_K_Mlms get "Qwen3.8 27B"@q4_k_m
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf Qwen/Qwen3.8-27B -c 8192 -ngl 99 -p "Your prompt"mlx_lm.generate --model Qwen/Qwen3.8-27B --prompt "Your prompt" --max-tokens 8192Unterstützte Runtimes
- ollama
- llama.cpp
- mlx
- vllm
FAQ
Vor dem Download
Wie groß ist die kleinste Datei von Qwen3.8 27B?
Die kleinste veröffentlichte Quantisierung ist Q4_K_M mit etwa 17.39 GB. Zur Laufzeit kommen KV-Cache und etwa 1,5 GB Overhead hinzu.
Spart MoE Speicher?
MoE reduziert die Rechenarbeit pro Token, aber die vollständigen Gewichte müssen gespeichert werden. Dieses Modell ist Dense; alle Gewichte werden benötigt.
Was sollte ich vor dem Download prüfen?
Prüfe die tatsächlich verwendete Quantisierung, Kontextlänge und Backend-Unterstützung. Die Schätzung ist kein Benchmark, sondern eine konservative Rechnung aus öffentlichen Daten.
Welche GPU oder welcher Mac ist für Qwen3.8 27B bei 8K komfortabel?
Q4_K_M benötigt etwa 19.4 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 4090 24GB beziehungsweise Apple Mac mini M4 24GB. Q8_0 benötigt etwa 32.0 GB; die kleinsten Katalogkandidaten sind NVIDIA RTX 6000 Ada 48GB beziehungsweise Apple Mac mini M4 Pro 48GB.
Was sollte ich tun, wenn es nicht passt?
Zuerst die kleinste Quantisierung und einen kürzeren Kontext wählen. Reicht das nicht, mit kleineren Modellen wie gpt-oss-20b, Qwen3.6 35B-A3B, Gemma 4 12B Unified vergleichen. Eine externe SSD speichert Dateien, erhöht aber nicht den Inferenzspeicher.