Modelle
Qwen3.6 35B-A3B lokal ausführen
Alibaba Cloud · Apache 2.0 · Zuletzt geprüft
Qwen3.6 35B-A3B speichert 35B Gewichte, aktiviert aber nur einen Pfad von etwa 3B pro Token. Die Kapazitätsplanung richtet sich nach den 35B; die Geschwindigkeitsklasse eher nach den aktiven Parametern.
Was dieses Modell ist
Für Bild- und Videoeingaben benötigt das GGUF-Paket zusätzlich den multimodalen Projektor. Experten können in den RAM ausgelagert werden, was aber deutlich langsamer ist als eine vollständige Unterbringung im VRAM.
Qwen reports 35B total parameters and 3B activated parameters, with 8 routed experts plus 1 shared expert per token.
Veröffentlichte Quantisierungsdateien
| Empfohlene Quantisierung | Gewichtsdateien | 8K | GPU | Mac | Kontext auf kleinster GPU / Mac | Geschwindigkeit | Beispielbefehle |
|---|---|---|---|---|---|---|---|
| MXFP4 | 22.61 GB | 24.3 GB | NVIDIA GeForce RTX 5090 32GB | Apple Mac mini M4 Pro 48GB | 262.144 / 262.144 | Schätzung · Fast relative class | ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4 |
| Q4_K_M | 23.03 GB | 24.7 GB | NVIDIA GeForce RTX 5090 32GB | Apple Mac mini M4 Pro 48GB | 262.144 / 262.144 | Schätzung · Fast relative class | ollama run qwen3.6:35b-a3b-q4_K_Mlms get "Qwen3.6 35B-A3B"@q4_k_m |
| Q8_0 | 37.80 GB | 39.5 GB | NVIDIA RTX 6000 Ada 48GB | Apple Mac mini M4 Pro 48GB | 262.144 / 262.144 | Schätzung · Fast relative class | ollama run qwen3.6:35b-a3b-q8_0lms get "Qwen3.6 35B-A3B"@q8_0 |
Kompatibilität auf einem repräsentativen Rechner
NVIDIA GeForce RTX 4090 · 24 GB · 24 GB VRAM · 8,192 Token
The estimate is below the minimum memory requirement. Choose a smaller model, a lower-bit quantization, or a machine with more usable memory.
Beispielbefehle
ollama run qwen3.6:35b-a3blms get "Qwen3.6 35B-A3B"@mxfp4
lms load <model-key-from-lms-ls> --gpu max --context-length 8192llama-cli -hf Qwen/Qwen3.6-35B-A3B -c 8192 -ngl 99 -p "Your prompt"mlx_lm.generate --model Qwen/Qwen3.6-35B-A3B --prompt "Your prompt" --max-tokens 8192Unterstützte Runtimes
- ollama
- llama.cpp
- mlx
- vllm
FAQ
Vor dem Download
Wie groß ist die kleinste Datei von Qwen3.6 35B-A3B?
Die kleinste veröffentlichte Quantisierung ist MXFP4 mit etwa 22.61 GB. Zur Laufzeit kommen KV-Cache und etwa 1,5 GB Overhead hinzu.
Spart MoE Speicher?
MoE reduziert die Rechenarbeit pro Token, aber die vollständigen Gewichte müssen gespeichert werden. Experten können in den RAM ausgelagert werden, was langsamer ist.
Was sollte ich vor dem Download prüfen?
Prüfe die tatsächlich verwendete Quantisierung, Kontextlänge und Backend-Unterstützung. Die Schätzung ist kein Benchmark, sondern eine konservative Rechnung aus öffentlichen Daten.
Welche GPU oder welcher Mac ist für Qwen3.6 35B-A3B bei 8K komfortabel?
MXFP4 benötigt etwa 24.3 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 5090 32GB beziehungsweise Apple Mac mini M4 Pro 48GB. Q4_K_M benötigt etwa 24.7 GB; die kleinsten Katalogkandidaten sind NVIDIA GeForce RTX 5090 32GB beziehungsweise Apple Mac mini M4 Pro 48GB. Q8_0 benötigt etwa 39.5 GB; die kleinsten Katalogkandidaten sind NVIDIA RTX 6000 Ada 48GB beziehungsweise Apple Mac mini M4 Pro 48GB.
Was sollte ich tun, wenn es nicht passt?
Zuerst die kleinste Quantisierung und einen kürzeren Kontext wählen. Reicht das nicht, mit kleineren Modellen wie gpt-oss-20b, Qwen3.8 27B, Gemma 4 12B Unified vergleichen. Eine externe SSD speichert Dateien, erhöht aber nicht den Inferenzspeicher.