VRAM-Guides
Alle Guides verwenden dieselbe 8K-Kontextbasis. Komfortable und knappe Ergebnisse sind getrennt, damit ein gerade noch ladendes Modell nicht als saubere Passung verkauft wird.
Berechnungsbasis: 8.192 Token, veröffentlichte Gewichte + KV-Cache + 1,5 GB Overhead. Komfortabel bedeutet mindestens 20 % Reserve. Alle Schwellenwerte und Quellen ansehen.
8 GB
Acht Gigabyte sind eine sehr enge Stufe. Kleine Modelle passen mit brauchbarer Reserve; die meisten 20B-Pakete nicht. Dieser Guide bevorzugt ehrliche Kompatibilität statt großer Modellnamen.
12 GB
Zwölf Gigabyte öffnen die Tür zu kompakten 8B-Modellen und einigen effizienten MoE-Paketen. Der Unterschied zwischen sauberer Passung und Auslagerung in den Desktop-Speicher ist jedoch klein.
16 GB
Sechzehn Gigabyte sind die erste breit nutzbare Enthusiasten-Stufe. Mehrere moderne 12B-Modelle passen sauber; bei 20B bis 35B entscheiden Quantisierung und Kontext.
24 GB
Vierundzwanzig Gigabyte ermöglichen größere Dense-Modelle und mehrere effiziente MoE-Pakete, ohne sofort auf CPU-Speicher ausweichen zu müssen. Eine praktische Workstation-Stufe.
32 GB
Zweiunddreißig Gigabyte sind eine Premium-Stufe, in der die Qualität der Quantisierung zum wichtigsten Kompromiss wird. Viele Modelle passen darunter; die Reserve eignet sich für Kontext oder zukünftige Modelle.
8.192 tokens · Hardware