Wie genau sind die Schätzungen?
Planungsnahe Schätzwerte, keine Laufzeitgarantie. Annahmen sind transparent in Gewichte, KV und Overhead getrennt.
LLMRAM: AI-Modell VRAM- & RAM-Rechner
Mit diesem Rechner klären Sie früh, ob ein Modell lokal läuft. Wählen Sie Modell, Quantisierung, Kontextlänge und Batchgröße und vergleichen Sie die Eignung über NVIDIA, AMD, Apple Silicon Unified Memory und CPU/RAM-Offload.
VRAM / RAM Rechner
Vergleichen Sie Eignung für GPU-VRAM, Apple Unified Memory und CPU/RAM-Offload.
Eigenes Hugging Face Modell / Parameter (optional)
Wenn die Repo-ID unbekannt ist, nutzt der Rechner Ihre Werte als Schätzung.
| Quant | Gewichte | KV | Overhead | Gesamt |
|---|---|---|---|---|
| FP16 / BF16 | 50.29 GiB | 4 GiB | 3.74 GiB | 58.03 GiB |
| INT8 / Q8_0 | 25.77 GiB | 4 GiB | 2.78 GiB | 32.56 GiB |
| Q6_K | 19.96 GiB | 4 GiB | 2.52 GiB | 26.48 GiB |
| Q5_K_M | 17.13 GiB | 4 GiB | 2.43 GiB | 23.56 GiB |
| Q4_K_M | 14.46 GiB | 4 GiB | 2.46 GiB | 20.91 GiB |
| Q3_K_M / Q3 | 11 GiB | 4 GiB | 2.26 GiB | 17.26 GiB |
| Q2_K / Q2 | 7.86 GiB | 4 GiB | 1.98 GiB | 13.84 GiB |
| Hardware | Speicher | Urteil | Tok/s (geschätzt) |
|---|---|---|---|
| NVIDIA GeForce RTX 4090 24GB | 24 GiB | Passt | 37.26 |
| NVIDIA GeForce RTX 5090 32GB | 32 GiB | Passt | 66.25 |
| NVIDIA GeForce RTX 4080 SUPER 16GB | 16 GiB | Passt nicht | 27.21 |
| NVIDIA GeForce RTX 4070 Ti SUPER 16GB | 16 GiB | Passt nicht | 24.84 |
| AMD Radeon RX 7900 XTX 24GB | 24 GiB | Passt | 35.49 |
| NVIDIA A100 80GB PCIe | 80 GiB | Passt | 71.54 |
| Apple Silicon M3 Max (128GB unified memory) | 128 GiB | Passt | 12.61 |
| Apple Silicon M2 Ultra (192GB unified memory) | 192 GiB | Passt | 25.23 |
| 2× NVIDIA GeForce RTX 4090 (aggregate) | 48 GiB | Passt | 67.06 |
Formeln und Annahmen
- Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
- KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Runtime overhead includes allocator fragmentation, kernels, and framework buffers.
- Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
- CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
- When config values are unavailable, fallback defaults are used and flagged as estimated on the page.
Beliebte Modellseiten
Hardware-Seiten
Methodik für VRAM, Unified Memory und RAM-Offload
- Gewichtsspeicher = residente Parameter × effektive Bits / 8 (GiB).
- Bei MoE: Gewichtsresidenz nach total params, active params primär für Durchsatzschätzung.
- KV-Cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Overhead umfasst Fragmentierung, Runtime-Puffer und Framework-Reservierungen.
- tokens/sec ist eine bandbreitenbasierte Näherung.
- CPU/RAM-Offload kann VRAM sparen, kostet aber meist Latenz/Tempo.
- Mac Unified Memory wird als gleichwertiges Ziel betrachtet.
FAQ
Werden MoE-Modelle unterstützt?
Ja. Speicher-Fit orientiert sich an total params, Durchsatz eher an active params.
Kann ich neue Modelle schnell ergänzen?
Ja. Ein Script liest Hugging Face config.json und erzeugt einen typisierten Modelleintrag.