見積り精度はどの程度ですか？
計画用途の推定値です。重み・KV・Overhead を分離し、前提を確認しやすくしています。
LLMRAM: AIモデル VRAM / RAM 計算ツール
この計算ツールは「このモデルをローカルで動かせるか？」を事前に判断するためのものです。モデル、量子化、コンテキスト長、バッチを設定し、NVIDIA / AMD / Apple Silicon / CPU-RAMオフロードを横断して適合性を比較できます。
VRAM / RAM 計算ツール
GPU VRAM、Apple統合メモリ、CPU/RAMオフロードを想定して、モデル適合性を比較できます。
カスタム Hugging Face モデルID / パラメータ（任意）
未知のrepo idの場合は手入力値で推定計算します。
| 量子化 | 重み | KV | Overhead | 合計 |
|---|---|---|---|---|
| FP16 / BF16 | 50.29 GiB | 4 GiB | 3.74 GiB | 58.03 GiB |
| INT8 / Q8_0 | 25.77 GiB | 4 GiB | 2.78 GiB | 32.56 GiB |
| Q6_K | 19.96 GiB | 4 GiB | 2.52 GiB | 26.48 GiB |
| Q5_K_M | 17.13 GiB | 4 GiB | 2.43 GiB | 23.56 GiB |
| Q4_K_M | 14.46 GiB | 4 GiB | 2.46 GiB | 20.91 GiB |
| Q3_K_M / Q3 | 11 GiB | 4 GiB | 2.26 GiB | 17.26 GiB |
| Q2_K / Q2 | 7.86 GiB | 4 GiB | 1.98 GiB | 13.84 GiB |
| ハードウェア | メモリ | 判定 | 推定 tok/s |
|---|---|---|---|
| NVIDIA GeForce RTX 4090 24GB | 24 GiB | 実行可能 | 37.26 |
| NVIDIA GeForce RTX 5090 32GB | 32 GiB | 実行可能 | 66.25 |
| NVIDIA GeForce RTX 4080 SUPER 16GB | 16 GiB | 実行不可 | 27.21 |
| NVIDIA GeForce RTX 4070 Ti SUPER 16GB | 16 GiB | 実行不可 | 24.84 |
| AMD Radeon RX 7900 XTX 24GB | 24 GiB | 実行可能 | 35.49 |
| NVIDIA A100 80GB PCIe | 80 GiB | 実行可能 | 71.54 |
| Apple Silicon M3 Max (128GB unified memory) | 128 GiB | 実行可能 | 12.61 |
| Apple Silicon M2 Ultra (192GB unified memory) | 192 GiB | 実行可能 | 25.23 |
| 2× NVIDIA GeForce RTX 4090 (aggregate) | 48 GiB | 実行可能 | 67.06 |
計算式と前提
- Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
- KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Runtime overhead includes allocator fragmentation, kernels, and framework buffers.
- Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
- CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
- When config values are unavailable, fallback defaults are used and flagged as estimated on the page.
人気モデルページ
VRAM・統合メモリ・RAMオフロードの計算前提
- 重みメモリ = 常駐パラメータ × 実効ビット幅 / 8（GiB）。
- MoEでは重み常駐は total params、active params は主にスループット見積りに使用。
- KV Cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch。
- Overhead には断片化・ランタイムバッファ・フレームワーク予約を含む。
- tokens/sec は帯域幅ベースの概算値。
- CPU/RAM オフロードはVRAMを節約できるが、遅延とスループットに影響する。
- Mac統合メモリも一次ターゲットとして扱う。
よくある質問
MoEモデルに対応していますか？
はい。常駐メモリは total params、デコード速度見積りは active params を主に使用します。
新モデルはすぐ追加できますか？
可能です。Hugging Face の config.json から型付きエントリを生成するスクリプトがあります。