NVIDIA GeForce RTX 4080 SUPER 16GB: ローカルAIで何が動く？
“NVIDIA GeForce RTX 4080 SUPER 16GB で何が動くか” を調べている方向けに、現実的な判断材料を示します。既定Q4_K_Mで主要モデルを比較し、適合可否を素早く把握できます。
- メモリ種別: 専用VRAM
- 総メモリ: 16 GiB
- 帯域幅: 736 GB/s
- 計画のヒント: MoE/マルチモーダルはランタイム差が大きいため、余裕を持った見積りを推奨します。
NVIDIA GeForce RTX 4080 SUPER 16GB ローカルAIで何が動く？
前提: 各モデルは既定 context/batch + Q4_K_M。詳細チューニングはモデルページで確認してください。
| モデル | 推定合計 | 判定 | tok/s概算 | 推奨量子化 |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | 実行不可 | 32.24 | q2_k |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | 実行不可 | 145.07 | 適合なし |
| MiniMax H3 33B | 22.45 GiB | 実行不可 | 26.38 | q2_k |
| Qwen Image 2.1 | 5.38 GiB | 実行可能 | 124.34 | fp16 |
| Kimi K3 | 1,823.65 GiB | 実行不可 | 8.37 | 適合なし |
| GLM 5.3 (Flash) | 215.7 GiB | 実行不可 | 48.36 | 適合なし |
| DeepSeek V4.1 Flash | 334.25 GiB | 実行不可 | 54.4 | 適合なし |
| MiMo V2.6 Pro RL | 625.89 GiB | 実行不可 | 20.72 | 適合なし |
| Bonsai 2 27B | 21.13 GiB | 実行不可 | 31.81 | q2_k |
| Mistral 7B Instruct v0.3 | 5.83 GiB | 実行可能 | 124.34 | fp16 |
結論: NVIDIA GeForce RTX 4080 SUPER 16GB?
NVIDIA GeForce RTX 4080 SUPER 16GB は既定Q4_K_Mで 10件中 2件を実行可能です。非適合モデルには低ビット候補を提示します。
MoE/マルチモーダルはランタイム差が大きいため、余裕を持った見積りを推奨します。
よくある質問
NVIDIA GeForce RTX 4080 SUPER 16GB でローカル実行できるモデルは？
まずQ4_K_Mの基準表で適合可否を確認し、長文脈やマルチモーダル用途では追加余裕を見込んでください。
CPU/RAMオフロードは反映されていますか？
表は基本的に常駐前提です。CPU/RAMオフロードで読み込める範囲は広がりますが、速度低下が起きやすいです。
Mac統合メモリはどう評価すべきですか？
統合メモリは一次対象として扱っていますが、体感速度は帯域幅と実装品質にも左右されます。
ソースと検証
ハードウェア仕様ソース: NVIDIA product page (取得日 2026-10-06).