NVIDIA GeForce RTX 4090 24GB: ローカルAIで何が動く？
“NVIDIA GeForce RTX 4090 24GB で何が動くか” を調べている方向けに、現実的な判断材料を示します。既定Q4_K_Mで主要モデルを比較し、適合可否を素早く把握できます。
- メモリ種別: 専用VRAM
- 総メモリ: 24 GiB
- 帯域幅: 1,008 GB/s
- 計画のヒント: MoE/マルチモーダルはランタイム差が大きいため、余裕を持った見積りを推奨します。
NVIDIA GeForce RTX 4090 24GB ローカルAIで何が動く？
前提: 各モデルは既定 context/batch + Q4_K_M。詳細チューニングはモデルページで確認してください。
| モデル | 推定合計 | 判定 | tok/s概算 | 推奨量子化 |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | 実行可能 | 44.15 | q5_k_m |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | 実行不可 | 198.68 | 適合なし |
| MiniMax H3 33B | 22.45 GiB | 実行可能 | 36.12 | q4_k_m |
| Qwen Image 2.1 | 5.38 GiB | 実行可能 | 170.3 | fp16 |
| Kimi K3 | 1,823.65 GiB | 実行不可 | 11.46 | 適合なし |
| GLM 5.3 (Flash) | 215.7 GiB | 実行不可 | 66.23 | 適合なし |
| DeepSeek V4.1 Flash | 334.25 GiB | 実行不可 | 74.5 | 適合なし |
| MiMo V2.6 Pro RL | 625.89 GiB | 実行不可 | 28.38 | 適合なし |
| Bonsai 2 27B | 21.13 GiB | 実行可能 | 43.57 | q5_k_m |
| Mistral 7B Instruct v0.3 | 5.83 GiB | 実行可能 | 170.3 | fp16 |
結論: NVIDIA GeForce RTX 4090 24GB?
NVIDIA GeForce RTX 4090 24GB は既定Q4_K_Mで 10件中 5件を実行可能です。非適合モデルには低ビット候補を提示します。
MoE/マルチモーダルはランタイム差が大きいため、余裕を持った見積りを推奨します。
よくある質問
NVIDIA GeForce RTX 4090 24GB でローカル実行できるモデルは？
まずQ4_K_Mの基準表で適合可否を確認し、長文脈やマルチモーダル用途では追加余裕を見込んでください。
CPU/RAMオフロードは反映されていますか？
表は基本的に常駐前提です。CPU/RAMオフロードで読み込める範囲は広がりますが、速度低下が起きやすいです。
Mac統合メモリはどう評価すべきですか？
統合メモリは一次対象として扱っていますが、体感速度は帯域幅と実装品質にも左右されます。
ソースと検証
ハードウェア仕様ソース: NVIDIA product page (取得日 2026-10-06).