モデルガイド
プレリリース
Mistral Large 4 VRAM要件・GGUF互換性・ローカル運用ガイド
「mistral large 4 vram requirements」を調べているなら、Mistral Large 4 を自分の環境で現実的に運用できるかを判断したいはずです。このページでは重み、KVキャッシュ、ランタイムオーバーヘッドを分けて示します。
Mistral Large 4 は公開設定でおよそ 1,000,000 tokens まで扱えるため、量子化だけでなくコンテキスト設計も重要です。
検証ステータス: 一部検証済み. 参照スナップショット取得日: 2026-10-06。
プレリリース時点のメモリ計画メモ
一部アーキテクチャ項目は未公開です。現時点では公表パラメータ数から重みメモリのみを推定し、KVキャッシュは公式 config.json/model card 公開後に確定します。
KVキャッシュ: 公式 config.json 公開まで TBD
データ日付: 2026-10-07 / 2026-10-07 / 2026-10-07
VRAM / RAM 計算ツール
GPU VRAM、Apple統合メモリ、CPU/RAMオフロードを想定して、モデル適合性を比較できます。
カスタム Hugging Face モデルID / パラメータ（任意）
未知のrepo idの場合は手入力値で推定計算します。
| 量子化 | 重み | KV | Overhead | 合計 |
|---|---|---|---|---|
| FP16 / BF16 | 1,955.78 GiB | 4 GiB | 1.42 GiB | 1,961.2 GiB |
| INT8 / Q8_0 | 1,002.34 GiB | 4 GiB | 1.42 GiB | 1,007.76 GiB |
| Q6_K | 776.2 GiB | 4 GiB | 1.42 GiB | 781.62 GiB |
| Q5_K_M | 666.19 GiB | 4 GiB | 1.42 GiB | 671.61 GiB |
| Q4_K_M | 562.29 GiB | 4 GiB | 1.42 GiB | 567.71 GiB |
| Q3_K_M / Q3 | 427.83 GiB | 4 GiB | 1.42 GiB | 433.25 GiB |
| Q2_K / Q2 | 305.59 GiB | 4 GiB | 1.42 GiB | 311.01 GiB |
| ハードウェア | メモリ | 判定 | 推定 tok/s |
|---|---|---|---|
| NVIDIA GeForce RTX 4090 24GB | 24 GiB | 実行不可 | n/a (実行不可) |
| NVIDIA GeForce RTX 5090 32GB | 32 GiB | 実行不可 | n/a (実行不可) |
| NVIDIA GeForce RTX 4080 SUPER 16GB | 16 GiB | 実行不可 | n/a (実行不可) |
| NVIDIA GeForce RTX 4070 Ti SUPER 16GB | 16 GiB | 実行不可 | n/a (実行不可) |
| AMD Radeon RX 7900 XTX 24GB | 24 GiB | 実行不可 | n/a (実行不可) |
| NVIDIA A100 80GB PCIe | 80 GiB | 実行不可 | n/a (実行不可) |
| Apple Silicon M3 Max (128GB unified memory) | 128 GiB | 実行不可 | n/a (実行不可) |
| Apple Silicon M2 Ultra (192GB unified memory) | 192 GiB | 実行不可 | n/a (実行不可) |
| 2× NVIDIA GeForce RTX 4090 (aggregate) | 48 GiB | 実行不可 | n/a (実行不可) |
計算式と前提
- Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
- KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Runtime overhead = 1.3 GiB base + 3% of KV-cache memory.
- Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
- Apple Silicon fit checks use an estimated usable unified-memory budget (about 75% by default, about 68% on 16GB systems) aligned with macOS recommendedMaxWorkingSetSize behavior.
- Recommended quantization keeps at least 10% memory headroom relative to usable memory budget.
- CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
- When config values are unavailable, fallback defaults are used and flagged as estimated on the page.
量子化別プレリリース重みメモリ表
KVキャッシュ: 公式 config.json 公開まで TBD.
| 量子化 | 重み常駐のみ | 最小ランタイムメモリ（KV除く） |
|---|---|---|
| FP16 / BF16 | 1,955.78 GiB | 1,957.08 GiB |
| INT8 / Q8_0 | 1,002.34 GiB | 1,003.64 GiB |
| Q6_K | 776.2 GiB | 777.5 GiB |
| Q5_K_M | 666.19 GiB | 667.49 GiB |
| Q4_K_M | 562.29 GiB | 563.59 GiB |
| Q3_K_M / Q3 | 427.83 GiB | 429.13 GiB |
| Q2_K / Q2 | 305.59 GiB | 306.89 GiB |
どのGPU/Macで Mistral Large 4?
基準判定は Q4_K_M + 既定 context/batch。tok/s は帯域幅ベースの概算です。
NVIDIA GeForce RTX 4090 24GB
実行不可 (-543.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
NVIDIA GeForce RTX 5090 32GB
実行不可 (-535.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
NVIDIA GeForce RTX 4080 SUPER 16GB
実行不可 (-551.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
NVIDIA GeForce RTX 4070 Ti SUPER 16GB
実行不可 (-551.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
AMD Radeon RX 7900 XTX 24GB
実行不可 (-543.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
NVIDIA A100 80GB PCIe
実行不可 (-487.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
Apple Silicon M3 Max (128GB unified memory)
実行不可 (-471.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
Apple Silicon M2 Ultra (192GB unified memory)
実行不可 (-423.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
2× NVIDIA GeForce RTX 4090 (aggregate)
実行不可 (-519.71 GiB)
推定 n/a (実行不可)
推奨量子化: 該当量子化で適合なし
基準条件で実行可能なデバイス: なし.
デプロイスニペット: Mistral Large 4
CPU/RAMオフロード: llama.cpp などで一部レイヤーをシステムRAMに逃がせますが、速度低下が発生しやすいです。
Mistral Large 4 詳細解説
Mistral Large 4 のVRAM/RAM計画の全体像
「mistral large 4 vram requirements」を調べる人の多くは、ローカル運用が現実的かどうかを短時間で判断したいはずです。本ページでは重み常駐、KVキャッシュ、ランタイムオーバーヘッドを分けて提示します。
Mistral Large 4 はアーキテクチャ特性（層数、KVヘッド、head_dim）で必要メモリが大きく変わります。MoEの場合、常駐メモリは total params 側、デコード効率は active params 側で見るのが実務的です。
量子化で Mistral Large 4 の必要メモリはどう変わるか
量子化は最も効く調整項目です。Q4_K_Mを起点に、品質要件が高ければQ5/Q6へ、まず動作確認を優先するならQ3以下へ段階的に下げるのが安全です。
コンテキスト長・KVキャッシュ・実運用でのメモリ増加
コンテキスト長はメモリ消費を急増させます。最初から最大値を狙うより、実プロンプトで安定する長さを基準にし、必要な場面だけ拡張する方が失敗が少ないです。
GPU VRAM と Mac統合メモリの適合戦略
ハードウェアは容量と帯域の両方で評価してください。容量は「載るか」、帯域は「使って気持ちよい速度か」を決めます。
ローカル運用フロー（Ollama / llama.cpp / vLLM / ComfyUI）
Ollamaは導入が速く、llama.cppはオフロード制御が柔軟、vLLMはAPI運用向けです。画像/動画系はVAEや解像度による追加メモリも見積もる必要があります。
OOM とスループット不安定時の切り分け
OOM時は最小条件で再現→段階的に負荷増加が基本です。VRAM不足時はCPU/RAMオフロードで回避可能ですが、遅延とスループット低下は前提として見込んでください。
Mistral Large 4 の設定を実運用に合わせて選ぶ方法
最終的な設定は実ワークロードで決めるのが安全です。許容品質を先に定義し、安定して余裕が残る量子化を選ぶ方が、限界ギリギリ構成より再現性が高くなります。
FAQ: Mistral Large 4
Mistral Large 4 は実際にどれくらいのメモリが必要ですか？
量子化・コンテキスト長・ランタイムオーバーヘッドで変わります。表の値に加えて10〜20%の余裕を推奨します。
Mistral Large 4 では VRAM と統合メモリ、CPU/RAMオフロードのどれを優先すべきですか？
まず安定して常駐できる構成を確保し、その後に速度を最適化するのが安全です。
Mistral Large 4 の初期量子化は何がよいですか？
多くのケースで Q4_K_M が出発点として実用的です。
データソースと検証メモ
- Mistral official launch post (取得日 2026-10-07)
- Mistral Large 4 official docs (取得日 2026-10-07)
- Hugging Face upcoming release page (取得日 2026-10-07)
Official docs report 1.05T total and 52B active parameters (announcement post also cites 49B active excluding embeddings/output layers).