Гайд по модели
MiniMax H3 33B требования VRAM, совместимость GGUF и локальный деплой
Если вы ищете "minimax h3 requirements", скорее всего вы оцениваете, насколько MiniMax H3 33B реалистично запустить локально. Здесь расчёт разделён на веса, KV-cache и runtime-overhead для практичного выбора.
MiniMax H3 33B по опубликованным настройкам может масштабироваться примерно до 262,144 токенов, поэтому стратегия контекста важна не меньше квантизации.
Статус верификации: Частично проверено. Снимок источников: 2026-10-06.
Калькулятор VRAM / RAM
Сравнивайте сценарии для дискретной VRAM, unified memory Apple и CPU/RAM offload.
Пользовательский Hugging Face id / параметры (опционально)
Если repo id неизвестен, расчёт будет выполнен по вашим значениям как по оценке.
| Квант | Весы | KV | Overhead | Итого |
|---|---|---|---|---|
| FP16 / BF16 | 61.47 GiB | 2 GiB | 4.35 GiB | 67.82 GiB |
| INT8 / Q8_0 | 31.5 GiB | 2 GiB | 3.18 GiB | 36.68 GiB |
| Q6_K | 24.39 GiB | 2 GiB | 2.86 GiB | 29.25 GiB |
| Q5_K_M | 20.94 GiB | 2 GiB | 2.75 GiB | 25.69 GiB |
| Q4_K_M | 17.67 GiB | 2 GiB | 2.78 GiB | 22.45 GiB |
| Q3_K_M / Q3 | 13.45 GiB | 2 GiB | 2.54 GiB | 17.99 GiB |
| Q2_K / Q2 | 9.6 GiB | 2 GiB | 2.2 GiB | 13.8 GiB |
| Железо | Память | Вердикт | tok/s (оценка) |
|---|---|---|---|
| NVIDIA GeForce RTX 4090 24GB | 24 GiB | Подходит | 36.12 |
| NVIDIA GeForce RTX 5090 32GB | 32 GiB | Подходит | 64.22 |
| NVIDIA GeForce RTX 4080 SUPER 16GB | 16 GiB | Не подходит | 26.38 |
| NVIDIA GeForce RTX 4070 Ti SUPER 16GB | 16 GiB | Не подходит | 24.08 |
| AMD Radeon RX 7900 XTX 24GB | 24 GiB | Подходит | 34.4 |
| NVIDIA A100 80GB PCIe | 80 GiB | Подходит | 69.34 |
| Apple Silicon M3 Max (128GB unified memory) | 128 GiB | Подходит | 12.23 |
| Apple Silicon M2 Ultra (192GB unified memory) | 192 GiB | Подходит | 24.45 |
| 2× NVIDIA GeForce RTX 4090 (aggregate) | 48 GiB | Подходит | 65.01 |
Формулы и допущения
- Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
- KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Runtime overhead includes allocator fragmentation, kernels, and framework buffers.
- Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
- CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
- When config values are unavailable, fallback defaults are used and flagged as estimated on the page.
MiniMax H3 33B VRAM / RAM по квантизации
Базовый режим использует стандартные context и batch для модели.
| Квант | Весы | KV | Overhead | Итого |
|---|---|---|---|---|
| FP16 / BF16 | 61.47 GiB | 2 GiB | 4.35 GiB | 67.82 GiB |
| INT8 / Q8_0 | 31.5 GiB | 2 GiB | 3.18 GiB | 36.68 GiB |
| Q6_K | 24.39 GiB | 2 GiB | 2.86 GiB | 29.25 GiB |
| Q5_K_M | 20.94 GiB | 2 GiB | 2.75 GiB | 25.69 GiB |
| Q4_K_M | 17.67 GiB | 2 GiB | 2.78 GiB | 22.45 GiB |
| Q3_K_M / Q3 | 13.45 GiB | 2 GiB | 2.54 GiB | 17.99 GiB |
| Q2_K / Q2 | 9.6 GiB | 2 GiB | 2.2 GiB | 13.8 GiB |
Какие GPU и Mac могут запускать MiniMax H3 33B?
Базовый вердикт на Q4_K_M и дефолтных context/batch. tok/s — приблизительная оценка.
NVIDIA GeForce RTX 4090 24GB
Подходит (1.55 GiB)
Оценка 36.12 tokens/s
Рекомендуемая квантизация: q4_k_m
NVIDIA GeForce RTX 5090 32GB
Подходит (9.55 GiB)
Оценка 64.22 tokens/s
Рекомендуемая квантизация: q6_k
NVIDIA GeForce RTX 4080 SUPER 16GB
Не подходит (-6.45 GiB)
Оценка 26.38 tokens/s
Рекомендуемая квантизация: q2_k
NVIDIA GeForce RTX 4070 Ti SUPER 16GB
Не подходит (-6.45 GiB)
Оценка 24.08 tokens/s
Рекомендуемая квантизация: q2_k
AMD Radeon RX 7900 XTX 24GB
Подходит (1.55 GiB)
Оценка 34.4 tokens/s
Рекомендуемая квантизация: q4_k_m
NVIDIA A100 80GB PCIe
Подходит (57.55 GiB)
Оценка 69.34 tokens/s
Рекомендуемая квантизация: fp16
Apple Silicon M3 Max (128GB unified memory)
Подходит (105.55 GiB)
Оценка 12.23 tokens/s
Рекомендуемая квантизация: fp16
Apple Silicon M2 Ultra (192GB unified memory)
Подходит (169.55 GiB)
Оценка 24.45 tokens/s
Рекомендуемая квантизация: fp16
2× NVIDIA GeForce RTX 4090 (aggregate)
Подходит (25.55 GiB)
Оценка 65.01 tokens/s
Рекомендуемая квантизация: int8
Устройства, подходящие в базовом профиле: NVIDIA GeForce RTX 4090 24GB, NVIDIA GeForce RTX 5090 32GB, AMD Radeon RX 7900 XTX 24GB, NVIDIA A100 80GB PCIe, Apple Silicon M3 Max (128GB unified memory), Apple Silicon M2 Ultra (192GB unified memory), 2× NVIDIA GeForce RTX 4090 (aggregate).
Сниппеты деплоя для MiniMax H3 33B
vLLM
vllm serve MiniMaxAI/MiniMax-H3 --max-model-len 8192 --limit-mm-per-prompt image=2,video=1 --gpu-memory-utilization 0.9
ComfyUI
Use ComfyUI with the MiniMax H3 pipeline nodes for video/image workflows; reserve extra VRAM for VAE and frame processing.
CPU/RAM offload: частичный перенос слоёв в системную RAM снижает требования к VRAM, но обычно замедляет инференс.
MiniMax H3 33B подробный разбор
Обзор VRAM и RAM для MiniMax H3 33B
Запрос «minimax h3 requirements» обычно означает одну задачу: понять, реально ли запустить модель локально. Здесь расчёт разделён на резидентные веса, KV-cache и runtime-overhead.
Для MiniMax H3 33B критичны архитектурные параметры: количество слоёв, KV-heads и head_dim. Для MoE память fit обычно следует total params, а оценка tok/s — active params.
Как квантизация меняет требования памяти у MiniMax H3 33B
Квантизация — главный практический рычаг. Q4_K_M часто стартовый компромисс; Q5/Q6 — для более стабильного качества; Q3/Q2 — для жёстких ограничений памяти.
Длина контекста, KV-cache и реальный рост потребления памяти
При росте контекста быстро растёт KV-cache. На практике надёжнее выбрать умеренный контекст с запасом, чем сразу максимальный режим на грани OOM.
Стратегия fit для GPU VRAM и unified memory на Mac
Выбор железа должен учитывать и ёмкость, и bandwidth: ёмкость отвечает за загрузку модели, bandwidth — за отзывчивость и скорость декодирования.
Локальный workflow (Ollama, llama.cpp, vLLM, ComfyUI)
Ollama удобен для быстрых проверок, llama.cpp даёт тонкий контроль offload, vLLM лучше подходит для API-сценариев с параллелизмом. Для image/video добавляйте бюджет на VAE и разрешение.
Диагностика OOM и нестабильной скорости
При OOM начните с минимального профиля и наращивайте нагрузку пошагово. CPU/RAM offload помогает поместить модель, но обычно снижает throughput.
Как выбрать рабочие настройки для MiniMax H3 33B
Финальные настройки лучше выбирать по реальным задачам и требованиям к качеству. Конфигурация с рабочим запасом памяти обычно стабильнее, чем запуск «на пределе».
FAQ: MiniMax H3 33B
Сколько памяти MiniMax H3 33B требует на практике?
Зависит от квантизации, длины контекста и runtime-overhead. Рекомендуется закладывать 10–20% запаса.
Что важнее для MiniMax H3 33B: VRAM, unified memory или CPU/RAM offload?
Сначала обеспечьте стабильную резидентность, затем оптимизируйте скорость. Offload помогает поместить модель, но замедляет работу.
С какой квантизации лучше стартовать для MiniMax H3 33B?
Часто практичный старт — Q4_K_M.
Источники данных и заметки верификации
- Hugging Face repository (получено 2026-10-06)
- Text encoder config used for architecture fields (получено 2026-10-06)
Model card describes a 33B dense omni transformer. Public config file primarily exposes text encoder and multimodal components.