Гайд по модели
Qwen 3.8 Flash Next 125B требования VRAM, совместимость GGUF и локальный деплой
Если вы ищете "qwen 3.8 flash next 125b vram requirements", скорее всего вы оцениваете, насколько Qwen 3.8 Flash Next 125B реалистично запустить локально. Здесь расчёт разделён на веса, KV-cache и runtime-overhead для практичного выбора.
Qwen 3.8 Flash Next 125B по опубликованным настройкам может масштабироваться примерно до 262,144 токенов, поэтому стратегия контекста важна не меньше квантизации.
Статус верификации: Проверено. Снимок источников: 2026-10-06.
Калькулятор VRAM / RAM
Сравнивайте сценарии для дискретной VRAM, unified memory Apple и CPU/RAM offload.
Пользовательский Hugging Face id / параметры (опционально)
Если repo id неизвестен, расчёт будет выполнен по вашим значениям как по оценке.
| Квант | Весы | KV | Overhead | Итого |
|---|---|---|---|---|
| FP16 / BF16 | 232.83 GiB | 3 GiB | 14.66 GiB | 250.49 GiB |
| INT8 / Q8_0 | 119.33 GiB | 3 GiB | 10.24 GiB | 132.56 GiB |
| Q6_K | 92.4 GiB | 3 GiB | 9.01 GiB | 104.41 GiB |
| Q5_K_M | 79.31 GiB | 3 GiB | 8.62 GiB | 90.93 GiB |
| Q4_K_M | 66.94 GiB | 3 GiB | 8.72 GiB | 78.66 GiB |
| Q3_K_M / Q3 | 50.93 GiB | 3 GiB | 7.82 GiB | 61.75 GiB |
| Q2_K / Q2 | 36.38 GiB | 3 GiB | 6.51 GiB | 45.89 GiB |
| Железо | Память | Вердикт | tok/s (оценка) |
|---|---|---|---|
| NVIDIA GeForce RTX 4090 24GB | 24 GiB | Не подходит | 198.68 |
| NVIDIA GeForce RTX 5090 32GB | 32 GiB | Не подходит | 353.21 |
| NVIDIA GeForce RTX 4080 SUPER 16GB | 16 GiB | Не подходит | 145.07 |
| NVIDIA GeForce RTX 4070 Ti SUPER 16GB | 16 GiB | Не подходит | 132.45 |
| AMD Radeon RX 7900 XTX 24GB | 24 GiB | Не подходит | 189.22 |
| NVIDIA A100 80GB PCIe | 80 GiB | Подходит | 381.39 |
| Apple Silicon M3 Max (128GB unified memory) | 128 GiB | Подходит | 67.25 |
| Apple Silicon M2 Ultra (192GB unified memory) | 192 GiB | Подходит | 134.49 |
| 2× NVIDIA GeForce RTX 4090 (aggregate) | 48 GiB | Не подходит | 357.54 |
Формулы и допущения
- Weight memory uses resident params × effective_bits / 8 (total params when available, otherwise active/fallback estimate).
- KV cache = 2 × layers × kv_heads × head_dim × kv_bytes × context × batch.
- Runtime overhead includes allocator fragmentation, kernels, and framework buffers.
- Tokens/sec estimate uses active_params for decode bandwidth and should be treated as a rough directional number.
- CPU/RAM offload (for example llama.cpp partial offload with lower GPU layer count) can reduce VRAM needs at the cost of speed.
- When config values are unavailable, fallback defaults are used and flagged as estimated on the page.
Qwen 3.8 Flash Next 125B VRAM / RAM по квантизации
Базовый режим использует стандартные context и batch для модели.
| Квант | Весы | KV | Overhead | Итого |
|---|---|---|---|---|
| FP16 / BF16 | 232.83 GiB | 3 GiB | 14.66 GiB | 250.49 GiB |
| INT8 / Q8_0 | 119.33 GiB | 3 GiB | 10.24 GiB | 132.56 GiB |
| Q6_K | 92.4 GiB | 3 GiB | 9.01 GiB | 104.41 GiB |
| Q5_K_M | 79.31 GiB | 3 GiB | 8.62 GiB | 90.93 GiB |
| Q4_K_M | 66.94 GiB | 3 GiB | 8.72 GiB | 78.66 GiB |
| Q3_K_M / Q3 | 50.93 GiB | 3 GiB | 7.82 GiB | 61.75 GiB |
| Q2_K / Q2 | 36.38 GiB | 3 GiB | 6.51 GiB | 45.89 GiB |
Какие GPU и Mac могут запускать Qwen 3.8 Flash Next 125B?
Базовый вердикт на Q4_K_M и дефолтных context/batch. tok/s — приблизительная оценка.
NVIDIA GeForce RTX 4090 24GB
Не подходит (-54.66 GiB)
Оценка 198.68 tokens/s
Рекомендуемая квантизация: Нет подходящей квантизации из списка
NVIDIA GeForce RTX 5090 32GB
Не подходит (-46.66 GiB)
Оценка 353.21 tokens/s
Рекомендуемая квантизация: Нет подходящей квантизации из списка
NVIDIA GeForce RTX 4080 SUPER 16GB
Не подходит (-62.66 GiB)
Оценка 145.07 tokens/s
Рекомендуемая квантизация: Нет подходящей квантизации из списка
NVIDIA GeForce RTX 4070 Ti SUPER 16GB
Не подходит (-62.66 GiB)
Оценка 132.45 tokens/s
Рекомендуемая квантизация: Нет подходящей квантизации из списка
AMD Radeon RX 7900 XTX 24GB
Не подходит (-54.66 GiB)
Оценка 189.22 tokens/s
Рекомендуемая квантизация: Нет подходящей квантизации из списка
NVIDIA A100 80GB PCIe
Подходит (1.34 GiB)
Оценка 381.39 tokens/s
Рекомендуемая квантизация: q4_k_m
Apple Silicon M3 Max (128GB unified memory)
Подходит (49.34 GiB)
Оценка 67.25 tokens/s
Рекомендуемая квантизация: q6_k
Apple Silicon M2 Ultra (192GB unified memory)
Подходит (113.34 GiB)
Оценка 134.49 tokens/s
Рекомендуемая квантизация: int8
2× NVIDIA GeForce RTX 4090 (aggregate)
Не подходит (-30.66 GiB)
Оценка 357.54 tokens/s
Рекомендуемая квантизация: q2_k
Устройства, подходящие в базовом профиле: NVIDIA A100 80GB PCIe, Apple Silicon M3 Max (128GB unified memory), Apple Silicon M2 Ultra (192GB unified memory).
Сниппеты деплоя для Qwen 3.8 Flash Next 125B
llama.cpp
./llama-server -m ./Qwen3.8-Flash-Next-Q4_K_M.gguf -c 32768 --threads 16 --host 0.0.0.0 --port 8081
vLLM
vllm serve Qwen/Qwen3.8-Flash-Next --max-model-len 65536 --tensor-parallel-size 2 --gpu-memory-utilization 0.9
CPU/RAM offload: частичный перенос слоёв в системную RAM снижает требования к VRAM, но обычно замедляет инференс.
Qwen 3.8 Flash Next 125B подробный разбор
Обзор VRAM и RAM для Qwen 3.8 Flash Next 125B
Запрос «qwen 3.8 flash next 125b vram requirements» обычно означает одну задачу: понять, реально ли запустить модель локально. Здесь расчёт разделён на резидентные веса, KV-cache и runtime-overhead.
Для Qwen 3.8 Flash Next 125B критичны архитектурные параметры: количество слоёв, KV-heads и head_dim. Для MoE память fit обычно следует total params, а оценка tok/s — active params.
Как квантизация меняет требования памяти у Qwen 3.8 Flash Next 125B
Квантизация — главный практический рычаг. Q4_K_M часто стартовый компромисс; Q5/Q6 — для более стабильного качества; Q3/Q2 — для жёстких ограничений памяти.
Длина контекста, KV-cache и реальный рост потребления памяти
При росте контекста быстро растёт KV-cache. На практике надёжнее выбрать умеренный контекст с запасом, чем сразу максимальный режим на грани OOM.
Стратегия fit для GPU VRAM и unified memory на Mac
Выбор железа должен учитывать и ёмкость, и bandwidth: ёмкость отвечает за загрузку модели, bandwidth — за отзывчивость и скорость декодирования.
Локальный workflow (Ollama, llama.cpp, vLLM, ComfyUI)
Ollama удобен для быстрых проверок, llama.cpp даёт тонкий контроль offload, vLLM лучше подходит для API-сценариев с параллелизмом. Для image/video добавляйте бюджет на VAE и разрешение.
Диагностика OOM и нестабильной скорости
При OOM начните с минимального профиля и наращивайте нагрузку пошагово. CPU/RAM offload помогает поместить модель, но обычно снижает throughput.
Как выбрать рабочие настройки для Qwen 3.8 Flash Next 125B
Финальные настройки лучше выбирать по реальным задачам и требованиям к качеству. Конфигурация с рабочим запасом памяти обычно стабильнее, чем запуск «на пределе».
FAQ: Qwen 3.8 Flash Next 125B
Сколько памяти Qwen 3.8 Flash Next 125B требует на практике?
Зависит от квантизации, длины контекста и runtime-overhead. Рекомендуется закладывать 10–20% запаса.
Что важнее для Qwen 3.8 Flash Next 125B: VRAM, unified memory или CPU/RAM offload?
Сначала обеспечьте стабильную резидентность, затем оптимизируйте скорость. Offload помогает поместить модель, но замедляет работу.
С какой квантизации лучше стартовать для Qwen 3.8 Flash Next 125B?
Часто практичный старт — Q4_K_M.
Источники данных и заметки верификации
- Hugging Face model config (получено 2026-10-06)
- Hugging Face model card parameter statement (получено 2026-10-06)
Model card states 125B total with 6B activated, plus large n-gram embedding and MTP components. Weight residency planning should follow total parameter footprint.