2× NVIDIA GeForce RTX 4090 (aggregate): что можно запустить локально?
Если вы искали «2× NVIDIA GeForce RTX 4090 (aggregate) что можно запустить локально», эта страница даёт практичный ответ на прозрачных допущениях.
- Тип памяти: Дискретная VRAM
- Общая память: 48 GiB
- Пропускная способность: 1,814 GB/s
- Подсказка по планированию: Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.
Таблица совместимости на 2× NVIDIA GeForce RTX 4090 (aggregate)
База: дефолтные context/batch и Q4_K_M для каждой модели.
| Модель | Оценка total | Вердикт | tok/s (оценка) | Рекоменд. квантизация |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Подходит | 79.45 | int8 |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | Не подходит | 357.54 | q2_k |
| MiniMax H3 33B | 22.45 GiB | Подходит | 65.01 | int8 |
| Qwen Image 2.1 | 5.38 GiB | Подходит | 306.46 | fp16 |
| Kimi K3 | 1,823.65 GiB | Не подходит | 20.63 | Нет fit |
| GLM 5.3 (Flash) | 215.7 GiB | Не подходит | 119.18 | Нет fit |
| DeepSeek V4.1 Flash | 334.25 GiB | Не подходит | 134.08 | Нет fit |
| MiMo V2.6 Pro RL | 625.89 GiB | Не подходит | 51.08 | Нет fit |
| Bonsai 2 27B | 21.13 GiB | Подходит | 78.41 | int8 |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Подходит | 306.46 | fp16 |
Быстрый ответ: что может 2× NVIDIA GeForce RTX 4090 (aggregate)?
2× NVIDIA GeForce RTX 4090 (aggregate) запускает 5 из 10 моделей в базовом профиле Q4_K_M.
Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.
FAQ
Что можно запустить локально на 2× NVIDIA GeForce RTX 4090 (aggregate)?
Используйте таблицу Q4_K_M как первую оценку. Для длинного контекста и мультимодальности закладывайте дополнительный запас.
Учитываются ли сценарии CPU/RAM offload?
Таблица отражает базовую резидентность. Частичный offload позволяет загрузить более крупные модели, но обычно снижает скорость.
Как интерпретировать unified memory на Mac?
Unified memory учитывается как основной вариант. Fit может улучшаться, но отзывчивость всё равно ограничивается bandwidth и runtime.
Источник и проверка
Источник спецификаций железа: Derived from two RTX 4090 cards (aggregate estimate) (получено 2026-10-06).