NVIDIA GeForce RTX 4090 24GB: что можно запустить локально?
Если вы искали «NVIDIA GeForce RTX 4090 24GB что можно запустить локально», эта страница даёт практичный ответ на прозрачных допущениях.
- Тип памяти: Дискретная VRAM
- Общая память: 24 GiB
- Пропускная способность: 1,008 GB/s
- Подсказка по планированию: Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.
Таблица совместимости на NVIDIA GeForce RTX 4090 24GB
База: дефолтные context/batch и Q4_K_M для каждой модели.
| Модель | Оценка total | Вердикт | tok/s (оценка) | Рекоменд. квантизация |
|---|---|---|---|---|
| Qwen 3.8 27B | 20.91 GiB | Подходит | 44.15 | q5_k_m |
| Qwen 3.8 Flash Next 125B | 78.66 GiB | Не подходит | 198.68 | Нет fit |
| MiniMax H3 33B | 22.45 GiB | Подходит | 36.12 | q4_k_m |
| Qwen Image 2.1 | 5.38 GiB | Подходит | 170.3 | fp16 |
| Kimi K3 | 1,823.65 GiB | Не подходит | 11.46 | Нет fit |
| GLM 5.3 (Flash) | 215.7 GiB | Не подходит | 66.23 | Нет fit |
| DeepSeek V4.1 Flash | 334.25 GiB | Не подходит | 74.5 | Нет fit |
| MiMo V2.6 Pro RL | 625.89 GiB | Не подходит | 28.38 | Нет fit |
| Bonsai 2 27B | 21.13 GiB | Подходит | 43.57 | q5_k_m |
| Mistral 7B Instruct v0.3 | 5.83 GiB | Подходит | 170.3 | fp16 |
Быстрый ответ: что может NVIDIA GeForce RTX 4090 24GB?
NVIDIA GeForce RTX 4090 24GB запускает 5 из 10 моделей в базовом профиле Q4_K_M.
Для MoE и мультимодальных моделей закладывайте дополнительный запас памяти.
FAQ
Что можно запустить локально на NVIDIA GeForce RTX 4090 24GB?
Используйте таблицу Q4_K_M как первую оценку. Для длинного контекста и мультимодальности закладывайте дополнительный запас.
Учитываются ли сценарии CPU/RAM offload?
Таблица отражает базовую резидентность. Частичный offload позволяет загрузить более крупные модели, но обычно снижает скорость.
Как интерпретировать unified memory на Mac?
Unified memory учитывается как основной вариант. Fit может улучшаться, но отзывчивость всё равно ограничивается bandwidth и runtime.
Источник и проверка
Источник спецификаций железа: NVIDIA product page (получено 2026-10-06).