Главный вопрос локального запуска звучит так: влезет ли модель в видеопамять. Если влезает — работает быстро. Если нет — часть слоёв уходит в оперативную память, и скорость падает в разы. Считается это в уме, за минуту.

Формула на салфетке

Объём в гигабайтах примерно равен: число параметров в миллиардах × байт на параметр. Байт на параметр зависит от квантования — способа хранить веса с меньшей точностью:

К этому добавьте запас 15–25 % на кэш контекста и служебные структуры. Чем длиннее контекст, тем больше запас: на длинных документах кэш может занять несколько гигабайт сверх весов.

Что это значит для типичного железа

• 8 ГБ видеопамяти. Модели до 8B в 4-битном квантовании. Компактные Qwen3, Gemma, Phi. Для повседневных текстовых задач и простого кода хватает.
• 12–16 ГБ. Модели 12–14B в 4 битах комфортно, 32B — впритык и с коротким контекстом.
• 24 ГБ. Рабочая точка для 32B в 4 битах с приличным контекстом. Практический оптимум для домашней машины.
• 48 ГБ и больше. 70B в 4 битах. Дальше — территория нескольких карт и серверного железа.
• Только процессор. Запустится почти всё, что влезает в оперативную память, но скорость — единицы токенов в секунду. Годится для фоновых задач, не для диалога.

Сколько теряется в качестве при квантовании

Сжатие до 8 бит практически незаметно. До 4 бит — заметно на сложных рассуждениях и длинных цепочках, но приемлемо для большинства задач. Ниже 4 бит деградация становится очевидной: модель начинает путаться в инструкциях и терять нить.

Практическое правило: крупная модель в 4 битах обычно лучше мелкой без сжатия. 32B в 4 битах при 16 ГБ памяти даст более качественный результат, чем 8B в FP16 на том же железе.

Что ещё влияет на скорость

Когда локальный запуск оправдан

Оправдан: данные нельзя отправлять наружу; нужен предсказуемый расход без счёта за API; объёмная пакетная обработка, где важна не скорость, а цена; эксперименты с настройкой модели.

Не оправдан: нужны редкие запросы к самой сильной модели; нет подходящей видеокарты; ценна скорость ответа. В этих случаях API дешевле железа — и по деньгам, и по времени на настройку.

С чего начать проверку

Возьмите модель на 7–8B в 4-битном квантовании, запустите, замерьте скорость генерации на своей задаче. Если получилось больше 15–20 токенов в секунду — работать комфортно, можно пробовать модель крупнее. Если меньше — увеличивать размер бессмысленно, упрётесь в память.