Число в названии модели — 8B, 32B, 120B — это количество параметров, настроечных коэффициентов внутри сети. Больше параметров обычно значит лучше, но зависимость давно перестала быть линейной.

На что реально влияет размер

Почему свежая 30B обгоняет прошлогоднюю 70B

Качество определяется не только размером, но и данными обучения, методом дообучения и архитектурой. За год методики двигаются достаточно, чтобы модель вдвое меньшего размера догнала предшественницу. Поэтому сравнивать имеет смысл модели одного поколения, а не одного размера.

Отдельная история — архитектура MoE: у модели может быть 100+ миллиардов параметров, но на каждый запрос работает лишь часть. Такая модель по скорости ближе к средней, а по качеству — к крупной.

Как выбрать размер под задачу

1. Начните с малого. Возьмите модель на 7–8B и прогоните свои реальные задачи.
2. Зафиксируйте, где она ошибается. Если ошибки в фактах и длинных рассуждениях — нужен размер больше. Если в формате ответа — нужен лучший промт, размер не поможет.
3. Поднимайтесь на ступень. 8B → 30B → 70B. На каждой ступени повторяйте тот же набор задач.
4. Остановитесь, когда прирост перестанет ощущаться. Обычно это происходит раньше, чем ожидаешь.

Ограничение сверху — ваше железо

Для локального запуска потолок задаёт видеопамять: примерно 0,5 гигабайта на миллиард параметров при 4-битном квантовании, плюс запас на контекст. При работе через API потолок задаёт бюджет: крупные модели дороже за тот же объём текста.

Разделы каталога по размеру помогут отобрать кандидатов: крупные — от 100 миллиардов параметров, средние — 30–70, малые — до 14.

Модели от ста миллиардов параметров — верхний эшелон открытых весов. Локально их запускают единицы, большинство работает через API. Вопрос не в том, лучше ли они, а в том, окупается ли разница.

Где отрыв заметен сразу

• Многошаговые задачи с условиями. Там, где нужно удержать десяток ограничений одновременно и не потерять ни одного.
• Работа с большим документом целиком. Договор, техзадание, объёмный отчёт — крупная модель реже теряет детали из середины.
• Редкие и узкие темы. Отраслевая терминология, специфические стандарты, малораспространённые языки.
• Код в контексте проекта. Не отдельная функция, а изменение с учётом связей между модулями.
• Нюансы стиля. Когда важен не смысл, а тон, и текст идёт читателю почти без правки.

Чем платите

Архитектура MoE меняет расклад

Часть крупных моделей построена по схеме mixture of experts: параметров много, но на каждый запрос активируется лишь их доля. Такая модель отвечает заметно быстрее плотной модели того же формального размера. Если в описании встречается пометка MoE, привычная связка «больше значит медленнее» работает уже не так прямолинейно.

Практический подход

Держать крупную модель как основной инструмент дорого и обычно не нужно. Рабочая схема — двухуровневая: повседневные задачи закрывает средняя модель, а к крупной обращаются точечно, когда задача действительно сложная. Разница в счёте за месяц получается кратной, а в качестве результата — почти незаметной.

Проверить, нужен ли вам этот уровень, просто: возьмите пять задач, где средняя модель ошибалась, и прогоните их через крупную. Если ошибок стало меньше — вы нашли свой сценарий. Если нет — размер вам не нужен, нужен другой промт.

Диапазон 30–70 миллиардов параметров — то место, где качество уже высокое, а требования ещё разумные. Для большинства практических задач именно здесь находится правильный ответ.

Что они делают уверенно

• Тексты любого типа: черновики, редактура, переписывание, адаптация под аудиторию.
• Код среднего объёма: функции, модули, тесты, разбор чужого кода.
• Анализ документов: выжимки, сравнение версий, поиск противоречий.
• Рассуждения на несколько шагов — с явной просьбой рассуждать пошагово.
• Перевод и локализация с приемлемым стилем.

Где начинают уступать крупным

На задачах, где нужно одновременно удерживать много условий, разбираться в редкой предметной области или работать с очень длинным документом целиком. Разрыв не драматический, но на сложных случаях виден.

Требования к железу

Практический вывод: видеокарта на 24 ГБ комфортно тянет модель на 32B в 4 битах с приличным контекстом. Это самая распространённая точка входа для локальной работы.

Кто в классе

Qwen3-32B, Llama 3.3 70B, актуальные выпуски Mistral и GLM. Внутри диапазона модели заметно отличаются по профилю: одна сильнее в коде, другая в языках. Выбирать стоит не по размеру, а по совпадению профиля с вашими задачами — разница внутри класса больше, чем разница между соседними классами.

Стратегия на практике

Возьмите одну среднюю модель как основную рабочую и держитесь её. Добавляйте вторую только под конкретную регулярную задачу — например, специализированную кодовую, если пишете код каждый день. Постоянные метания между моделями съедают больше времени, чем приносит выигрыш в пару процентов качества.

Модели до 14 миллиардов параметров решают узкие задачи быстро и почти бесплатно. Их главное преимущество не качество, а сочетание скорости, цены и возможности работать на своём железе.

Сильные стороны

Где ломаются

• Длинные рассуждения. К третьему-четвёртому шагу теряют нить.
• Редкие факты. Чем меньше модель, тем выше риск уверенной выдумки. Источник нужно давать в запросе, а не полагаться на память модели.
• Сложный код. Функция — да, модуль с зависимостями — нет.
• Тонкий стиль. Текст получается корректным, но плоским.

Как выжать максимум

1. Ставьте узкую задачу. «Выбери одну категорию из списка» работает намного лучше, чем «проанализируй текст».
2. Давайте пример. Один-два образца нужного ответа поднимают качество сильнее, чем любые объяснения.
3. Кладите источник в запрос. Модель должна работать с вашим текстом, а не вспоминать.
4. Не раздувайте контекст. Лишние тысячи токенов истории замедляют ответ и размывают внимание.
5. Просите строгий формат. JSON или список с фиксированными полями упрощает разбор и снижает разброс.

Железо

Модель на 8B в 4-битном квантовании занимает около 4 ГБ видеопамяти плюс запас на контекст — помещается в видеокарту начального уровня. Модель на 4B работает и на встроенной графике ноутбука, хотя и медленнее. Без видеокарты, на процессоре, запустится тоже, но скорость будет измеряться единицами токенов в секунду — для диалога некомфортно, для фоновой обработки приемлемо.

Комбинированный подход

Сильная схема для потоковых задач: малая модель делает первичную обработку всего объёма, а спорные случаи отправляются в модель покрупнее. Так стоимость остаётся низкой, а качество на сложных примерах не проседает.