Малые модели до 14B: быстро, дёшево, локально
Модели до 14 миллиардов параметров решают узкие задачи быстро и почти бесплатно. Их главное преимущество не качество, а сочетание скорости, цены и возможности работать на своём железе.
Сильные стороны
| Задача | Почему подходит |
|---|---|
| Классификация | Тональность, категория, спам — узкий выбор из известных вариантов |
| Извлечение данных | Имена, даты, суммы по чёткому шаблону |
| Переформулирование | Сократить, упростить, сменить тон |
| Массовая обработка | Тысячи однотипных документов, где важна цена запроса |
| Работа без сети | Данные не покидают машину |
Где ломаются
- Длинные рассуждения. К третьему-четвёртому шагу теряют нить.
- Редкие факты. Чем меньше модель, тем выше риск уверенной выдумки. Источник нужно давать в запросе, а не полагаться на память модели.
- Сложный код. Функция — да, модуль с зависимостями — нет.
- Тонкий стиль. Текст получается корректным, но плоским.
Как выжать максимум
- Ставьте узкую задачу. «Выбери одну категорию из списка» работает намного лучше, чем «проанализируй текст».
- Давайте пример. Один-два образца нужного ответа поднимают качество сильнее, чем любые объяснения.
- Кладите источник в запрос. Модель должна работать с вашим текстом, а не вспоминать.
- Не раздувайте контекст. Лишние тысячи токенов истории замедляют ответ и размывают внимание.
- Просите строгий формат. JSON или список с фиксированными полями упрощает разбор и снижает разброс.
Железо
Модель на 8B в 4-битном квантовании занимает около 4 ГБ видеопамяти плюс запас на контекст — помещается в видеокарту начального уровня. Модель на 4B работает и на встроенной графике ноутбука, хотя и медленнее. Без видеокарты, на процессоре, запустится тоже, но скорость будет измеряться единицами токенов в секунду — для диалога некомфортно, для фоновой обработки приемлемо.
Комбинированный подход
Сильная схема для потоковых задач: малая модель делает первичную обработку всего объёма, а спорные случаи отправляются в модель покрупнее. Так стоимость остаётся низкой, а качество на сложных примерах не проседает.