Модели до 14 миллиардов параметров решают узкие задачи быстро и почти бесплатно. Их главное преимущество не качество, а сочетание скорости, цены и возможности работать на своём железе.

Сильные стороны

Где ломаются

• Длинные рассуждения. К третьему-четвёртому шагу теряют нить.
• Редкие факты. Чем меньше модель, тем выше риск уверенной выдумки. Источник нужно давать в запросе, а не полагаться на память модели.
• Сложный код. Функция — да, модуль с зависимостями — нет.
• Тонкий стиль. Текст получается корректным, но плоским.

Как выжать максимум

1. Ставьте узкую задачу. «Выбери одну категорию из списка» работает намного лучше, чем «проанализируй текст».
2. Давайте пример. Один-два образца нужного ответа поднимают качество сильнее, чем любые объяснения.
3. Кладите источник в запрос. Модель должна работать с вашим текстом, а не вспоминать.
4. Не раздувайте контекст. Лишние тысячи токенов истории замедляют ответ и размывают внимание.
5. Просите строгий формат. JSON или список с фиксированными полями упрощает разбор и снижает разброс.

Железо

Модель на 8B в 4-битном квантовании занимает около 4 ГБ видеопамяти плюс запас на контекст — помещается в видеокарту начального уровня. Модель на 4B работает и на встроенной графике ноутбука, хотя и медленнее. Без видеокарты, на процессоре, запустится тоже, но скорость будет измеряться единицами токенов в секунду — для диалога некомфортно, для фоновой обработки приемлемо.

Комбинированный подход

Сильная схема для потоковых задач: малая модель делает первичную обработку всего объёма, а спорные случаи отправляются в модель покрупнее. Так стоимость остаётся низкой, а качество на сложных примерах не проседает.