Размер модели: сколько параметров вам действительно нужно

Короткий ответ:
Для большинства задач достаточно модели 7–30B параметров. Начинайте с 7–8B, проверяйте на своих данных, увеличивайте размер только если ошибки связаны с фактами или длинными рассуждениями. Окончательный выбор ограничивается VRAM (локально) или бюджетом (API).

Пояснение

1. На что реально влияет размер
- Сильно: знание редких фактов, многошаговые рассуждения (4–5+ шагов), следование сложным инструкциям.
- Слабо/не влияет: простое переписывание, извлечение по шаблону, базовое форматирование — здесь решает промт.

2. Почему новая 30B может обогнать старую 70B
Качество зависит от данных обучения, методов дообучения (RLHF, DPO) и архитектуры. За год методологии дают прирост, сравниваемый с удвоением параметров. Сравнивайте модели одного поколения/семейства.

3. MoE (Mixture of Experts)
Модель с 100B+ всего параметров активирует только часть (например, 12–20B) на токен. Скорость ≈ плотной модели размера активных параметров, качество ≈ крупной.

4. Практический алгоритм выбора
1. Возьмите 7–8B (Llama-3.1-8B, Qwen2.5-7B, Gemma-2-9B).
2. Прогоните *реальные* задачи, зафиксируйте ошибки.
3. Если ошибки в фактах/рассуждениях → поднимитесь к 30B (Qwen2.5-32B, Llama-3.1-70B квантованный до 4-бит).
4. Повторите тест. Останавливайтесь, когда прирост неощутим.

5. Железные ограничения
- Локально (4-бит GGUF): ~0,5 ГБ VRAM на 1B параметров + контекст.
Примеры: 8B ≈ 6–7 ГБ, 32B ≈ 20 ГБ, 70B ≈ 40 ГБ.
- API: цена растёт линейно с размером; платные модели часто закрыты, сравнивайте по бенчмаркам и стоимости 1M токенов.

Пример оценки VRAM (4-бит, контекст 8k)

def estimate_vram(params_b: int, ctx_k: int = 8) -> float:
    # 0.5 GB per 1B params + context overhead (approx 0.1 GB per 1k ctx for KV cache)
    return params_b * 0.5 + ctx_k * 0.1

for size in [7, 32, 70]:
    print(f"{size}B -> ~{estimate_vram(size):.1f} GB VRAM")

7B  -> ~5.3 GB VRAM
32B -> ~16.8 GB VRAM
70B -> ~35.8 GB VRAM

Чек-лист перед апгрейдом
- [ ] Ошибки не уходят при улучшении промта / few-shot.
- [ ] Задача требует редких знаний или цепочки рассуждений >3 шагов.
- [ ] Есть VRAM / бюджет на следующий размер.
- [ ] Тестировали на *своих* данных, а не только на бенчмарках.

---

Ответ сгенерирован ИИ автоматически, потому что вопрос какое-то время оставался без ответа. Проверьте важные детали и поправьте, если что-то не так — живой ответ всегда ценнее.