Языковая модель — это программа, которая по началу текста предсказывает продолжение. Всё остальное — надстройки над этой механикой. Понимание этого одного факта снимает половину вопросов о том, почему нейросеть ведёт себя странно.

Как она работает на самом деле

Модель не хранит ответы и не ищет их в интернете. Во время обучения она прочитала огромный объём текста и вывела статистические закономерности: какие слова с какой вероятностью идут за какими. Когда вы задаёте вопрос, модель считает вероятности следующего фрагмента текста и выбирает подходящий. Потом ещё раз. И ещё — пока не сложится ответ.

Отсюда два прямых следствия. Первое: модель не знает, что она не знает — если правдоподобное продолжение существует, оно будет сгенерировано, даже если факта в реальности нет. Это и называют галлюцинацией. Второе: ответ зависит от формулировки, потому что вопрос — это и есть начало текста, которое модель продолжает.

Токены: чем на самом деле считается текст

Модель работает не с буквами и не со словами, а с токенами — кусками слов. В русском языке один токен — это примерно 2–3 символа, в английском ближе к 4. Слово «нейросеть» может разбиться на два-три токена.

Зачем это знать:

• Лимиты моделей считаются в токенах, а не в знаках. «128 тысяч токенов контекста» для русского текста — это примерно 300–350 тысяч знаков, книга среднего размера.
• Оплата API тоже считается в токенах, причём отдельно за ваш запрос и отдельно за ответ.
• Русский текст «дороже» английского примерно вдвое: тех же мыслей в токенах получается больше.

Контекст — это оперативная память диалога

Контекстное окно — сколько текста модель удерживает одновременно: вашу переписку, приложенные документы и собственный ответ. Когда окно заполняется, начало разговора выпадает — модель буквально забывает, о чём вы договорились в первых сообщениях.

Практический вывод: длинный диалог лучше начать заново, собрав важное в одно вводное сообщение, чем продолжать ветку на сорок реплик.

Параметры: почему 70B не всегда лучше 8B

Параметры — это настроечные коэффициенты внутри модели, их количество пишут в названии: 8B — восемь миллиардов, 70B — семьдесят. Больше параметров обычно значит лучше понимание сложных задач, но также:

При этом свежая модель на 30B часто обгоняет прошлогоднюю на 70B: качество обучающих данных и метод обучения значат не меньше размера.

Почему две модели отвечают по-разному

Разные обучающие данные, разная настройка на «полезность и безопасность», разные приоритеты разработчиков. Одна модель тренировалась на большом объёме кода и лучше пишет функции. Другая видела больше многоязычных текстов и точнее переводит. Третью специально учили рассуждать пошагово — она медленнее, но реже ошибается в задачах на логику.

Поэтому вопрос «какая модель лучшая» смысла не имеет. Имеет смысл вопрос «какая лучше для моей задачи».

Что попробовать прямо сейчас

1. Задайте один и тот же вопрос двум разным моделям в виджете сайта и сравните ответы.
2. Переформулируйте вопрос подробнее — с ролью, форматом и ограничениями — и посмотрите, насколько изменится результат.
3. Попросите модель объяснить ход своих рассуждений: часто в этом объяснении видно, где она свернула не туда.