Малые модели до 14B: быстро, дёшево, локально
Компактный класс для потоковых задач и слабого железа. Что они делают хорошо, где ломаются и как выжать из них максимум правильной постановкой задачи.
Регистрация занимает минуту. После неё можно задавать вопросы, отвечать, голосовать за ответы и собирать репутацию.
Создать аккаунтКомпактный класс для потоковых задач и слабого железа. Что они делают хорошо, где ломаются и как выжать из них максимум правильной постановкой задачи.
Практический расчёт: как по размеру модели и уровню квантования понять, запустится ли она на вашей видеокарте, и почему видеопамяти всегда нужно больше, чем весит файл.
Компактные модели до 14 миллиардов параметров: что они умеют, на каком железе работают и как выжать приемлемую скорость без дискретной видеокарты.