Файн-тюнинг

Файн-тюнинг — дообучение готовой модели на своих данных, чтобы она лучше решала узкую задачу. Базовую модель обучают на огромном общем корпусе, а файн-тюнинг добавляет поверх сравнительно небольшой набор примеров, будь то переписка поддержки, отраслевые документы или образцы нужного стиля. Полное дообучение всех весов обходится дорого, поэтому чаще применяют экономные методы, где обучается лишь небольшая добавка к модели, а основные веса остаются нетронутыми. На маленькой выборке легко получить переобучение , когда модель запоминает примеры вместо того, чтобы уловить закономерность. Если задача сводится к знанию свежих фактов, дешевле обходится RAG .