Дистилляция

Дистилляция — обучение компактной модели на ответах большой, чтобы получить лёгкую версию с близким качеством. Большая модель выступает учителем, маленькая учеником, и ученик перенимает готовые ответы вместе с распределением вероятностей, то есть учится ещё и на сомнениях учителя. Дистиллированные модели дешевле в работе, быстрее отвечают и помещаются на скромном железе вплоть до ноутбука и телефона. Приставки mini, flash, lite и turbo в названиях моделей чаще всего означают именно такую версию. Платой за компактность становится потеря части возможностей, сильнее всего заметная на длинных рассуждениях и редких темах.