Дистилляция

Дистилляция — способ сделать из большой нейросети маленькую, которая работает почти так же хорошо. Большая модель играет роль учителя: ей задают множество вопросов, а её ответы становятся учебником для маленькой модели-ученика. Это похоже на хороший конспект толстой книги: объём в разы меньше, а главное сохранено.

Ученик видит не только итоговый ответ учителя, но и то, насколько тот был уверен в каждом варианте. Например, глядя на фото кота, учитель «думает»: кот — 90%, рысь — 8%, собака — 2%. Такие подсказки показывают ученику, какие вещи похожи между собой, поэтому он учится быстрее и точнее, чем на одних правильных ответах.

Дистиллированные модели дешевле, быстрее отвечают и запускаются на обычном железе — вплоть до ноутбука или смартфона. Слова mini, flash, lite или turbo в названии модели чаще всего означают как раз такую облегчённую версию. Минус в том, что часть способностей теряется: сильнее всего это заметно в длинных рассуждениях и на редких темах.