Смесь экспертов

Смесь экспертов — устройство модели, при котором сеть разбита на множество подсетей, а на каждый токен включается лишь малая их часть. Отдельный маршрутизатор внутри модели решает, каким экспертам передать конкретный кусочек текста, остальные в этот момент простаивают. Отсюда разрыв между общим и активным числом параметров. У модели их может быть 320 миллиардов, а работать на каждом шаге будут 18. Приём позволяет наращивать объём знаний без пропорционального роста расходов на ответ. Минусы тоже есть, потому что всех экспертов приходится держать в памяти видеокарт, а обучение такой модели капризнее обычной. Смежный подход к удешевлению — Mixture-of-Mamba .