Токен

Токен — минимальный кусочек текста, которым оперирует языковая модель. Модель не видит букв и слов в привычном смысле, текст перед обработкой разбивается на токены, а каждый токен превращается в набор чисел, то есть в эмбеддинг . Один токен занимает примерно три-четыре символа английского текста или около 0,75 слова. Для русского языка токенов на ту же фразу уходит заметно больше, потому что словари моделей собраны в основном на английском материале. В токенах измеряют длину запроса, длину ответа и стоимость работы через API, поэтому обращение к модели тарифицируется не за символы и не за слова. Общий запас токенов, который модель удерживает за один диалог, называется контекстным окном.