Трансформер

Трансформер — архитектура нейронной сети, на которой построены все современные языковые модели. Её описали исследователи Google в 2017 году в работе «Attention Is All You Need». Главный механизм архитектуры — внимание, оно позволяет модели при обработке одного слова смотреть сразу на весь текст и оценивать, какие его части важны для ответа. Предшественники трансформера, рекуррентные сети , читали текст строго по порядку и плохо удерживали связи между далёкими друг от друга словами. Трансформер обрабатывает последовательность целиком и параллельно, поэтому обучение хорошо масштабируется на больших объёмах данных и на мощных видеокартах. Буква T в названиях GPT и BERT означает именно трансформер.