​Активационная функция

Активационная функция — это математическая функция, которая применяется к выходу нейрона в нейронной сети. Она вводит нелинейность в модель, позволяя ей учитывать сложные зависимости в данных. Без активационных функций нейронная сеть осталась бы линейной и не способной решать сложные задачи. Примерами активационных функций являются ReLU (Rectified Linear Unit), сигмоида и гиперболический тангенс.