Сбербанк представил лёгкие ИИ-модели для распознавания эмоций «в реальной среде»

Специалисты Сбербанка предложили подход, описанный в статье Leveraging Lightweight Facial Models and Textual Modality in Audio-visual Emotional Understanding in-the-Wild, принятой на воркшопе Affective Behaviour Analysis in-the-Wild конференции CVPR.

Цель работы — повысить точность распознавания эмоций в условиях изменяющегося освещения, ракурсов и фонового шума при минимальных вычислительных затратах, чтобы обрабатывать данные прямо на пользовательских устройствах.

Для реализации решения исследователи задействовали лёгковесные нейросети EmotiEffNet, MobileViT и MobileFaceNet для анализа мимики. Они фильтруют кадры с наиболее достоверными эмоциями, снижая нагрузку, и затем объединяют визуальные, аудио- и текстовые сигналы методом «позднего слияния» (late fusion). Это позволяет адаптировать модели к новым задачам быстрее и запускать их на типичных смартфонах.

На VIII международном конкурсе ABAW метод занял 1-е место в задачах распознавания выражений лица и амбивалентности, а также 3-е место в оценке интенсивности эмоций и детектировании микровыражений. Средняя F1-мера увеличилась на 1,5–15 % по сравнению с классическими моделями (VGGFace и wav2vec 2) благодаря библиотеке EmotiEffLib.

Виртуальные ассистенты и чат-боты на базе разработок СБЕРа станут точнее определять эмоциональное состояние пользователей. Образовательные платформы смогут адаптировать уроки под настроение ученика, бизнес — анализировать реакцию клиентов на продукты и рекламу, а медицинские системы — выявлять тревожность и депрессию на ранних стадиях.

Коллегам удалось разработать новые методы мультимодального анализа эмоций с оптимизацией вычислений. Это исследование приближает нас к созданию эмпатичного искусственного интеллекта, который сможет точно и быстро распознавать эмоции человека в реальных условиях. Возможности для прикладного применения этой технологии очень широки — от виртуальных помощников до интеллектуальных систем в медицине и образовании. Такие решения в любой области помогут создать индивидуальный подход к каждому пользователю и, самое главное, будут эффективнее помогать людям справляться с разными задачами. — Глеб Гусев, директор Лаборатории ИИ Сбербанка.