Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Динамику ESG в мире обсудили на международной конференции по вопросам устойчивого развития в Вышке
Участники форума «ESG Corporate Dynamics: the Challenges for Emerging Capital Markets» обсудили использование ИИ в сфере устойчивого развития, влияние климатической уязвимости на привлечение институциональных инвесторов, тренды ESG-политики в Южной Корее и Китае, разработку интегральной ESG-модели для оценки вероятности дефолта компаний и многие другие вопросы. В работе конференции, организованной факультетом экономических наук ВШЭ, приняли участие более 20 ученых из ведущих университетов Китая, Египта, Малайзии и других стран.
Исследователи из ВШЭ разработали Python-библиотеку для анализа данных движений глаз
Исследовательская группа из Высшей школы экономики разработала Python-библиотеку EyeFeatures, предназначенную для анализа и моделирования данных движений глаз. Инструмент призван облегчить работу ученых и разработчиков, предоставляя им возможность эффективно обрабатывать сложные данные и строить предсказательные модели.
Достижения Вышки в сфере ИИ представили на AIJ
На площадке международной конференции AI Journey состоялась сессия под руководством вице-премьера Дмитрия Чернышенко, посвященная достижениям российских исследовательских центров в области искусственного интеллекта. Руководитель Центра ИИ ВШЭ Алексей Масютин представил ключевые разработки исследователей центра.
Фантастика vs реальность: ВШЭ и Евразийский НОЦ обучили преподавателей Башкортостана работе с ИИ
В начале ноября в Уфе состоялось обучение по программе повышения квалификации «Искусственный интеллект и его применение в научных исследованиях» для преподавателей и ученых Республики Башкортостан. Организаторами программы выступили Центр непрерывного образования ФКН НИУ ВШЭ и Евразийский научно-образовательный центр. Обучение было реализовано в сетевой форме по трем направлениям: гуманитарному, естественно-научному и техническому.
Искусственная революция: как ИИ меняет образование
Искусственный интеллект стремительно ворвался в образовательное пространство и стал помощником и напарником студентов и преподавателей. Сегодня владение ИИ-инструментами становится универсальной компетенцией и требует от педагогов освоения новых навыков и подходов как к учебному процессу, так и к оцениванию успехов студентов.
Ученые НИУ ВШЭ признаны лидерами в сфере развития ИИ
В рамках международной конференции по искусственному интеллекту и машинному обучению AI Journey наградили победителей Национальной премии «Лидеры ИИ — 2024». Лауреатами стали Сергей Самсонов, научный сотрудник Международной лаборатории стохастических алгоритмов и анализа многомерных данных Института искусственного интеллекта и цифровых наук ФКН ВШЭ, и Елена Тутубалина из Института искусственного интеллекта AIRI и Научно-учебной лаборатории моделей и методов вычислительной прагматики ФКН ВШЭ. Еще один ученый Вышки стал финалистом премии.
Обуздать стихию: как ИИ интегрируется в учебный процесс в странах мира
Искусственный интеллект постепенно становится незаменимой частью высшего образования. Его используют и студенты, и преподаватели для снижения объема рутинных задач и расширения своих возможностей. Ограничения и перспективы ИИ рассматриваются в докладе «Начало конца или новой эпохи? Эффекты генеративного искусственного интеллекта (ГИИ) в высшем образовании», который вышел в журнале «Современная аналитика образования» под научной редакцией научного руководителя НИУ ВШЭ Ярослава Кузьминова.
Виртуальный Моцарт, бот «Венчурный капитал» и генерация учебных видео: как в Вышке применяют ИИ
В середине ноября в Вышке состоялся митап, на котором преподаватели, исследователи и административные работники университета представили собственные проекты и поделились опытом использования ИИ-технологий в образовательной и научной деятельности. Встреча прошла в рамках программы повышения квалификации «Искусственный интеллект в образовании и исследованиях».
Названы ключевые тренды в образовании — 2025
Искусственный интеллект и виртуальная реальность все чаще становятся частью образования. Больше половины преподавателей-новаторов готовы поддерживать мультимодальные подходы с использованием ИИ, а каждый третий студент считает, что технологии способны сделать учебу интереснее и удобнее. Такие данные представили Лаборатория инноваций в образовании ВШЭ и холдинг Ultimate Education.
Студенты Вышки выиграли международный этап «Цифрового прорыва»
В начале ноября в Калининграде прошел международный этап хакатона «Цифровой прорыв. Сезон: Искусственный интеллект». В нем приняли участие 203 команды в составе 1569 человек, и среди них — студенты факультета компьютерных наук ВШЭ, призеры всероссийского этапа. Они соревновались в решении задач от партнеров хакатона — РЖД, Media Wise, «Атома», «Росатома», «Силы» и других организаций.