Российские ученые научили искусственный интеллект анализировать эмоции участников онлайн-мероприятий
Исследователи НИУ ВШЭ предложили новый нейросетевой метод распознавания эмоций и вовлеченности людей. Алгоритмы строятся на основе анализа видеоизображений лиц и превосходят по точности известные аналоги. Разработанные модели подходят для малопроизводительного оборудования, в том числе для мобильных устройств. Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Итоги исследования опубликованы в IEEE Transactions on Affective Computing.
Пандемия COVID-19 привела к активному развитию инструментов онлайн-видео-конференц-связи и систем электронного обучения (e-learning). Технологии искусственного интеллекта могут помочь преподавателям дистанционно контролировать вовлеченность участников мероприятия. Сейчас алгоритмы анализа поведения студентов и выявления вовлеченности в онлайн-среде изучают специалисты в области интеллектуального анализа данных для образования. Среди инструментов анализа наибольшей популярностью пользуются автоматические методы, основанные на технологиях компьютерного зрения. В частности, считается, что на качество многих e-learning-систем большое влияние может оказать распознавание эмоций и вовлеченности участников на основе видеоаналитики.
В рамках проекта Центра искусственного интеллекта НИУ ВШЭ «Нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения» ученые разработали новый нейросетевой алгоритм распознавания эмоций и вовлеченности по видеоизображениям лиц.
Ученые научили нейронную сеть извлекать характерные признаки эмоций, основываясь на специальном «устойчивом» способе обучения нейронной сети и обработке только наиболее важных областей лица. Суть метода в том, что сначала осуществляется детектирование лиц и извлечение их характерных признаков с последующей группировкой лиц каждого участника. Далее с помощью специально обученных эффективных нейросетевых моделей извлекаются эмоциональные признаки каждого выделенного лица, они агрегируются с помощью статистических функций и классифицируются. На заключительном этапе идет визуализация фрагментов видеоурока с наиболее ярко выраженными эмоциями и различными степенями вовлеченности каждого слушателя. В результате исследователям удалось создать новую модель, которая сразу для нескольких лиц на видео определяет эмоции каждого человека и степень его увлеченности.
Андрей Савченко
«Для нескольких наборов данных мы показали, что предложенные алгоритмы превосходят по точности известные аналоги. При этом, в отличие от большинства известных технологий, разработанные модели могут участвовать в обработке видео в режиме реального времени даже на малопроизводительном оборудовании, в том числе на мобильных устройствах каждого участника онлайн-мероприятия», — комментирует руководитель проекта, профессор кафедры информационных систем и технологий НИУ ВШЭ в Нижнем Новгороде Андрей Савченко. — Совместно с Ильей Макаровым из Научно-исследовательского института искусственного интеллекта (AIRI) мы создали достаточно простую в использовании компьютерную программу, позволяющую обработать видеозапись вебинара или онлайн-занятия и получить набор видеоклипов с наиболее характерными эмоциями каждого участника».
Результаты работы могут быть внедрены в системы теле-конференц-связи и онлайн-обучения для анализа вовлеченности и эмоций участников. Так, в ходе предварительного тестирования онлайн-курса по реакции слушателей можно понять, какие части лекции были наиболее интересны, а что оказалось трудным для понимания и нуждается в корректировке. В настоящий момент проводятся исследования по возможностям интеграции разработанных моделей в сервис видеоконференций Jazz by Sber. Видеозаписи, собранные в рамках этого проекта из открытых источников, позволят исследователям сделать шаг к созданию сервиса определения эмоций и вовлеченности слушателей онлайн-мероприятий.
Вам также может быть интересно:
Эксперты НИУ ВШЭ исследовали, как ведется подготовка специалистов в области ИИ
Институт статистических исследований и экономики знаний НИУ ВШЭ представил доклад, подготовленный на основе результатов специализированного обследования образовательных организаций высшего образования. Целью впервые проведенной работы стало выявление масштабов и условий обучения технологиям искусственного интеллекта в рамках образовательных программ высшего образования и дополнительных профессиональных программ в вузовском секторе.
«Нам удалось провести настоящий хакатон, когда нет заранее понятного пайплайна, как получить решение»
С 13 по 20 октября в НИУ ВШЭ прошел хакатон “HSE AI Assistant Hack: Python”, организованный факультетом компьютерных наук и Центром искусственного интеллекта ВШЭ. За призовые места боролись 89 студенческих команд из ведущих вузов страны.
Ученые Вышки представили разработки, связанные с применением ИИ в медицине
Искусственный интеллект не заменит врача, но может стать ему отличным помощником. При этом здравоохранение нуждается в высокотехнологичных продуктах, которые способны быстро анализировать и контролировать состояние пациентов. Ученые Вышки применили ИИ для предоперационного планирования и постоперационной оценки результатов в спинальной хирургии и разработали автоматическую интеллектуальную систему для оценки биомеханики рук и ног.
Ученые Вышки представили проекты по этической экспертизе в сфере ИИ
Технологии искусственного интеллекта уже стали неотъемлемой частью повседневной жизни и активно применяются в различных отраслях экономики. Однако этические вопросы использования ИИ все еще требуют обсуждения и осмысления. Сегодня в России с участием ученых НИУ ВШЭ ведется работа над несколькими отраслевыми приложениями к национальному Кодексу этики в сфере ИИ, в которых будут конкретные рекомендации в помощь каждому, кто нуждается в понимании и анализе рисков и угроз со стороны ИИ.
Три команды ВШЭ стали победителями на всероссийском хакатоне «Цифровой прорыв»
В конце сентября в Москве состоялся всероссийский хакатон «Цифровой прорыв. Сезон: Искусственный интеллект». На соревнование собрались 314 команд и 1616 человек со всей страны. Они состязались в решении задач от партнеров хакатона — государственных организаций и компаний: «РЖД», «Росатома», Центра робототехники Сбера, «Сколтеха» и многих других. Три команды студентов факультета компьютерных наук НИУ ВШЭ приняли участие в хакатоне и выиграли в двух кейсах.
С помощью ученых НИУ ВШЭ и Сбера преподаватели смогут повысить качество онлайн-обучения
Ученые Центра искусственного интеллекта НИУ ВШЭ и исследователи Лаборатории искусственного интеллекта Сбербанка научились определять вовлеченность участников онлайн-мероприятий. Метод, основанный на анализе видео лица, помогает выявить, насколько слушатель заинтересован в материале. Научная статья о проведенном исследовании опубликована в рамках Международной конференции по искусственному интеллекту в образовании — AIED 2024.
Вышка расширит сотрудничество с Агентством стратегических инициатив для разработки передовых решений
В Высшей школе экономики прошел День знакомства университета и Агентства стратегических инициатив (АСИ). Стороны представили свои исследовательские и аналитические проекты и наметили направления совместной работы. Задача ученых и экспертов — повысить эффективность и ускорить внедрение в практику прорывных научных разработок по широкому спектру направлений — от экономических прогнозов до нейропротезирования.
Исследователи НИУ ВШЭ и Сбера добавят эмоций искусственному интеллекту
Ученые Центра искусственного интеллекта НИУ ВШЭ и исследователи Лаборатории искусственного интеллекта Сбербанка разработали специальную систему, которая с помощью больших языковых моделей сделает искусственный интеллект (AI) более эмоциональным при общении с человеком. Синтезом AI-эмоций займутся набирающие популярность мультиагентные модели. Научная работа о проведенном исследовании опубликована в рамках Международной совместной конференции по искусственному интеллекту — IJCAI 2024.
Вышка и «Яндекс» научат преподавателей российских вузов ИИ-грамотности
«Яндекс Образование» и факультет компьютерных наук НИУ ВШЭ (ФКН ВШЭ) создали совместный онлайн-гайд, посвященный промптингу — формулированию запросов к нейросетям. Он доступен всем на платформе «Яндекса» и в первую очередь будет полезен преподавателям, которые никогда не пользовались GPT в работе или только начинают применять ИИ-инструменты. Как правильно создать запрос к нейросети? Как грамотно использовать GPT-модели в образовательных целях? Какие задачи преподаватели могут решать с помощью искусственного интеллекта? Гайд отвечает на эти и другие вопросы по работе с нейросетями.
«Оставаться конкурентным специалистом без применения нейросетей может стать нелегкой задачей»
Цифровые технологии прочно вошли в нашу жизнь и продолжают стремительно развиваться. Неудивительно, что все чаще возникает вопрос, сможет ли однажды искусственный интеллект полностью заменить специалистов. О перспективах лингвистики в эпоху нейросетей рассуждает Даниил Осипов, кандидат филологических наук, доцент Школы иностранных языков НИУ ВШЭ.