Дослідники Стенфорда навчили ШІ розпізнавати емоції по ЕКГ

Новий підхід до розпізнавання емоцій від аналізу обличчя до фізіології

Традиційні методи розпізнавання емоцій за допомогою штучного інтелекту зазвичай базуються на аналізі візуальних даних, таких як вираз обличчя, жести або інтонація голосу. Однак ці зовнішні прояви не завжди точно відображають справжній внутрішній стан людини, оскільки їх можна контролювати або приховувати. На противагу цьому, фізіологічні показники, такі як серцевий ритм, є більш надійними індикаторами, оскільки вони керуються автономною нервовою системою і піддаються свідомому контролю набагато важче. Дослідники зі Стенфордського університету розробили нову модель машинного навчання, яка здатна інтерпретувати складні патерни серцебиття та пов’язувати їх з конкретними емоційними станами, використовуючи лише дані електрокардіограми (ЕКГ).

Це дослідження відкриває шлях до створення більш точних та неінвазивних систем емоційного моніторингу, які можуть знайти застосування у багатьох сферах, від медицини до інтерфейсів людина-машина. Можливість об’єктивно оцінювати емоційний стан без необхідності візуального спостереження є особливо цінною в ситуаціях, де використання камер неможливе або небажане через міркування приватності. Фізіологічна діагностика дозволяє уникнути багатьох суб’єктивних викривлень, які виникають при використанні класичних методів комп’ютерного зору.

Методологія дослідження та використання глибинного навчання

Для навчання своєї моделі дослідницька група використовувала існуючий набір даних, що містить записи ЕКГ та інформацію про самооцінку емоцій учасників. Цей датасет включав дані від людей, які піддавалися впливу різних емоційних подразників, таких як перегляд відеокліпів або прослуховування музики, що викликали широкий спектр емоцій – від радості та спокою до страху та гніву. Основною складністю була нетиповість даних ЕКГ для задач розпізнавання емоцій, що вимагало розробки спеціалізованої архітектури нейронної мережі.

Архітектура нейронної мережі та обробка сигналів

Дослідники застосували архітектуру на основі згорткових нейронних мереж (CNN) та рекурентних нейронних мереж (RNN), зокрема довгу короткострокову пам’ять (LSTM). CNN ефективно виділяють локальні ознаки з сигналу ЕКГ, такі як форма окремих зубців та інтервалів, тоді як LSTM здатні аналізувати довгострокові часові залежності та патерни серцевого ритму. Модель вчилася виявляти тонкі зміни в ЕКГ, які корелюють з різними емоційними станами, враховуючи як амплітудні, так і часові характеристики сигналу.

Процес навчання включав етап попередньої обробки даних для видалення шумів та артефактів із записів ЕКГ. Потім модель тренувалася класифікувати емоції за двома основними вимірами – валентність (позитивна чи негативна) та активація (низька чи висока), а також розпізнавати конкретні дискретні емоції. Для підвищення точності класифікації використовувалися методи регуляризації та крос-валідації. Сигнал оброблявся на частоті 256 Гц з розбиттям на вікна тривалістю 10 секунд.

Результати та ефективність розробленої моделі

За результатами тестування на незалежному наборі даних, розроблена стенфордськими вченими модель продемонструвала високу точність у розпізнаванні емоцій на основі даних ЕКГ. Модель показала кращі результати, ніж попередні підходи, які використовували простіші методи аналізу варіабельності серцевого ритму. Вона змогла ефективно розрізняти не лише базові емоційні стани, а й більш тонкі відтінки почуттів.

Точність класифікації варіювалася залежно від конкретної емоції, але в цілому була стабільно високою для обох вимірів (валентність та активація). Модель також продемонструвала хорошу узагальнюючу здатність, показуючи надійні результати на даних від нових учасників, які не брали участі у процесі навчання. Це свідчить про те, що виявлені патерни ЕКГ є загальними для різних людей і не залежать від індивідуальних особливостей серцевої діяльності.

Порівняння з іншими фізіологічними показниками

Окрім ЕКГ, дослідники також розглядали можливість використання інших фізіологічних показників, таких як шкірно-гальванічна реакція (SGR) та дихання. Хоча ці показники також корелюють з емоційними станами, аналіз даних ЕКГ виявився найбільш інформативним та забезпечив найвищу точність розпізнавання емоцій. Це підтверджує, що серцевий ритм є одним з найважливіших фізіологічних маркерів емоцій.

Порівняння ефективності використання різних фізіологічних сигналів наведено в таблиці нижче.

Потенційні сфери застосування та майбутні дослідження

Технологія розпізнавання емоцій на основі ЕКГ має широкий спектр потенційних застосувань у різних галузях. У медицині вона може бути використана для моніторингу емоційного стану пацієнтів з психічними розладами, оцінки ефективності терапії, а також для ранньої діагностики стресу та тривожності. У сфері безпеки ця технологія може допомогти в оцінці стану операторів критично важливих систем, таких як пілоти, водії та диспетчери, для запобігання помилкам, викликаним емоційним напруженням.

Основні напрямки подальшого практичного впровадження:

• Медичний моніторинг пацієнтів у реальному часі без постійного нагляду персоналу.
• Маркетингові дослідження реакції споживачів на продуктові рішення.
• Адаптивні системи безпеки в транспортних засобах для контролю стану водія.
• Персоналізована навчальна онлайн-середовище з корекцією навантаження.

Майбутні дослідження в цій галузі будуть спрямовані на підвищення точності розпізнавання емоцій, розробку більш компактних та неінвазивних пристроїв для запису ЕКГ, а також на вивчення можливості використання інших фізіологічних сигналів у комбінації з ЕКГ.