Ученые Стэнфорда обучили ИИ распознавать эмоции по ЭКГ

Новый подход к распознаванию эмоций от анализа лица к физиологии

Традиционные методы распознавания эмоций с помощью искусственного интеллекта обычно базируются на анализе визуальных данных, таких как выражение лица, жесты или интонация голоса. Однако эти внешние проявления не всегда точно отражают настоящее внутреннее состояние человека, поскольку их можно контролировать или скрывать. В противоположность этому, физиологические показатели, такие как сердечный ритм, являются более надежными индикаторами, так как они управляются автономной нервной системой и поддаются сознательному контролю гораздо хуже. Исследователи из Стэнфордского университета разработали новую модель машинного обучения, способную интерпретировать сложные паттерны сердцебиения и связывать их с конкретными эмоциональными состояниями, используя только данные электрокардиограммы (ЭКГ).

Это исследование открывает путь к созданию более точных и неинвазивных систем эмоционального мониторинга, которые могут найти применение во многих сферах, от медицины до интерфейсов человек-машина. Возможность объективно оценивать эмоциональное состояние без необходимости визуального наблюдения особенно ценна в ситуациях, где использование камер невозможно или нежелательно из соображений конфиденциальности.

Методология исследования и архитектура нейросети

Для обучения своей модели исследовательская группа использовала существующий набор данных, содержащий записи ЭКГ и информацию о самооценке эмоций участников. Этот датасет включал данные от людей, подвергавшихся воздействию различных эмоциональных раздражителей, таких как просмотр видеоклипов или прослушивание музыки, вызывавших широкий спектр эмоций — от радости и спокойствия до страха и гнева. Основной сложностью была нетипичность данных ЭКГ для задач распознавания эмоций, что потребовало разработки специализированной архитектуры нейронной сети.

Архитектура нейронной сети и обработка сигналов

Исследователи применили архитектуру на основе сверточных нейронных сетей (CNN) и рекуррентных нейронных сетей (RNN), в частности долгую краткосрочную память (LSTM). CNN эффективно выделяют локальные признаки из сигнала ЭКГ, такие как форма отдельных зубцов и интервалов, тогда как LSTM способны анализировать долгосрочные временные зависимости и паттерны сердечного ритма. Модель училась выявлять тонкие изменения в ЭКГ, коррелирующие с различными эмоциональными состояниями.

Процесс обучения включал этап предварительной обработки данных для удаления шумов и артефактов из записей ЭКГ. Затем модель тренировалась классифицировать эмоции по двум основным измерениям — валентность (положительная или отрицательная) и активация (низкая или высокая), а также распознавать конкретные дискретные эмоции. Для повышения точности классификации использовались методы регуляризации и кросс-валидации. Сигнал обрабатывался на частоте 256 Гц с разбивкой на окна длительностью 10 секунд.

Результаты и эффективность разработанной модели

По результатам тестирования на независимом наборе данных, разработанная стэнфордскими учеными модель продемонстрировала высокую точность в распознавании эмоций на основе данных ЭКГ. Модель показала результаты лучше, чем предыдущие подходы, использовавшие более простые методы анализа вариабельности сердечного ритма. Она смогла эффективно различать не только базовые эмоциональные состояния, но и более тонкие оттенки чувств.

Точность классификации варьировалась в зависимости от конкретной эмоции, но в целом была стабильно высокой для обоих измерений (валентность и активация). Модель также продемонстрировала хорошую обобщающую способность, показывая надежные результаты на данных от новых участников, не принимавших участия в процессе обучения. Это свидетельствует о том, что выявленные паттерны ЭКГ являются общими для разных людей.

Сравнение с другими физиологическими показателями

Помимо ЭКГ, исследователи также рассматривали возможность использования других физиологических показателей, таких как кожно-гальваническая реакция (SGR) и дыхание. Хотя эти показатели также коррелируют с эмоциональными состояниями, анализ данных ЭКГ оказался наиболее информативным и обеспечил наивысшую точность распознавания эмоций.

Сравнение эффективности использования различных физиологических сигналов приведено в таблице ниже.

Потенциальные сферы применения и будущие исследования

Технология распознавания эмоций на основе ЭКГ имеет широкий спектр потенциальных применений в различных областях. В медицине она может быть использована для мониторинга эмоционального состояния пациентов с психическими расстройствами, оценки эффективности терапии, а также для ранней диагностики стресса. В сфере безопасности эта технология может помочь в оценке состояния операторов критически важных систем, таких как пилоты и водители.

Основные направления дальнейшего практического внедрения:

• Медицинский мониторинг пациентов в реальном времени.
• Маркетинговые исследования реакции потребителей.
• Системы безопасности в транспортных средствах для контроля состояния водителя.
• Адаптивные цифровые образовательные среды.

Будущие исследования будут направлены на повышение точности распознавания эмоций, разработку более компактных устройств для записи ЭКГ и интеграцию дополнительных биометрических параметров.