Распознавание эмоционального состояния пользователя на основе анализа клавиатурного почерка

1. Введение

Эта статья посвящена анализу поведенческих паттернов при взаимодействии человека и компьютера. Поведенческие биометрические характеристики используются в системах безопасности или приложениях идентификации наряду с физиологическими характеристиками, такими как изображения лица, ладони, отпечатков пальцев или радужной оболочки глаза.

В статье описывается исследование, в ходе которого мы анализируем закономерности динамики нажатия клавиш при написании текстов, связанных с переживанием определённых эмоций. Участников попросили написать мнения об их худшем и лучшем воспоминании за прошедшее время, а также описать опыт лучшего и худшего путешествия. Во время написания текста осуществлялся сбор данных о динамических характеристиках нажатия клавиш. Объектом исследования при этом служит поведенческая биометрия, а предметом – динамические характеристики клавиатурного почерка.

При подготовке исследования не было обнаружено работ, посвященных такой же теме, что говорит о научной новизне исследования. Динамика нажатия клавиш часто анализировалась с целью аутентификации и идентификации пользователей, выявления мнений, мониторинга действий пользователя в системе. Задача, формулируемая в раках исследования сводится к определению различительного потенциала динамических характеристик клавиатурного почерка человека для целей определения его эмоционального состояния в момент набора текста. Хотя задача определения мнений кажется близким к настоящему исследованию, на самом деле это не совсем так. Тип выражаемого мнения может, но не обязательно должен вызывать определенное эмоциональное состояние, поэтому в рамках данного исследования пользователей просят описать воспоминания, что само по себе менее рационально и подвержено контролю со стороны человека.

2. Исследования со сходной проблематикой

Исследования, которые в наибольшей степени связаны с настоящим, включают работы по количественной оценке динамики нажатия клавиш и их использованию при анализе состояния человека. Все они падают в категорию поведенческой биометрии, основанной на том, как люди выполняют некоторые действия, которые варьируются в зависимости от различных навыков, стилей, предпочтений, знаний или стратегии [1]. Поведенческие биометрические данные, полученные с помощью стандартных устройств ввода, например динамика нажатия клавиш, движения мыши и жесты на сенсорном экране, имеют некоторые преимущества. Они не требуют какого-либо специального оборудования и незаметны для пользователей, поэтому могут быть записаны во время повседневной деятельности пользователей, не мешая им. С другой стороны, следует отметить, что они не являются стабильными во времени, что приводит к более низкой точности систем распознавания, основанных на этих измерениях, чем в случае физиологических параметров.

Подход с динамикой нажатия клавиш также может быть реализован не только на персональных компьютерах, но и на мобильных телефонах, которые, помимо виртуальной клавиатуры, предлагают возможность включения различных других датчиков для считывания данных в момент ввода, например, сенсорного экрана или акселерометра, а также могут интегрироваться с умными часами, регистрирующими различные физиологические характеристики [2,3]. Комбинация параметров динамики нажатия клавиш и физических характеристик человека, таких как пульс, движения, затраты энергии и сон, собранных с помощью умных часов, использовалась для прогнозирования настроения пользователей [4].

3  Методика исследования

В настоящей статье описывается подход к распознаванию эмоционального состояния людей при описании воспоминаний на основе анализа динамических характеристик клавиатурного почерка. В этом разделе приводится описание методов, которые были применены при разработке, выполнении и последующей обработке данных исследования.

3.1. Экспериментальная модель. Для проверки гипотезы исследования был разработан и проведен эксперимент. Полная рандомизация отбора испытуемых была невозможна в имеющихся условиях. Влияние этого факта и его возможные последствия рассматриваются в заключении. Все участники были добровольцами. Был использован единый подход, так как целью эксперимента было выявление различий между двумя состояниями одного и того же человека, а не индивидуальные отличия одного человека от другого.

Общий сценарий работы включал в себя несколько этапов:

1. Запущена программа для сбора динамических характеристик клавиатурного почерка.
2. Участнику эксперимента предложено заполнить анкету, включающую метрические данные, мнение о лучшем воспоминании за последний год, мнение о худшем воспоминании за последний год, воспоминание о лучшем путешествии, воспоминание о худшем путешествии.
3. В перерывах между описанием мнений участники дополнительно заполняли анкеты, связанные с эмоциями.
4. Затем программное обеспечение для захвата нажатий клавиш отключалось, и собранные данные о нажатиях клавиш сохранялись в файл.

Инструмент, используемый для определения эмоционального состояния участников до и между написанием мнений, представлял собой анкету самооценки [5], построенную на основе 9-балльной шкалу вместе с визуальным представлением испытываемой эмоции. Пример адаптированной анкеты самооценки представлен на рисунке 1.

Рис. 1. Анкета самооценки

Решение об использовании подобной анкеты самооценки было принято на основе цели исследования. Так как главной целью было выявить различия между положительными и отрицательными эмоциями при написании текстовых сообщений, наиболее подходящей шкалой стала трехмерная модель PAD (pleasure, arousal, dominance). Эта психологическая модель предложена А. Меграбианом и Дж. Расселом в 1974 году и служит для описания и измерения эмоциональных состояний человека. Эта модель основана на трех измерениях всех эмоций: удовольствие, возбуждение и беспокойство, а использованная анкета построена в рамках того же подхода.

3.2. Ход эксперимента. Компьютерный стенд для написания мнений был стандартизирован: использовались один и тот же компьютер, клавиатура и мышь. Участникам не платили за участие. В исследовании приняли участие 50 человек (40 мужчин, 10 женщин в возрасте от 25 до 30 лет). Мы хотели, чтобы выборка была как можно более однородной, поскольку мы не хотел анализировать влияние возраста на шаблоны нажатия клавиш, рассматривая его как смешивающую переменную. Различия в динамике нажатия клавиш среди различных возрастных групп были исследованы в ряде работ, посвященных распознаванию возраста на основе динамики нажатия клавиш [6]. После сбора полученные данные были анонимизированы. Данные одного участника были исключены из дальнейшего анализа, поэтому для анализа были использованы данные 49 участников. Причина исключения заключалась в том, что участник вводил случайные буквы вместо мнений, которые у него запрашивались. Пока участники писали мнения, данные о нажатиях клавиш записывались с помощью оригинальной программы. Программа была включена до того, как участник начал писать мнение, и была выключена после завершения ввода последовательности из четырёх описанных выше мнений. Один сеанс написания отзывов был запланирован на 5 минут (средняя продолжительность: 3 мин 22 сек, минимальная: 1 мин 09 сек, максимальная: 5 мин 11 сек). Затем временные ряды необработанных нажатий клавиш были обработаны, как описано в разделе 3.3.

Как описано выше, перед началом эксперимента и после написания каждого из четырех мнений участник заполнял анкету самооценки. Рисунок 2 демонстрирует средние значения удовольствия, возбуждения и беспокойства, рассчитанные на основе пяти анкет от всех участников. Это ярко отражает наличие динамики во времени. В случае с характеристиками удовольствия и возбуждения могут наблюдаться некоторые различия в ходе проведения эксперимента. А вот беспокойство, скорее всего, наиболее стабильно с течением времени. Частью этого исследования является анализ возможной взаимосвязи между этими изменениями значений PAD в зависимости от типа мнения (положительное / негативное).

Рис. 2. Средние значения трех измерений эмоционального переживания по этапам эксперимента

Рисунок 3 представляет распределение значений удовольствия, возбуждения и беспокойства, рассчитанных на основе четырех анкет самооценки от каждого участника, заполненных после написания каждого из четырех мнений. Можно заметить, что значения удовольствия смещаются в сторону положительных значений. В случае возбуждения экстремальное значение девять, указывающее на самый низкий уровень возбуждения, не зарегистрировано ни одним из участников.

а)

б)

в)

Рис. 3. Распределение значений силы переживаний: a) удовольствия, б) возбуждения и в) беспокойства

На рисунке 4 представлены аналогичные гистограммы, но созданные отдельно на основе отчетов, отправленных после положительных и отрицательных отзывов. Некоторые различия в распределении могут наблюдаться в случае удовольствия и возбуждения. Значения удовольствия, регистрируемые для положительных мнений, смещаются в сторону более низких значений (указывающих на большую интенсивность переживания), чем в случае отрицательных мнений, что кажется весьма прогнозируемым. Два распределения беспокойства почти перекрывают друг друга, что может свидетельствовать о том, что значения беспокойства не различаются между при написании положительных и отрицательных отзывов. Для фактического сравнения этих распределений был использован статистический тест. В связи с тем, что анкета самооценки представляет собой упорядоченную 9-балльную шкалу Лайкерта, был применен тест Манна-Уитни. Результаты представлены в таблице 1. Можно заметить, что распределение маркеров, связанных с положительными и отрицательными мнениями, существенно отличается (p-значение < 0,05) при ярких переживаниях удовольствия и возбуждения.

а)

б)

в)

Рис. 4. Распределение значений силы переживаний: a) удовольствия, б) возбуждения и в) беспокойства в зависимости от модальности описываемого воспоминания.

Таблица 1

Сравнение распределения значений PAD для положительных и негативных мнений: средние значения и результаты теста Манна-Уитни

Рисунок 5 демонстрирует аналогичные гистограммы, которые отражают результаты заполненных анкет самооценки, собранных после написания мнений о путешествиях и воспоминаниях. В этом случае также существует некоторое расхождение между двумя распределениями удовольствия, где мнениям о путешествиях присваивается больше значений свидетельствующих о высокой интенсивности переживания, чем о воспоминаниях. Результаты, полученные с помощью теста Манна-Уитни для этих распределений, представлены в таблице 2. Распределение маркеров воспоминаний и путешествий существенно отличается (p-значение < 0,05) для интенсивности переживания удовольствия.

а)

б)

в)

Рис. 5. Распределение значений силы переживаний: a) удовольствия, б) возбуждения и в) беспокойства в зависимости от содержания описываемого мнения

Таблица 2

Сравнение распределения значений PAD для описания путешествий и воспоминаний: средние значения и результаты теста Манна-Уитни

3.3. Процесс выделения признаков. Для сбора данных, поступающих с клавиатуры, использовалось приложение, работающее в фоновом режиме [7]. Участники сами запустили приложение в начале сессии и отключали в конце. Каждая сессия была организована полностью идентично. Факт, что некоторые данные о нажатиях клавиш захватывались и записывались, никак не влиял на привычное взаимодействие пользователя с персональным компьютером. Все участники были проинформированы о записи данных, однако они не были посвящены в детали исследования, особенно те, которые касаются выдвинутых гипотез. Все участники также знали, что данные о нажатиях клавиш впоследствии будут проанализированы. Такой подход к информированию был необходим для предотвращения преднамеренного изменения поведения при нажатии клавиш.

Первым этапом обработки данных является их сегментация. Из-за того, что пользователь может прерываться для обдумывания текста и переживания эмоций, вся последовательность нажатий клавиш была разделена на серию более коротких последовательностей в зависимости от наличия пауз. Для определения пределов набора последовательностей введен порог ожидания. Если время между нажатием клавиши и нажатием следующей превышало порог ожидания, то в этом месте серия разделялась. Большая величина порога приводит к получению более длинных непрерывных серий. Все временные характеристики, описанные далее, были рассчитаны относительно извлеченных серий. Разделение выполнялось с порогом, равным трем секундам.

После сегментации данных была выполнена процедура извлечения признаков. Ряд параметров был рассчитан на основе необработанных данных. Их можно разделить на следующие группы: функции биграмм, функции триграмм, специальные функции биграмм, частотные функции и скорость набора текста. Общее количество параметров составило 51. Подробный список всех функций представлен в таблице 3.

Функции биграмм и триграмм – это временные характеристики для двухбуквенных и трехбуквенных последовательностей. Все они основаны на параметрах, обычно используемых при анализе динамики нажатия клавиш, то есть времени нажатия клавиши, времени между отпусканием клавиши и нажатием следующей, продолжительности последовательностей клавиш (время между нажатием первой и нажатием последней клавиши в последовательности) и времени между последующими нажатиями клавиш. Кроме того, также было рассчитано количество событий в биграммах и триграммах. Это количество всех событий нажатия и отпускания клавиши в последовательности, поэтому обычно это четыре события в биграммах и шесть в триграммах. Иногда, особенно когда пользователь быстро вводит текст, случается, что пользователь нажимает следующую клавишу, прежде чем отпустить предыдущую. В таких случаях между обычными событиями могут появляться дополнительные события, и тогда значения этих атрибутов могут отличаться от четырех или шести, соответственно. Выборка данных, полученных от каждого пользователя, содержит множество биграмм и триграмм. Характеристики динамики нажатия клавиш были рассчитаны для каждой из них, а затем их средние значения и стандартные отклонения были сохранены как значения признаков в векторе признаков, результирующем соответствующую выборку.

Некоторые биграммы представляют собой последовательные нажатия двух клавиш, но не являются двухбуквенными сочетаниями. Это специальные квази-биграммы, содержащие либо левую, либо правую клавишу Shift в качестве первой, используемые для написания прописных букв. Учитывая высокую частоту появления таких квази-биграмм, они также были включены в анализ наряду с обычными биграммами.

Следующая группа характеристик – это частотные параметры. В отличие от биграмм и триграмм, они не описывают ритм нажатия клавиш. Некоторые такие параметры могут указывать на то, как пользователи вносят исправления (использование пробелов, клавиш удаления), перемещаются по тексту при помощи клавиш PgUp, PgDn, Home, End, Вверх, Вниз, Влево, Вправо) или работают со знаками пунктуации. Частота в этом контексте рассчитывается как отношение количества нажатий конкретной клавиши к общему количеству нажатий клавиш. Другая частотная характеристика была рассчитана иначе – как отношение количества прописных букв к общему количеству букв в набранном тексте. Кроме того, была рассчитана скорость набора текста, которая характеризуется количеством нажатий клавиш в секунду.

Таблица 3

Извлекаемые функции

3.4. Предварительная обработка данных. Эксперименты по классификации проводились как для исходных значений признаков, так и для значений, полученных после некоторой нормализации. К извлеченным объектам было применено несколько процедур нормализации. Для каждого пользователя было извлечено пять векторов признаков. Первый вектор, который можно назвать базовым, содержал характеристики, полученные на основе всего текста, набранного пользователем, то есть вся сессия не была разделена на положительную и негативную части, а рассматривалась как единый этап набора текста. Остальные четыре вектора были извлечены на основе двух положительных и двух отрицательных фрагментов текста соответственно. Затем были созданы два типа тренировочных наборов:

• абсолютный набор данных, содержащий исходные четыре вектора для каждого пользователя;
• относительный набор данных, содержащий для каждого пользователя четыре вектора после вычитания из них базового вектора пользователя.

Более того, оба набора были нормализованы путем стандартизации их так, чтобы они имели нулевое среднее значение и стандартное отклонение, равное 1.

3.5. Методы анализа. Анализ данных включал два основных этапа. Целью первого этапа была оценка полученных признаков с точки зрения их различительного потенциала. Прежде всего, было проверено, являются ли существенными различия значений собранных шаблонов нажатий клавиш при написании текстов с выражением положительных и негативных эмоций. Дополнительно, для оценки зависимости между признаками и классами при решении задач классификации использовалась функция взаимной информации [8]. Взаимная информация – статистическая функция двух случайных величин, описывающая количество информации, содержащееся в одной случайной величине относительно другой (1).

    (1)

В случае настоящего исследования сила эмоциональных переживаний удовольствия, возбуждения и беспокойства при описании положительных и негативных опытов. Такой подход используется при выборе признаков в качестве меры степени взаимосвязанности между наборами данных [9].

Целью второго этапа является обучение и тестирование классификаторов для этих трех классификационных задач. Было подготовлено и протестировано несколько классификаторов. В случае распознавания уровня удовольствия или возбуждения были применены три различные процедуры маркировки в зависимости от порогового значения. Подробное описание проведенного анализа и полученные результаты представлены далее.

4. Предварительные результаты

4.1. Оценка динамических характеристик клавиатурного набора текста. Собранный набор функций содержит 51 параметр. Большинство из них уже были включены в другие научные исследования [10]. Очевидно, что не все из них могут быть одинаково эффективны в решении поставленных задач и достижении цели настоящего исследовании. Поэтому целесообразно проанализировать важность отдельных параметров.

Цель первого теста состояла в выявлении характеристик, которые существенно различаются при описании положительных и негативных опытов. Для решения этой задачи использовался зависимый t-критерий для парных выборок [11], определяемый как:

    (2)

где  это средняя разница между значениями, полученными для положительных и негативных опытов соответственно, 

S_d – стандартное отклонение, а n – количество степеней свободы. В нашем случае был применен двусторонний критерий, поскольку не было никаких оснований предполагать какое-либо направление наблюдаемых изменений, то есть значения признаков могут как увеличиваться, так и уменьшаться.

Во втором столбце таблицы 4 представлены результаты тестирования для всех функций. t-статистика превысила критическое значение для уровня значимости p = 0,05 для 12 признаков, которые выделены жирным шрифтом. Большинство из них являются временными характеристиками, описывающими биграммы и триграммы. Одна из функций относится к частотным параметрам и описывает частоту использования пробела. В конечном счете оказалось, что скорость набора текста имеет существенные различия при описании положительных и негативных опытов.

Таблица 4

Парные результаты t-критерия для описаний положительных и негативных опытов, p-значения ниже 0,05 выделены жирным, ранги приведены в скобках

5. Заключение

Исследование предоставило некоторые результаты, которые указывают на то, что модели динамики нажатия клавиш могут способствовать исследованию эмоциональных состояний пользователей при написании текста на клавиатуре. Однако, поскольку различия в собранных данных для положительных и негативных мнений еще требуют дополнительного изучения, итоговые результаты будут представлены в дальнейшем. Кроме того, уже на текущем этапе можно заключить, что большой интерес представляют возможные будущие исследования, которые могут включать комбинацию динамических характеристик клавиатурного набора текста с динамическими характеристиками движений мыши или с физиологическими характеристиками пользователей. Среди ключевых проблем, с которыми сталкивается настоящее исследование, целесообразно подчеркнуть проблему измерений. В настоящем исследовании используется постановка предопределенной задачи (описание конкретного положительного и негативного пережитого опыта) и анкета самооценки. Уязвимость такого подхода состоит в том, что, оба инструмента подвержены влиянию различных факторов. В результате они могут не отражать фактическое эмоциональное состояние, а лишь визуализировать субъективное восприятие пользователем собственных эмоций, переживаемых в конкретный момент и более того, не самих эмоций, а воспоминаний о них. В конечном счете, для будущего исследования также потребуется большая и менее однородная группа участников.