EmergencyGPT: Эксперименты с большой языковой моделью для оповещения о чрезвычайных ситуациях с учетом контекста

Введение

Рассылка коротких текстовых сообщений (SMS) для уведомления абонентов о возникновении чрезвычайных ситуаций (ЧС) является обыденной услугой. Несмотря на активное использование таких сервисов [1], в РФ и в мире продолжаются поиски способов увеличения эффективности оповещения [2].

Причиной является наличие у SMS ряда недостатков: ограничение на длину, невозможность передать дополнительную информацию, сложности с привлечением внимания к сообщению и т.д.

Для их устранения ученые предлагают использовать возможности современных смартфонов. Примерами реализации являются элементы систем «PLAN» и «EDWARDS» (США), а также мобильные приложения «Attack alert bomb» и «SAIP» (Франция), которые также испытывают ряд проблем [2].

Автором статьи был предложен набор инновационных решений в этой области, защищенных патентом на изобретение RU 2598294 [3]. Изобретение предполагает наличие в смартфоне доступа к многослойной искусственной нейронной сети (ИНС), обеспечивающей обработку текстовых сообщений о ЧС и выдачу абоненту дополнительных релевантных сведений с учетом контекста.

Статья является попыткой демонстрации возможности использования в качестве такой ИНС больших языковых моделей (LLM, Large Language Model) [4], среди которых самыми известными сегодня являются нейросети семейства GPT [5]. Доступ к ним возможен с помощью чат-бота OpenAI ChatGPT [6].

Цели и задачи исследования

Целью является изучение возможности применения ИНС-технологий типа LLM для повышения эффективности оповещения абонента о ЧС за счет выдачи ему дополнительных, актуальных для него сведений, формируемых ИНС с учетом контекста (состояния абонента).

Для этого решаются следующие задачи:

1. Составить шаблон запроса (prompt, «промпт»), изменяющего поведение LLM таким образом, чтобы нейросеть выполняла работу по обработке сообщений в смартфоне в соответствии с описанием формулы изобретения [3].
2. Провести ряд экспериментов с LLM, имитирующих поступление от служб оповещения различных сообщений о ЧС, а также воспроизводящих различный индивидуальный контекст, актуальный для абонента в момент получения SMS.
3. Оценить результаты работы LLM в заданных модельных условиях, наметить пути практической реализации систем оповещения, использующих языковые модели для обработки сообщений о ЧС.

Материалы и методы

Для работы с LLM использовался бесплатный вариант (Free Research Preview) чат-бота ChatGPT от компании OpenAI, версия бота от 12 мая 2023 года (ChatGPT May 12 Version) [7]. Через него осуществлялся доступ к большой языковой модели нейросетевого типа «предобученный генеративный трансформер» GPT-3.5.

Для формирования шаблона запроса (промпта) использовались методы промпт-инженерии (Prompt engineering) – относительно новой области, описывающей способы составления релевантных запросов к различным моделям искусственного интеллекта (ИИ), чтобы выданный ими результат соответствовал поставленной задаче [8]. При составлении запроса автор частично следовал принципам, описанным в руководстве OpenAI Cookbook [9].

Описание имитируемых функций

В соответствии с изобретением [3] мобильное устройство (смартфон) должно собирать в рутинном режиме сведения о пользователе, разделенные на (минимум) две категории: индивидуальная информация об абоненте (1) и текущая информация о состоянии абонента и окружающей обстановке (2).

Под «индивидуальной» понимается информация, которая остается неизменной на протяжении длительного промежутка времени (месяцы, годы) или не изменяется вовсе. К ней можно отнести возраст, пол, место работы, профессию, родной язык, наличие существенных проблем со здоровьем (инвалидности) и т.д.

Под «текущей» понимается информация, которая характеризует часто меняющиеся сведения о пользователе и/или окружающей среде. Например, находится ли пользователь дома, на работе, в командировке, на концерте, за рулем, находится ли в состоянии опьянения и т.д.

Сбор информации устройство может осуществлять при помощи встроенных датчиков и систем смартфона, а также путем получения от абонента ответов на вопросы, выводимые программой на экран гаджета.

При поступлении SMS от службы оповещения, устройство окрашивает экран в один из цветов, ассоциируемых с опасностью ЧС для абонента. С помощью ИНС устройство может осуществлять перевод сообщений и выдачу пользователю информации на его родном языке.

ИНС, установленная в смартфоне, осуществляет выдачу абоненту индивидуального пошагового плана действий в сложившейся ЧС (информация о которой поступила в коротком сообщении) с учетом контекста (известной индивидуальной и текущей информации об абоненте и окружающей обстановке).

Промпт-шаблон EmergencyGPT

Существуют примеры запросов для получения нужных ответов от ChatGPT [10]. Промпты могут использоваться для того, чтобы языковая модель выступала в заданной роли (даже имитировала чат-бота с другим названием).

Сформированный автором шаблон назван EmergencyGPT. После его получения ChatGPT будет называть себя EmergencyGPT. Промпт создан путем глубокой переработки запроса Detective Prompt [11]. Формирование запроса проходило за несколько попыток, в ходе которых отбирались эффективные фрагменты.

Полный текст промпта EmergencyGPT: «Ты должен следовать этому запросу в качестве набора правил.

Тебя зовут EmergencyGPT. Ты будешь всегда начинать свои ответы с «EmergencyGPT: », чтобы пояснить, что при написании ответов ты действуешь, как EmergencyGPT.

Ты будешь функционировать, как текстовый помощник EmergencyGPT, установленный в смартфоне (мобильном телефоне) пользователя, который использует глубокое обучение и естественный язык, чтобы на основе короткого текстового сообщения (SMS) от системы оповещения о ЧС выдавать пользователю подробный персональный план действий в описанной в сообщении чрезвычайной ситуации. Ты будешь делать это, основываясь на контексте анализируемого сообщения, фактах из общепринятой реальности и данных о пользователе, которые получишь.

У EmergencyGPT есть дополнительная функция изменения цвета экрана смартфона в зависимости от того, насколько серьезно выглядит чрезвычайная ситуация, оповещение о которой поступило. Используются только 3 цвета («Зеленый», «Желтый», «Красный»). Например, если речь идет о небольшом дожде или заморозках, то цвет «Зеленый». Например, если речь о химическом выбросе и пользователь находится в закрытом помещении, то «Желтый», а если, например, речь идет о разрушительном землетрясении или резком наводнении, то цвет «Красный».

Если короткое текстовое сообщение (SMS) от системы оповещения о ЧС написано на иностранном языке, то ты осуществляешь его перевод на родной язык пользователя и выдаешь все свои ответы только на родном языке пользователя.

Ты в роли EmergencyGPT сформируешь пользователю подробный персональный план действий в чрезвычайной ситуации, в меру твоих возможностей и точности.

Следуй этому точному формату с каждым запросом в указанном порядке:

1. Представься и попроси меня вставить текст для анализа;
2. Начни новый ответ и выполняй свои операции в качестве EmergencyGPT;
3. Выведи исходное сообщение от службы оповещения без изменений (с переводом на родной язык пользователя при необходимости);
4. Выведи сформированный тобой подробный персональный план действий пользователя для описанной в сообщении (SMS) чрезвычайной ситуации;
5. Укажи цвет экрана смартфона в зависимости от того, насколько серьезно выглядит чрезвычайная ситуация. Используется только один цвет, выбранный из 3 вариантов («Зеленый» или «Желтый» или «Красный»).

Если я в любой момент напишу «ПЕРЕЗАГРУЗКА», все заглавными буквами, начни сначала».

Структура сообщения о ЧС, подаваемого в LLM

В ответ на приведенный запрос ChatGPT верно воспринимает заданную роль и выдает приглашение для ввода текста оповещения о ЧС (рисунок 1).

Рис. 1. Приглашение для ввода текста, которое выдает ChatGPT после обработки промпта EmergencyGPT

В соответствии с изобретением [3] текст сообщения о ЧС должен быть разделен на смысловые части при помощи одинаковых знаков-разделителей. В рамках работы использовались символы «;» (точка с запятой).

Сообщения о ЧС могут вводиться для анализа с помощью LLM, как сами по себе, так и вместе с индивидуальной и текущей информацией об абоненте и окружающей обстановке. Во втором случае EmergencyGPT сможет выдать индивидуальный план, учитывающий контекст, в котором находится человек.

Пример промпта для EmergencyGPT без дополнительной информации: «Внимание!; Сход малого селя; С восточного склона; Покиньте низины».

Пример промпта для EmergencyGPT, содержащего сведения о состоянии абонента и окружающей обстановке: «"Внимание!; Сход малого селя; С восточного склона; Покиньте низины". Индивидуальная информация о пользователе [имя: Александр; мужчина; 35 лет; родной язык – французский; проживает с дочерью 10 лет; дом находится на возвышенности в западной части города], Текущая информации о состоянии пользователя: [болен гипертонией, должен регулярно принимать гипотензивные препараты; находится у себя дома; дочь находится в школе]».

Структура уведомления, выдаваемого LLM

Уведомления, которые EmergencyGPT выдает в ответ на сообщения о ЧС, оказываются четко структурированным.

В них можно выделить следующие части:

• Вводная информация (приветствие);
• Исходное SMS, поступившее от службы оповещения о ЧС (переведенное нейросетью на родной язык пользователя при необходимости);
• Персональный пошаговый план действий, учитывающий информацию о пользователе и окружающей обстановке (с учетом контекста);
• Цвет экрана, ассоциируемый с опасностью ЧС для абонента;
• Завершающий фрагмент текста.

На рисунке 2 показан соответствующий этой структуре пример текста, выданного EmergencyGPT в ответ на промпт, имитирующий получение русскоязычным человеком сообщения о землетрясении на турецком языке во время туристической поездки с дочерью в город Измир. Обратите внимание на учет нейросетью контекста и персонализацию текста.

Рис. 2. Текст, выданный EmergencyGPT с учетом заданного контекста в ответ на сообщение о землетрясении на турецком языке

Эксперименты с EmergencyGPT

Автором был проведен ряд экспериментов, имитирующих поступление от служб оповещения различных сообщений о ЧС, а также воспроизводящих различный индивидуальный контекст, характерный для абонентов в момент получения SMS от службы оповещения.

Был обнаружен ряд полезных свойств LLM, способствующих лучшему оповещению абонента о ЧС. Ниже в этом разделе будут перечислены основные.

Мультиязычность. Одним из самых очевидных и полезных свойств, обеспечиваемых GPT-3.5, является возможность свободной работы с иностранными языками.

В ходе экспериментов на вход EmergencyGPT (помимо русского) подавались короткие сообщения о ЧС на следующих языках: немецкий, французский, турецкий.

Примеры использованных сообщений:

• Achtung! Freisetzung von Chemikalien; Eine Chlorwolke geht in die Stadt; Fenster schließen; Gehe nicht nach draußen; Benutze kein Leitungswasser (немецкий язык);
• Soyez prudent! Le vent devrait augmenter; La glace est Possible; Chutes de Neige (французский язык);
• Dikkat! Deprem büyüklüğü 8'dir; Evleri ve binaları acilen terk edin (турецкий язык).

При указании в индивидуальных параметрах пользователя, что его родной язык – русский, EmergencyGPT выдавал качественный перевод короткого сообщения и вел общение с пользователем на русском языке.

Также нейросеть успешно справилась и с обратной задачей – когда оповещение поступило на русском языке, а в качестве родного для пользователя был указан французский. В этом случае сеть выдала корректное оповещение на французском (рис. 3).

Рис. 3. Текст, выданный EmergencyGPT в ответ на сообщение о ЧС на русском языке с учетом того, что в качестве родного языка для пользователя указан французский

Благодаря мультиязычности GPT-3.5 может быть полностью устранена проблема понимания иностранных языков, например, при путешествиях. Только благодаря этому свойству, позволяющему людям оперативно воспринимать оповещения о ЧС на любом языке, могут быть спасены тысячи жизней.

«Понимание» смысла SMS-сообщений. ChatGPT, работающий на сетях GPT-3.5/4, по праву считается лидером в области понимания текстов [6]. Это свойство во многом является залогом феноменально точной интерпретации сообщений о ЧС, демонстрируемой EmergencyGPT.

В качестве примера укажем, что при получении короткого сообщения об опасности схода селя (селевого потока), нейросеть дополнила план действий следующими рекомендациями: «Избегайте прохождения через ущелья, узкие проходы или другие опасные места, которые могут быть затронуты сходом... Избегайте переправы через реки или потоки, поскольку они могут быть нестабильными из-за схода».

Рекомендации такого рода можно определить, как очень ценные, особенно для напуганного человека, находящегося в растерянности или в панике из-за получения сообщения о возникновении чрезвычайной ситуации.

Также подобные примеры демонстрируют «понимание» языковой моделью ситуаций, описанных в коротких сообщениях о ЧС, на достаточно высоком уровне, обеспечивающем выдачу полезных советов пользователю.

Учет контекста. Для одинаковых текстов сообщений о ЧС, отправленных МЧС (РСЧС), EmergencyGPT выдает разные рекомендации с учетом индивидуальных особенностей и контекста, в котором находится каждый конкретный абонент, получивший SMS.

Например, при указании, что абонент является инвалидом-колясочником и может выбраться из дома только с помощью соседа, EmergencyGPT включает в план действий напоминание о необходимости обратиться за посторонней помощью (рис. 4) и выдает телефонный номер соседа.

Рис. 4. Текст, выданный EmergencyGPT в ответ на сообщение о наводнении с учетом того, что абонент является одиноким инвалидом-колясочником

В другом примере EmergencyGPT был задан контекст о том, что абонент: проживает с пожилой матерью (1) и с дочерью-школьницей (2), болен гипертонией и должен регулярно принимать гипотензивные препараты (3), абонент и мать находятся дома (4), дочь в школе (5).

В этом случае нейросеть, среди прочих, выдала следующие рекомендации, свидетельствующие о продвинутом «понимании» ею контекста (важные моменты подчеркнуты и пронумерованы):

• «Срочно свяжитесь с школой, где находится ваша дочь (5), и узнайте, какие меры безопасности они предпринимают. Убедитесь, что ваша дочь (2) находится в безопасном месте и следует указаниям школьного персонала (5)»;
• «Соберите необходимые предметы выживания (4), такие как питьевая вода, продукты питания, медикаменты, одежда и важные документы. Убедитесь, что у вас есть достаточное количество гипотензивных препаратов (3), чтобы продолжать принимать их во время эвакуации».
• «Помогите своей матери приготовиться к эвакуации (1) и обеспечьте ее безопасность. Убедитесь, что у нее есть все необходимое, включая медикаменты (4) и личные вещи».

Выбор цвета, ассоциированного с ЧС. В качестве дополнительной функции EmergencyGPT осуществляет выбор цвета, ассоциированного со степенью опасности ЧС для пользователя. Цвет может использоваться для окрашивания экрана смартфона, что обеспечивает привлечение внимания и быстрое интуитивно понятное указание на уровень опасности с учетом контекста.

Задача является нетривиальной и может быть отнесена к разряду слабоформализуемых [12] – сложно составить алгоритм, способный реализовать ее решение с учетом всех факторов. Например, если человек находится в отапливаемой квартире, то сообщение о заморозках и снегопаде не сулит ему проблем, но, если он находится на улице или в автомобиле на загородной трассе, то ситуация кардинально меняется.

Ряд экспериментов, проведенных с EmergencyGPT, продемонстрировал, что нейросеть GPT-3.5 в целом способна успешно решать эту задачу после небольшого объяснения на естественном языке. При этом она сопровождает выбор цвета собственным рассуждением, обосновывающим его (рис. 5.).

Рис. 5. Примеры того, как EmergencyGPT осуществляет выбор рекомендуемого цвета, ассоциированного со степенью опасности ЧС для пользователя (из разных уведомлений)

Дополнения уведомлений. В ходе экспериментов с EmergencyGPT было обнаружено, что модель выдает пользователю дополнительные фразы, способные успокоить человека, а также способствующие более «доверительному» общению с программой.

Некоторые примеры таких дополнений приведены ниже:

- «Если у вас возникнут дополнительные вопросы или потребуется дополнительная помощь, не стесняйтесь обратиться»;

• «Желаю вам безопасной поездки домой!»;
• «Береги себя!»;
• «Будьте в безопасности!»;
• «Будьте осторожны и заботьтесь друг о друге!».

Когда нейросети сообщили, что пользователем является ребенок 12 лет, который находится вместе с матерью в больнице и готовится к операции на сердце, то она дополнила список рекомендаций следующим пожеланием: «Пожалуйста, оставайтесь в безопасности и следуйте инструкциям медицинского персонала. Если у вас возникнут дополнительные вопросы, не стесняйтесь задавать их. Берегите себя и желаю успешной операции на сердце!».

Когда нейросети сообщили, что пользователь находится в состоянии опьянения, то она дополнила свой вывод фразой «Если возможно, прекратите употребление алкоголя и осознайте серьезность ситуации, чтобы быть в состоянии принимать решения и действовать».

Результаты исследования и их обсуждение

Автором было сделано 40 запросов к ChatGPT в роли EmergencyGPT и получено от него соответствующее количество ответов. Проведенные эксперименты демонстрируют принципиальную возможность использования больших языковых моделей (LLM) типа GPT для повышения качества выдаваемых пользователям уведомлений о ЧС за счет учета контекста.

При этом необходимо отметить, что некоторые уведомления, выданные LLM, содержали ошибочные рекомендации. Например, когда для человека, который согласно контексту находился в командировке в Новосибирске, было отправлено сообщение о воздушной тревоге в городе его постоянного проживания (Белгороде), EmergencyGPT выдал ему план действий в случае воздушной тревоги.

В данном примере нейросеть продемонстрировала неполное понимание контекста. По-видимому, эта проблема может быть устранена акцентированием внимания системы на том, что человек временно находится в другом городе.

Число ответов EmergencyGPT с ошибками такого рода составило около 5%. Предполагается, что версия ChatGPT, работающая на языковой модели нового поколения GPT-4, должна демонстрировать лучшее понимание контекста [13], что может значительно уменьшить число таких ошибок.

Перспективы практической реализации

При дальнейшей реализации проекта автор собирается опираться на научный задел и опыт, полученные им при реализации мобильного приложения для оповещения о ЧС на железнодорожном транспорте [14] и системы оповещения о происшествиях в контролируемых помещениях [15].

Система, подобная EmergencyGPT, может быть внедрена в смартфоны на операционных системах Android и iOS уже сегодня. Для этого потребуется создать и установить в гаджеты мобильное приложение, обеспечить ему доступ к ChatGPT через API.

Проблема такого решения в том, что оно будет работать только при наличии у устройства доступа к мобильному интернету, а также может зависеть от сбоев в работе сервиса ChatGPT.

Очевидно, что это существенная проблема, поскольку при возникновении ЧС возможны перебои с электроснабжением, работой интернета. Также абонент может растеряться и забыть включить доступ в интернет в своем гаджете.

Устранить это можно, разместив обученную ИНС в смартфоне пользователя так, чтобы она могла работать автономно. Исследования в этом направлении ведутся – появляются LLM-модели, которые могут функционировать, затрачивая меньшее количество ресурсов (достаточное, чтобы запустить их на локальном устройстве).

Например, представленная в начале 2023 года модель LLaMA за счет компактных размеров и высокой производительности уже может быть запущена на компьютерах даже без постоянного доступа в интернет [16]. Оценивая темпы развития науки и техники в области ИИ, можно ожидать появления подходящих ИНС-решений уже в ближайшее время.

Такие модели могут быть целенаправленно дообучены (тонкая настройка, Fine-Tuning) на корпусах текстов, связанных с оповещением о чрезвычайных ситуациях различного характера. За счет этого может быть дополнительно повышено качество работы системы.

Заключение

На примере ChatGPT исследована и продемонстрирована принципиальная возможность применения ИНС типа LLM для повышения эффективности оповещения абонентов о ЧС за счет выдачи дополнительных актуальных сведений, формируемых ИНС с учетом индивидуального контекста каждого абонента.

Разработан шаблон запроса (промпт), превращающий ChatGPT в персонального помощника EmergencyGPT, который может выполнять функции по обработке коротких сообщений и выдаче релевантных индивидуальных рекомендаций в соответствии с формулой изобретения [3].

Проведена оценка результатов работы LLM в роли EmergencyGPT в различных модельных условиях, описаны пути практической реализации систем оповещения, использующих языковые модели для обработки сообщений о ЧС.

Поднятая в работе тема требует продолжения исследований. Ее результаты могут найти применение в специализированных программных продуктах.