Интеграция искусственного интеллекта в системы управленческой аналитики и поддержки принятия решений

Введение

Системы поддержки принятия решений появились в корпоративной практике задолго до широкого распространения машинного обучения. Их первоначальная функция состояла в том, чтобы предоставить руководителю упорядоченное представление накопленных сведений: отчёты, сводки, панели показателей. Ответственность за интерпретацию и за само решение целиком оставалась за человеком, а система выступала средством доставки информации.

Внедрение алгоритмических методов меняет это распределение. Система начинает не только показывать, но и утверждать: указывать вероятную причину отклонения, предсказывать значение показателя, предлагать вариант действия. Управленец оказывается перед выводом, происхождение которого он не в состоянии проверить теми же средствами, которыми он проверял бы расчёт в электронной таблице.

Именно здесь возникает содержательная проблема, отличающая аналитические системы от прочих направлений применения искусственного интеллекта на предприятии. В операционных задачах модель работает с большим потоком однотипных решений, и качество оценивается статистически. В управленческой аналитике решений мало, каждое существенно, и статистическая оценка качества модели плохо конвертируется в уверенность относительно конкретного вывода. Настоящая работа посвящена разбору этого разрыва и способов его сокращения.

Три класса аналитических задач

Разграничение классов аналитики, укоренившееся в профессиональной литературе, полезно не как классификация ради классификации, а потому, что классы существенно различаются требованиями к данным и характером ответственности.

Описательная аналитика отвечает на вопрос о том, что произошло. Она опирается на зафиксированные факты, её выводы проверяемы пересчётом, ошибка носит характер дефекта – неверная агрегация, некорректный фильтр, устаревший справочник. Внедрение машинного обучения на этом уровне ограничивается вспомогательными задачами: автоматическим обнаружением аномалий в показателях, кластеризацией объектов учёта, выявлением статистически значимых расхождений между сегментами. Риск низок, поскольку ответ остаётся проверяемым.

Предсказательная аналитика отвечает на вопрос о вероятном будущем. Проверка вывода здесь невозможна в момент его получения – только по прошествии времени. Ошибка перестаёт быть дефектом и становится статистическим свойством: модель ошибается с определённой частотой по построению. Управленческая практика к такому характеру утверждений приспособлена плохо, поскольку привычна к отчётности, где число либо верно, либо ошибочно.

Предписывающая аналитика отвечает на вопрос о том, что следует делать. Она соединяет предсказание с целевой функцией и ограничениями, выдавая рекомендуемое действие. Требования к качеству здесь максимальны, поскольку рекомендация опирается не только на точность прогноза, но и на корректность формализации цели. Практика показывает, что наиболее серьёзные ошибки на этом уровне порождаются не моделью, а неполно заданной целевой функцией: система добросовестно оптимизирует то, что ей поручили, включая неявные последствия, которых никто не имел в виду.

Переход между классами не является чисто техническим усложнением. Каждый следующий класс требует иного отношения к результату со стороны потребителя аналитики, и отсутствие этого сдвига в организационной культуре обесценивает технологическое продвижение.

Проблема доверия к модельному выводу

Наблюдение, регулярно воспроизводящееся в проектах: аналитическая система, демонстрирующая высокие метрики качества на исторических данных, может почти не использоваться в реальном управленческом цикле. Причина, как правило, не в качестве модели, а в том, что руководитель не располагает средствами соотнести общую точность с достоверностью конкретного вывода, который лежит перед ним сейчас.

Утверждение о том, что модель верна в восьмидесяти случаях из ста, не отвечает на вопрос, относится ли текущий случай к восьмидесяти или к двадцати. Опытный управленец, сталкиваясь с рекомендацией, противоречащей его представлениям, оказывается в положении, где у него нет способа разрешить противоречие иначе как волевым порядком. Как правило, он разрешает его в свою пользу, и с этого момента система переходит в разряд справочных.

Продуктивные подходы к сокращению разрыва сводятся к трём приёмам. Первый – сопровождение вывода оценкой уверенности с явным указанием случаев, где модель находится за пределами области, на которой обучалась. Признание системой границ собственной компетентности повышает доверие к остальным её выводам сильнее, чем повышение средней точности. Второй – раскрытие факторов, определивших вывод, в терминах предметной области, а не признаков модели. Третий – предъявление исторических аналогов: указание на сопоставимые случаи из прошлого позволяет управленцу применить собственное суждение к материалу, а не к абстрактной оценке.

Объяснимость как условие используемости

Требование объяснимости обсуждается преимущественно в регуляторном контексте, однако его практическое основание лежит в области организационной. Модель, выводы которой нельзя обсуждать, не встраивается в управленческую коммуникацию.

Управленческое решение в организации редко принимается единолично и почти никогда не принимается молча. Оно обосновывается перед вышестоящим руководителем, согласуется со смежными подразделениями, объясняется исполнителям. Вывод, который нельзя перевести в аргумент, не пригоден для этой процедуры вне зависимости от его точности. Руководитель, не способный ответить на вопрос о причинах решения иначе как ссылкой на систему, оказывается в уязвимой позиции и потому такого решения избегает.

Отсюда следует, что при выборе между более точной непрозрачной моделью и менее точной интерпретируемой практический выигрыш нередко оказывается на стороне второй – просто потому, что её выводы доходят до реализации. Соображение это редко учитывается при постановке задачи, где критерием выступает метрика качества на отложенной выборке.

Диалоговый доступ к корпоративным данным

Отдельное направление последних лет – интерфейсы, позволяющие получать аналитические ответы на вопросы, сформулированные на естественном языке. Технически задача сводится к преобразованию вопроса в запрос к хранилищу и оформлению результата. Практическая привлекательность очевидна: сокращается разрыв между потребностью в сведениях и возможностью их получить, отпадает необходимость обращаться к аналитику за каждой уточняющей выборкой.

Архитектурные решения, обеспечивающие работу подобных ассистентов, включая механизмы удержания контекста диалога и связывания ответа с проверяемым источником, рассмотрены в работе В. В. Осадчего [1, с. 42-50]. Применительно к корпоративной аналитике решающим является именно второй механизм. Ассистент, порождающий правдоподобно выглядящее число без прослеживаемой связи с записями хранилища, опаснее отсутствия ассистента: ошибка в отчёте, подготовленном вручную, обнаруживается при проверке, ошибка в уверенно сформулированном ответе системы – как правило, нет.

Практические требования к таким интерфейсам сводятся к нескольким пунктам. Ответ должен сопровождаться сформированным запросом или иным указанием на источник, допускающим проверку. Система обязана явно сообщать о невозможности ответить, вместо того чтобы давать приблизительный ответ. Терминология вопроса должна разрешаться однозначно: понятия выручки, маржи, активного клиента в разных подразделениях трактуются по-разному, и без закреплённого словаря показателей диалоговый интерфейс превращается в источник расхождений в отчётности.

Архитектурная основа: связь с качеством данных

Аналитическая надстройка наследует все дефекты нижележащего слоя данных, причём в усиленном виде. Отчёт, построенный на неполных сведениях, показывает заниженную величину, и опытный пользователь эту особенность помнит; модель, обученная на тех же сведениях, встраивает искажение в свои выводы, где оно перестаёт быть заметным.

Типичная для российских предприятий конфигурация предполагает наличие нескольких учётных контуров, сложившихся исторически: производственный, бухгалтерский, коммерческий, кадровый. Показатели, формально одноимённые, рассчитываются в них по различающимся правилам. Пока каждый контур используется отдельно, расхождения остаются внутренним делом подразделений. При построении сквозной аналитики они выходят наружу, и проект нередко останавливается на этапе согласования определений – задаче содержательной, а не технической, и потому не решаемой средствами интеграции.

Отсюда практическое требование: построению предсказательного слоя должно предшествовать закрепление словаря показателей с указанием методики расчёта и ответственного за неё подразделения. Работа эта воспринимается как бюрократическая и регулярно откладывается, после чего обнаруживается в качестве препятствия на середине проекта, когда пересмотр архитектуры обходится значительно дороже.

Отдельного внимания требует вопрос глубины хранения. Предсказательные модели нуждаются в исторических данных, тогда как учётные системы нередко настроены на удаление или архивирование сведений по истечении срока хранения. Обнаружение того, что накопленной истории недостаточно для обучения, на стадии реализации проекта – ситуация распространённая и полностью предотвратимая проверкой на стадии планирования.

Разграничение ответственности

Внедрение предписывающей аналитики ставит вопрос, который в описательных системах не возникал: кто отвечает за последствия решения, принятого по рекомендации системы.

Формально ответ очевиден – отвечает лицо, принявшее решение. Практически же складывается ситуация, при которой рекомендация системы приобретает статус обстоятельства, снимающего часть ответственности. Руководитель, следующий рекомендации и получивший неблагоприятный результат, находится в лучшем положении, чем руководитель, отклонившийся от неё с тем же результатом. Асимметрия эта нигде не закрепляется, но воспринимается сотрудниками достаточно отчётливо и влияет на поведение.

Следствие такой асимметрии – постепенное вытеснение самостоятельного суждения. Система, задуманная как средство поддержки, начинает выполнять функцию распределения рисков, и решения смещаются в сторону рекомендуемых даже там, где у управленца есть основания поступить иначе. Противодействие требует явных организационных мер: закрепления права на мотивированное отклонение, оценки решений, по существу, а не по совпадению с рекомендацией, регулярного разбора случаев расхождения экспертной и модельной позиций.

Многофакторный характер представления результата, при котором итоговая оценка раскладывается на вклад отдельных составляющих, а не предъявляется единым числом, применяемый в задачах моделирования коммерческих финансовых систем [2, с. 12-16], полезен и здесь: разложенный вывод остаётся предметом профессионального обсуждения, тогда как агрегированная рекомендация обсуждению не поддаётся и потому либо принимается целиком, либо отвергается.

Заключение

Интеграция искусственного интеллекта в системы управленческой аналитики отличается от прочих направлений корпоративного применения тем, что решений здесь мало, каждое существенно, и статистические характеристики качества модели плохо переводятся в уверенность относительно конкретного вывода.

Разграничение описательного, предсказательного и предписывающего классов задач имеет практическое значение: каждый следующий класс требует не только технологического усложнения, но и изменения отношения к результату со стороны потребителя аналитики. Отсутствие этого сдвига обесценивает технологическое продвижение.

Объяснимость модели следует рассматривать не как регуляторное требование, а как условие фактической используемости её выводов, поскольку управленческое решение существует в организации только в форме, пригодной для обоснования перед другими участниками.

Диалоговые интерфейсы к корпоративным данным перспективны при условии обязательной прослеживаемости ответа и наличия закреплённого словаря показателей; в их отсутствие такие интерфейсы становятся источником расхождений, обнаруживаемых с запозданием.

Дальнейшее исследование целесообразно направить на разработку способов представления модельной неопределённости в форме, пригодной для управленческого использования, – область, где существующие методы визуализации распределений ориентированы на аналитика, а не на лицо, принимающее решение.