Методические подходы к оценке эффективности внедрения технологий искусственного интеллекта в бизнес-процессы предприятия

Постановка проблемы

Оценка результативности проектов внедрения искусственного интеллекта представляет собой самостоятельную методическую задачу, решение которой существенно отличается от оценки типовых инвестиционных проектов. Расхождение обусловлено не размером вложений и не техническим содержанием, а тем, что эффект здесь по своей природе вероятностен и с трудом отделяется от прочих одновременно действующих факторов.

Инвестиция в производственное оборудование даёт результат, наблюдаемый непосредственно: производительность линии изменилась на измеримую величину. Внедрение предсказательной модели изменяет распределение вероятностей исходов, и наблюдаемое изменение показателя может быть следствием как работы модели, так и сезонности, действий конкурентов, изменения состава персонала или сопровождавших внедрение организационных мер.

Практическим следствием является широкий разброс публикуемых оценок эффективности подобных проектов. Расхождения эти отражают не столько различия в качестве внедрений, сколько различия в методике измерения, зачастую не описываемой. Ниже предлагается подход, позволяющий получать сопоставимые оценки, и перечисляются искажения, наиболее часто встречающиеся в практике.

Три уровня оценки

Разделение оценки на уровни необходимо потому, что переход между ними не автоматичен, и разрыв на любом из переходов обесценивает достижения на предыдущем.

Технический уровень характеризует качество модели в отрыве от её применения: точность предсказания, полнота обнаружения, ошибка прогноза. Показатели этого уровня измеряются просто и потому доминируют в проектной отчётности. Их принципиальное ограничение состоит в отсутствии прямой связи с результатом: модель с превосходными метриками может не влиять на деятельность предприятия вовсе.

Процессный уровень характеризует изменения в исполнении процесса: доля решений, принимаемых с использованием системы, время выполнения операции, количество ошибок, объём ручной работы. Здесь фиксируется, изменилась ли фактическая практика. Именно на переходе от технического уровня к процессному теряется большинство проектов: система работает, показывает корректные результаты и не используется либо используется формально.

Экономический уровень характеризует влияние на финансовые показатели: выручку, затраты, оборачиваемость, потери. Это единственный уровень, релевантный для решения о продолжении и масштабировании, и одновременно наиболее трудный для измерения.

Предлагаемое правило состоит в том, что отчётность по проекту должна содержать показатели всех трёх уровней с явным указанием на переходы. Отчёт, содержащий только технические метрики, не позволяет судить о результате; отчёт, содержащий только экономические показатели, не позволяет установить их источник и потому не даёт оснований для решения о масштабировании.

Проблема причинной атрибуции

Центральное методическое затруднение состоит в отделении вклада внедрённой системы от прочих факторов. Способы его разрешения различаются по надёжности и по применимости в конкретных условиях.

Наиболее надёжен контролируемый эксперимент со случайным распределением: сопоставимые группы объектов работают с системой и без неё одновременно. Метод даёт несмещённую оценку и применим там, где объектов много, а их разделение технически осуществимо – в электронной торговле, массовом обслуживании, операционных процессах с высокой частотой.

При невозможности случайного распределения применяется поэтапное внедрение с последовательным подключением подразделений или территорий. Сопоставление подключённых и ещё не подключённых единиц в каждый момент времени даёт оценку, близкую к экспериментальной, при условии, что порядок подключения не связан с ожидаемым эффектом. Условие это нарушается регулярно: подключают в первую очередь подразделения, руководители которых заинтересованы, а именно там результат был бы лучше и без внедрения.

При невозможности и такой схемы используется сопоставление динамики показателя до и после внедрения с поправкой на динамику сопоставимой группы, не затронутой внедрением. Метод менее надёжен и требует обоснования того, что до вмешательства динамика сравниваемых групп совпадала.

Простое сопоставление периодов до и после без контрольной группы методической ценности не имеет. Оно остаётся преобладающим способом обоснования результатов в отчётности по проектам, что и объясняет значительную часть разброса публикуемых оценок.

Декомпозиция экономического эффекта

Совокупный эффект целесообразно раскладывать на раздельно измеряемые составляющие. Подход, при котором результат описывается набором факторов с прослеживаемым вкладом каждого, применяемый при моделировании коммерческих финансовых систем [2, с. 12-16], здесь предпочтителен перед агрегированной оценкой по нескольким основаниям.

Первое: разложенная оценка позволяет установить источник эффекта. Прирост прибыли, полученный за счёт сокращения потерь, и прирост, полученный за счёт увеличения объёма, имеют разную устойчивость и по-разному ведут себя при масштабировании.

Второе: составляющие различаются надёжностью измерения. Сокращение трудозатрат измеряется точно, изменение конверсии – с известной погрешностью, влияние на удержание клиентов – приблизительно. Раздельное представление показывает, какая часть итоговой цифры надёжна, а какая является оценочной, тогда как агрегат скрывает это различие.

Третье: разложение выявляет составляющие, не связанные с внедряемой системой. Часть эффекта нередко порождается сопровождающими организационными мерами – упорядочением данных, изменением регламентов, повышенным вниманием руководства. Приписывание этой части технологии ведёт к неверным выводам при тиражировании: воспроизводится технологическое решение без организационных мер, и результат не повторяется.

Практически применимая структура включает следующие составляющие: изменение выручки за счёт объёма, изменение выручки за счёт цены и структуры, сокращение прямых затрат, сокращение потерь и брака, высвобождение рабочего времени с указанием на его фактическое использование, изменение потребности в оборотном капитале. Последняя позиция систематически упускается, хотя в проектах, затрагивающих управление запасами или дебиторской задолженностью, составляет существенную часть результата.

Полная стоимость владения

Затратная сторона оценивается с систематическим занижением, причём занижение носит структурный характер и связано с составом учитываемых статей.

Стоимость лицензий и работ по внедрению учитывается всегда. Прочие статьи учитываются выборочно.

Подготовка данных – приведение в порядок, устранение дублирования, восполнение пропусков, согласование справочников – в большинстве проектов составляет основную часть трудоёмкости, но в бюджете отсутствует, поскольку выполняется силами существующего персонала и потому не выглядит затратой.

Сопровождение модели – контроль качества, переобучение, реагирование на изменение источников данных – является постоянной статьёй, а не разовой. Проект, оцененный без её учёта, показывает окупаемость, недостижимую в действительности.

Отвлечение персонала на освоение новой практики, временное снижение производительности в период перехода, доработка смежных систем – статьи, каждая из которых по отдельности невелика, а в совокупности сопоставима со стоимостью основного решения.

Наконец, стоимость выхода: сохранение возможности вернуться к прежнему порядку работы или перейти к другому поставщику имеет цену, которая осознаётся лишь тогда, когда такая необходимость возникает.

Оценка до принятия решения

Изложенное относится к оценке состоявшегося внедрения. На стадии выбора проекта требуется иной инструмент, поскольку данных для расчёта ещё нет.

Практически применим подход, основанный на оценке предельного эффекта. Определяется, какой результат был бы получен при идеальном предсказании – то есть при точности, равной единице. Полученная величина задаёт верхнюю границу, недостижимую в действительности, и позволяет отсечь направления, где даже совершенная модель не оправдывает вложений. Расчёт этот несложен и регулярно обнаруживает, что предлагаемый проект не имеет экономического смысла независимо от качества реализации.

Второй элемент предварительной оценки – проверка достаточности данных. Наличие исторических наблюдений в необходимом объёме и с необходимой глубиной устанавливается до начала работ. Обнаружение недостаточности на стадии реализации – распространённая и полностью предотвратимая ситуация.

Вспомогательным средством при подготовке таких оценок служат инструменты работы с корпоративными данными, включая диалоговые ассистенты, архитектура которых рассмотрена в работе В. В. Осадчего [1, с. 42-50]. Их применение сокращает срок предварительной проработки, однако требование проверяемости каждого используемого в расчёте числа сохраняется в полной мере.

Временной профиль эффекта

Отдельного рассмотрения заслуживает вопрос о том, когда именно следует проводить измерение. Выбор момента влияет на результат сильнее, чем принято учитывать, поскольку эффект подобных проектов распределён во времени неравномерно и на начальном отрезке нередко отрицателен.

Типичный профиль включает три отрезка. На первом, охватывающем период перехода, производительность снижается: персонал осваивает новый порядок работы, параллельно поддерживая прежний, возникают ошибки, требующие исправления. На втором эффект нарастает по мере закрепления практики и накопления данных, улучшающих качество модели. На третьем результат стабилизируется, а при отсутствии сопровождения начинает снижаться вследствие деградации модели.

Практическое следствие состоит в том, что оценка, выполненная непосредственно после запуска, систематически занижает результат, а выполненная в момент пика – завышает установившееся значение. Обоснованным представляется измерение после стабилизации с явным указанием периода наблюдения и отдельным учётом затрат переходного отрезка, которые относятся к проекту и подлежат включению в расчёт окупаемости.

Сопоставимость оценок между проектами требует единообразия в этом отношении. Организация, сравнивающая результаты разных внедрений, измеренных на разных стадиях жизненного цикла, получает искажённую картину относительной успешности направлений и на её основании распределяет ресурсы.

Типовые искажения

Ряд искажений оценки воспроизводится настолько устойчиво, что заслуживает отдельного перечисления.

Отбор благоприятного периода. Границы периода сравнения выбираются после получения данных, что позволяет получить желаемый результат при любом фактическом эффекте.

Учёт высвобожденного времени как денежной экономии. Сокращение трудозатрат превращается в экономию только при фактическом изменении численности или объёма выполняемой работы. В отсутствие такого изменения высвобожденное время расходуется на прочие задачи, и экономия остаётся расчётной.

Игнорирование неудачных направлений. При оценке программы внедрений учитываются успешные проекты, тогда как затраты на прекращённые остаются за рамками расчёта, завышая совокупную отдачу.

Смешение эффекта технологии и эффекта внимания. Пилотный проект сопровождается повышенным вниманием руководства и участием наиболее подготовленных сотрудников. При тиражировании оба фактора исчезают, и результат оказывается ниже пилотного при технически идентичном решении.

Заключение

Оценка эффективности внедрения интеллектуальных технологий требует раздельного измерения на техническом, процессном и экономическом уровнях, поскольку переходы между уровнями не автоматичны, и потеря результата происходит преимущественно на переходе от технического уровня к процессному.

Причинная атрибуция эффекта достигается контролируемым экспериментом там, где он осуществим, и поэтапным внедрением с сопоставлением подключённых и неподключённых единиц в остальных случаях. Сравнение периодов до и после без контрольной группы методической ценности не имеет и подлежит исключению из практики обоснования результатов.

Декомпозиционное представление эффекта предпочтительнее агрегированной оценки, так как позволяет установить источник результата, различить надёжно и приблизительно измеренные составляющие и выделить часть эффекта, порождённую сопровождающими организационными мерами, а не самой технологией.

Расчёт полной стоимости владения должен включать подготовку данных, постоянное сопровождение модели, отвлечение персонала и стоимость выхода – статьи, отсутствие которых в бюджете создаёт систематическое завышение расчётной окупаемости.

Предварительная оценка на стадии выбора проекта целесообразно строится от предельного эффекта при идеальном предсказании; расчёт этот несложен и позволяет отсечь направления, лишённые экономического смысла независимо от качества последующей реализации.