Метаданные как условие измеримости характеристик качества экономических данных

Введение

Качество данных рассматривается в литературе как многомерное понятие, а работа Р. Вана и Д. Стронга [2, с. 5-33] считается одним из первых систематических подходов к выделению и описанию его измерений [1, с. 583]. Единого перечня измерений при этом не сложилось: в обзоре методологий оценки и улучшения качества данных прямо отмечается, что общего согласия нет ни относительно набора измерений, определяющих качество данных, ни относительно точного смысла каждого из них [3]. Тем не менее устойчивое ядро выделяется: к числу общих измерений относят точность, полноту, согласованность и своевременность [1, с. 584], и тот же состав фиксируют современные обзоры [4, 5]. Именно эти четыре характеристики положены в основу интегрального индекса качества экономических данных, агрегирующего их на основе взвешенного среднего геометрического [6, с. 150].

Процедуры оценки качества данных обычно строятся в два шага. Сначала вычисляются значения отдельных характеристик, затем эти значения сводятся в единый показатель: в литературе описаны способы агрегирования вектора характеристик качества в единый индикатор [1, с. 585], а в прикладных методиках результаты проверок суммируются и объединяются взвешенным усреднением по каждому измерению [1, с. 587]. Инструментальные реализации оценки качества также предусматривают формирование интегральных значений [7, с. 25]. Свёртка удобна тем, что даёт величину, пригодную для мониторинга и порогового контроля, хотя и сопровождается потерей информации о том, какое именно измерение ухудшилось [1, с. 588].

Второй шаг этой схемы предполагает, что первый выполним: чтобы агрегировать вектор характеристик, каждая его компонента должна иметь значение. Настоящая работа обращает внимание на то, что данное допущение выполняется не всегда и что его невыполнение имеет содержательные последствия. Вычислимость характеристики качества не является её внутренним свойством: она определяется тем, какие сведения о данных (метаданные) система сохранила к моменту оценки. Если необходимые метаданные отсутствуют, характеристика не просто измеряется с большей погрешностью – вместо неё измеряется другая величина либо не измеряется ничего. Экономические последствия утраты и искажения данных исследуются в отдельном направлении работ [8, с. 54], однако вопрос о том, доступны ли сведения, необходимые для самой оценки качества, в этой постановке не ставится.

Задача статьи – разграничить измеримость и значимость характеристики качества, определить минимальный состав метаданных для каждой из четырёх характеристик и оценить, насколько это условие выполняется для типовых источников экономических данных. Работа носит обзорно-аналитический характер: выводы получены анализом принятых определений характеристик качества и тех требований, которые эти определения предъявляют к исходным данным.

1. Измеримость и значимость

Практический вывод любой процедуры оценки качества – перечень характеристик, подлежащих контролю, и характеристик, контроль которых не обоснован. Второй перечень может формироваться по двум принципиально разным причинам.

Первая: характеристика измерена, её влияние на интересующий результат оценено и оказалось незначимым либо пренебрежимо малым. Это содержательный вывод, который говорит о том, что контроль можно не выстраивать, и такое решение обосновано измерением.

Вторая: характеристика не измерена, поскольку данные не содержат сведений, необходимых для её вычисления, т. е. риск, связанный с этой характеристикой, не оценён ни в какую сторону.

В отчётности о качестве данных оба случая выглядят одинаково – характеристика отсутствует в перечне контролируемых, но управленческие следствия из них противоположны: в первом случае отсутствие контроля является результатом анализа, во втором – его границей. Смешение оснований приводит к систематической ошибке, когда неизмеримое принимается за неважное. Зависимость оценки качества от контекста её проведения систематизирована в обзорной литературе [9, с. 1-41], однако контекст там понимается прежде всего, как задача потребителя данных, а не как состав доступных метаданных.

Отсюда следует, что измеримость должна проверяться до оценки качества и фиксироваться отдельно от её результатов.

2. Метаданные, необходимые для вычисления частных характеристик

Ниже для каждой характеристики указано, какие сведения должны сохраняться и что измеряется вместо неё при их отсутствии. Рассуждение опирается на принятые в литературе определения характеристик [1, с. 584]: каждое такое определение неявно предполагает наличие некоторой точки отсчёта, и именно она и является искомым метаданным.

Полнота определяется через наличие в наборе всех данных, необходимых для представления каждого значимого состояния описываемой системы, и требует учитывать причину отсутствия значения [1, с. 584]. Отсюда следует, что требуется описание ожидаемого состава данных: перечень обязательных полей и ожидаемое число записей за период. Без такого описания пропуск неотличим от корректного отсутствия. Доля незаполненных полей, вычисленная без описания ожидаемого состава, измеряет плотность заполнения, а не полноту.

Точность понимается как степень, в которой данные верны и свободны от ошибок, и вычисляется как доля корректных значений в источнике [1, с. 584]; формально это сравнение набора данных с его эталонной версией [7, с. 22]. Следовательно, требуется либо независимый источник для сверки, либо формально заданные ограничения предметной области, такие как допустимые типы, диапазоны, справочники, арифметические тождества. Существенно, что в приложениях с большими объёмами данных эталон для всего набора, как правило, отсутствует, что делает такое измерение невозможным в исходной постановке [7, с. 25]. Без эталона и без ограничений предметной области вместо точности измеряется внутреннее правдоподобие, когда запись, не противоречащая остальным, признаётся верно.

Своевременность определяется через соответствие возраста данных решаемой задаче и зависит от изменчивости источника, времени обновления данных и момента их использования [1, с. 584]. Каждая из этих величин требует собственной временной отметки, поэтому необходимо учитывать момент наступления события и момент поступления соответствующей записи в обрабатывающую систему. Если сохранена только отметка события, своевременность неизмерима поскольку по одному значению времени невозможно установить, когда запись стала доступна для обработки.

Согласованность определяется как соблюдение семантических правил, заданных над набором элементов данных [1, с. 584]. Отсюда требование явной формализации правил связи между записями, которые подразумевает ключи, ссылочные зависимости, балансовые тождества, допустимые сочетания значений полей.

Таблица 1

Минимальный состав метаданных для вычисления частных характеристик качества данных

3. Типовые источники экономических данных

Из четырёх характеристик своевременность предъявляет к метаданным наиболее жёсткое требование: она единственная нуждается в двух независимых отметках времени, тогда как остальные обходятся описанием структуры и правил. Поэтому именно на ней ограничение проявляется отчётливее всего, и её удобно рассмотреть отдельно.

Источники экономических данных различаются по тому, какие отметки времени они сохраняют по самой природе своего формирования. Биржевые и иные рыночные потоки передаются через посредника, и принимающая сторона обычно фиксирует момент получения пакета независимо от отметки, проставленной площадкой, – две отметки возникают естественным образом. Напротив, выгрузки учётных систем и журналы пользовательских событий чаще содержат только одну отметку, относящуюся к самой операции или событию, поскольку момент попадания записи в аналитический контур при выгрузке не сохраняется. Агрегированные витрины представляют собой отдельный случай: в них отметка относится к периоду агрегирования, а сведения о времени поступления исходных записей утрачиваются при свёртке. Предлагаемая классификация приведена в таблице 2.

Таблица 2

Классификация источников экономических данных по составу сохраняемых временных отметок

Состав метаданных определяется конкретной реализацией, и учётная система может сохранять отметку загрузки, а рыночный поток – утрачивать её при перезаписи. При этом отсутствие второй отметки не является редкой аномалией, а вытекает из обычного устройства выгрузок и журналов, где сохранение момента поступления не служит никакой операционной цели и потому не предусматривается.

Литература даёт этому прямое подтверждение. В опубликованной методике оценки качества данных для предприятий малого и среднего бизнеса своевременность не оценивалась прямо по той причине, что отобранные данные не содержали значений даты и времени [1, с. 587]; там же отмечается, что необходимые временные отметки на таких предприятиях в значительной части формируются вручную [1, с. 588]. Это тот самый случай, который разбирается в разделе 1: характеристика исключена из оценки не потому, что признана неважной, а потому, что её нечем измерить.

Отсюда следует вывод, существенный для интерпретации публикуемых результатов. Экспериментальные работы о влиянии качества данных на результативность аналитических моделей опираются преимущественно на общедоступные наборы [10; 11, с. 1-39], которые относятся в основном к классам, лишённым второй отметки времени. Если своевременность на значительной части такой базы неизмерима, то в этой литературе она систематически недопроверена, и заключение о её малой значимости, сделанное на подобных данных, не обосновано, соответственно недостаток относится к исследовательской базе, а не к характеристике. Необходимость описывать сопровождающие сведения при публикации набора данных отмечается и в более общей постановке [12, с. 85-92].

4. Следствия

Требования к метаданным должны задаваться при проектировании системы, а не при постановке процедуры оценки качества. Для полноты, точности и согласованности необходимые сведения в принципе могут быть восстановлены и позже, хотя это потребует затрат. Для своевременности это невозможно: отметка момента поступления либо записывается в момент поступления, либо отсутствует навсегда. Соответственно, минимальное требование к системе, для которой планируется контроль качества данных, – сохранять две отметки времени вместо одной.

Неизмеримую характеристику нельзя вносить в интегральный показатель ни нулевым, ни единичным значением. Нуль трактует отсутствие сведений как полное нарушение качества и при мультипликативной свёртке обнуляет весь показатель; единица трактует то же отсутствие как эталонное состояние и показатель завышает. Корректная трактовка – исключение характеристики из свёртки с явной пометкой о причине исключения, так что интегральный показатель сопровождается указанием, по какому числу характеристик он рассчитан. Это тем более существенно, что само агрегирование уже сопряжено с потерей информации о вкладе отдельных измерений [1, с. 588]. Вопрос о том, как при этом перераспределять веса между оставшимися характеристиками, относится к доменной адаптации параметров индекса и в настоящей работе не рассматривается.

Описание набора данных в исследованиях по качеству данных целесообразно дополнять перечнем сохранённых метаданных. Это позволяет читателю установить, какие характеристики в работе в принципе могли быть проверены, и отличить непроверенное от проверенного и отвергнутого.

Выводы

Вычислимость частной характеристики качества данных является свойством информационной системы, а не характеристики: она определяется составом сохраняемых метаданных. Разграничены два основания отсутствия контроля – измеренная незначимость и структурная неизмеримость. В отчётности они неразличимы, а управленческие следствия из них противоположны, поэтому измеримость следует фиксировать отдельно от результатов оценки.

Для каждой из четырёх характеристик, образующих общее ядро классификаций качества данных, определён минимальный состав метаданных. Полнота и точность при его отсутствии подменяются иными величинами – плотностью заполнения и внутренним правдоподобием. Своевременность и согласованность при отсутствии необходимых сведений не вычисляются вовсе.

Предложена классификация типовых источников экономических данных по составу сохраняемых временных отметок. Для выгрузок учётных систем, журналов пользовательских событий и агрегированных витрин вторая отметка, как правило, отсутствует, что делает своевременность неизмеримой; случай такого рода зафиксирован и в опубликованной методике оценки качества данных. Практическое следствие состоит в том, что требование сохранять момент поступления записи должно предъявляться к системе на этапе проектирования, а выводы о значимости своевременности, полученные на общедоступных наборах, требуют осторожной интерпретации.