В условиях возрастающего интереса госорганов к использованию больших данных возрастает важность проведения соответствующего аудита. В соответствии с отраслевыми исследованиями^[1], аудит больших данных включает три взаимосвязанных уровня: технологический, управленческий и стратегический. Они соответственно ориентированы на оценку:

• Эффективности внедрения инновационных технологий в работу госоргана. Ключевые параметры оценки – качество сбора данных, разнообразие методов их обработки, развитость и доступность инфраструктуры.
• Эффективности функциональной структуры организации в контексте использования больших данных. Особое внимание уделено оценке качества профессионального обучения, взаимодействия между подразделениями по вопросам использования больших данных, работы технологических центров по обработке больших данных.
• Соответствия между ожидаемыми и полученными результатами от внедрения технологий анализа больших данных. Критериями оценки служат: общее число выявленных неточностей при работе алгоритмов интеллектуального анализа данных (эффективность), социальный эффект от повышения прозрачности информации (легитимность), точность риск-менеджмента (прогнозирование).

^[1] Appelbaum D, Kogan A, Vasarhelyi M A. Big Data and Analytics in the Modern Audit Engagement: Research Needs. Auditing A Journal of Practice & Theory, 2017, 36(4):1-27; Al-Sai Z, Abdullah R, Husin H. Critical Success Factors for Big Data: A Systematic Literature Review. IEEE Access, 2020:1-1

Несмотря на неоспоримые преимущества технологий анализа больших данных, существуют определённые риски и ограничения их использования. Среди основных проблем – обеспечение необходимого качества данных, под которым принято понимать сумму следующих признаков:

• полнота (отсутствуют пробелы в данных, препятствующих их анализу или использованию);
• комплексный характер (все элементы, описывающие целевой объект/событие/ситуацию, включены в набор данных);
• своевременность (регулярные обновления);
• понятность (включают метаданные и машиночитаемый формат);
• точность (имеющиеся данные верны и четко отражают текущее состояние объекта, процесса и/или явления);
• непротиворечивость (имеющиеся ряды данных не противоречат друг другу, использование разных рядов не влияет на точность выводов);
• уникальность (элементы не повторяются в пределах одного набора данных);
• проверяемость (исходные данные и каталоги данных получены с открытых информационных систем правительства и/или внутри госаппарта);
• машино-читаемость (данные представлены в форматах, которые могут быть использованы машинными алгоритмами сразу и/или с минимальной обработкой человеком);
• совместимость (стандарты, семантика, общие идентификаторы данных доступны к обработке на наиболее распространенных технологических платформах);
• защищенность (соблюдены все требования по защите персональных и/или других конфиденциальных данных).

Эффективный мониторинг и контроль качества данных требует от госучреждений разработки четкой методологии управления данными, а также оценки их достоверности. Для достижения нужного качества данных, помимо их первичной обработки (data-cleaning), эксперты ОЭСР рекомендуют выполнять регулярные и случайные аудиты данных. Задачи таких контрольных мероприятий – оценка данных на соответствие общепринятым стандартам и заданным целям, нормам этики, включая обеспечение неприкосновенности частной жизни, и законодательства. Подобные меры призваны исключить подстраивание фактических данных под ожидания.

Руководство по проведению аудита с помощью анализа данных Рабочей группы ИНТОСАИ по работе с большими данными (WGBD) (Guidance on Conducting Audit Activities with Data Analytics) включает следующие методы верификации данных при проведении аудита:

• проверка полноты данных с помощью сравнения количества и объема частично структурированных и неструктурированных данных внутри массивов, предоставленных объектом аудита;
• проверка ограничений целостности реляционных моделей, включая ограничения первичного ключа (primary key constraints), ссылочные ограничения (referential constraints), пользовательские ограничения целостности (user-defined integrity constraints) и т. д.;
• проверка соответствия данных исходной информации (финансовой отчетности);
• проверка общего количества данных, статистических показателей основных переменных, а также подлинности значений в массивах данных путем расчета и агрегирования. Например, проверка соответствия диапазона основных переменных диапазону, представленному в отчете об операционной деятельности, путем расчета максимального и минимального значений основных переменных и агрегирования;
• проверка корректности заполнения отчетности (наличие прерывистых и повторяющихся значений, диапазон дат и т.д.).

Отдельный комплекс проблем в сфере больших данных связан с предоставлением открытого доступа к государственным данным для граждан. Политика по совершенствованию правого регулирования информационной политики стран ОЭСР нацелена на снижение административных барьеров и повышение доступности государственных данных. В 29 из 32 государств – членов ОЭСР центральные/федеральные правительства требуют, чтобы данные были доступны бесплатно, в машиночитаемых форматах и с соответствующими метаданными. Из 32 государств – членов ОЭСР 28 стран требуют, чтобы данные были доступны с открытой лицензией.

Кроме того, многие государства – члены ОЭСР взяли на себя обязательство публично продвигать принцип открытости государственного управления. Среди приоритетных направлений –  увеличение числа программ повышения осведомленности о преимуществах открытых государственных данных и их повторного использования, повышение цифровой грамотности госслужащих.

В рамках Европейского союза (ЕС) Директива ЕС  2019/1024 от 20 июня 2019 г. играет центральную роль в поддержке государственных усилий по повышению открытости данных, содействуя внедрению инноваций и надлежащему управлению. Статья 16 прямо призывает государства «способствовать созданию данных на основе принципов открытости по замыслу и по умолчанию» (open by design and by default).

Несмотря на трудности с обеспечением открытых данных и исходного кода в госсекторе, данные меры способствуют прозрачности, подотчетности и общественному контролю граждан над решениями и результатами государственной политики. В этих условиях целесообразным представляется:

• Продвигать создание качественных экосистем данных, предоставляя населению неограниченный доступ к источникам данных и помогая обеспечить справедливое распределение информации в обществе.
• Предоставлять открытый доступ к дезагрегированным данным в соответствии с требованиями конфиденциальности, безопасности и соблюдения прав собственности. Анонимные и детализированные (granular)^[1] открытые данные могут быть использованы для выявления актуальных социально-экономических проблем, принятия решений, основанных на фактах. В свою очередь, подобные наглядные результаты будут способствовать росту доверия к инструментам анализа данных как внутри госсектора, так и в обществе.
• Сделать исходный код открытым для общественного контроля и аудита, в особенности, в тех случаях, когда личные данные или наборы данных обрабатываются в рамках проектов цифрового правительства.

^[1] Уровень детализации на основе имеющихся данных. Детализация включает данные на один уровень ниже предыдущего (в ч. – часы, минуты, секунды и т.д.). Максимальный уровень детализации подразумевает максимальный уровень подробности набора данных.