2.4. Контроль и аудит (оценки, измерения) в моделях менеджмента (управления)

2.4. Контроль и аудит (оценки, измерения) в моделях менеджмента (управления)

Измерения и контроль в моделях менеджмента предназначены для удовлетворения информационных потребностей тех или иных заинтересованных сторон в информации, касающейся функционирования объекта измерения и контроля. Все результаты измерений и контроля имеют информационную природу. Потребители информации (заинтересованные стороны) могут быть как внутренними (органы управления и контроля, сервисные подразделения и т. п.), так и внешними (собственники/акционеры, органы надзора и регулирования, инвесторы и т. д.) по отношению к организации.

В вопросах совершенствования деятельности организации информация измерений и контроля необходима в том числе и для актуализации виртуальной модели материального мира, используемой органами управления в системе принятия решений. В случаях, если поступающие данные от измерений и контроля в организации «не ложатся» (не находят своего места) в виртуальной модели материального мира органа управления, они не могут быть им использованы, а следовательно, являются бесполезными. В связи с этим все затраты организации на осуществление таких измерений можно относить к ущербу (упущенной выгоде, уменьшенной добавочной стоимости и т. п.).

«Классические» рекомендации по роли информации в управлении организацией можно найти во многих известных стандартах, например, таких как ГОСТ Р ИСО 9004. В них отмечается, что лица органов управления должны обращаться с данными как с фундаментальным источником для преобразования в информацию и постоянного развития базы знаний организации, которая важна при принятии решений, основанных на фактах. Это среди прочего может стимулировать нововведения, инновации, объективную основу для решений по совершенствованию деятельности. Для этого органам управления организацией следует:

— определить потребности в информации (категориях и типах, формах ее представления);

— преобразовывать информацию в знания, используемые в организации;

— проводить оценку выгод, получаемых за счет использования информации, с целью улучшения менеджмента информации и знаний организации.

В то же время неэффективно и неадекватно спроектированные измерения и меры контроля могут сформировать ложную уверенность в надлежащем (правильном, эффективном, адекватном условиям и т. д.) функционировании объекта контроля, что способно привести к еще большим издержкам организации.

Какие результаты дает произвольная система измерений, мы можем видеть на улицах российских городов. Метрики контроля эффективности деятельности, устанавливаемые для сотрудников патрульно-постовой службы, инспекторов безопасности дорожного движения, зачастую далеки от факторов, оказывающих действенное влияние на снижение уличной преступности и безопасности на дорогах. Подобные проблемы не являются характерными только для российской действительности. Например, Г. Нив в своей книге [6] приводит пример, когда Деминг показывает ему заголовок из одной газеты: «Констебль виновен в неисполнении обязанностей — не выполнил план по арестам». За это невыполнение полицейский из Торонто был смещен с должности.

Этот достаточно наглядный пример приведен в пятой части книги Г. Нива «Четырнадцать пунктов снова перед нами», где он рассматривает с практической стороны «работу» 14 принципов программы Деминга для менеджмента, иллюстрируя их характерными примерами. Материалы данной главы Нива и других, могут быть полезны всем, кто не на словах, а на деле желает что-либо изменить в лучшую сторону в своей управленческой деятельности.

Что касается рассматриваемого вопроса, то в принципах программы Деминга для менеджмента ожидаемо нашлось место и вопросам измерения и контроля. В главе 29 «Пункт 11: исключите произвольные количественные цели» ярко и на примерах рассмотрены ситуации и последствия поверхностного и непродуманного подхода к измерениям и сформулированы соответствующие рекомендации. Где-то они носят идеалистический характер, но многие из них вполне практичны. Например, нельзя не согласиться с тезисом Деминга «Измерения — всегда только верхушка айсберга».

В срезе моделей менеджмента (управления) информационных технологий в организации и систем обеспечения информационной безопасности организаций практически все стандартизированные для целей проектирования и реализации измерений решения основываются на единой эталонной структуре, отражающей сущности предметной области измерений и их отношения. В каждом конкретном случае все сущности предметной области измерений имеют свое наполнение или решения «по умолчанию».

Рис. 51 иллюстрирует обобщенную модель измерений в системах менеджмента информационных технологий и информационной безопасности организации.

Лица органов управления организации соответствующего уровня устанавливают нормы и требования к организации и реализации деятельности в подразделениях организации (эталон), отражающие видение руководства того, что и как должно осуществляться в подразделениях организации для достижения поставленных целей. Это может включать нормы и требования организации функционирования и совершенствования деятельности объекта, нормы и требования риск-менеджмента объекта и т. д. Установление лицами органов управления организации норм и требований к организации и реализации деятельности в подразделениях организации порождает потребность контроля их исполнения и измерений достигнутых результатов.

Задачи контроля и измерений достигнутых результатов формулируются в терминах информационной потребности в информации результатов тех или иных видов оценок. Потребность представляет собой понимание, включающее необходимость выявления и разрешения целей, задач, рисков и проблем. Для реализации данной потребности определяются цели, объекты и предмет измерений и контроля. Они наряду с эталоном предопределяют модель оценки, включающую установление того, что и как может быть проверено, учитывая аспекты достоверности и правила реализации сбора сведений и их анализа, оценивания (вычисления качественных и /или количественных значений) и интерпретации результатов.

Модели и методы измерений и контроля могут быть отражены в любой форме, в том числе и в виде отдельного документа. Уровень формализации моделей и методов измерений и контроля может быть любым, при условии, что он позволяет использовать данные модели и методы в операционной среде организации на объектах оценки. Композиция эталона и оценочной модели и методов измерений и контроля образуют основу для формирования и использования методической базы (методики, регламенты, инструментальные средства), что формирует основания для проведения практической деятельности на объектах. Эталон в обязательном порядке должен учитываться при формировании методик оценки объекта, так как в противном случае будет затруднительно отобразить и интерпретировать результаты измерений и контроля в терминах того, что должно было быть выполнено на объекте относительно результатов измерений.

Методическое обеспечение определяет структуру и форму результатов измерений и контроля, которые должны удовлетворять потребностям лиц органов управления организации и могут быть интерпретированы для дальнейшего использования. Применение методик на объектах в условиях регламентированных процедур, отвечающих установленным и признаваемым в организации принципам и методам измерений и контроля, должно позволить сформировать результат требуемого качества, удовлетворяющего информационным потребностям.

Результаты измерений и контроля, формируемые на основе полученных с объекта данных измерений и контроля, должны отвечать заявленной информационной потребности и позволять использовать их лицами органов управления организации для совершенствования деятельности (или в иных целях, например, для передачи третьим лицам).

Важным моментом для практики инициирования новых видов проверок (измерений и способов контроля и оценки) является адекватность текущего установленного эталона (действующих норм и требований, предопределяющих деятельность объектов оценки) сформулированной информационной потребности. Существующий эталон, устанавливая правила функционирования объекта, одновременно задает рамки ограничений на возможные информационные потребности лиц органов управления организации в оценочных категориях и возможные ожидания, имеющиеся относительно различных видов измерений и контроля.

Так, например, на практике встречаются ситуации, когда лица органов управления организации в силу различных обстоятельств формулируют потребности в проверках и оценках по некоторой общепризнанной стандартизированной модели (COBIT, ITIL, ISO/IEC 27001, ISO/IEC 20000 и т. д.). В этом случае, если текущая деятельность организации (существующий эталон) определяет порядок разработки, поставки и внедрения систем организации по требованиям стандартов иных стандартов, например комплексов стандартов ГОСТ 34, ГОСТ 2, ГОСТ 19, то результат может быть далек от ожиданий (соответствия). Результаты оценки не выведут на соответствие, а зачастую не покажут вообще ничего (значение оценки будет «ноль»). Это, как правило, лишний раз доказывает лишь то, что модели и методы измерений должны органично развивать требования эталона и быть с ним совместимым.

Ряд стандартизированных решений менеджмента ИТ и ИБ организации наряду с требованиями менеджмента включает и критерии и методы измерений и контроля (оценки). Среди них можно отметь те же COBIT и ITIL, ISO/IEC 27001, международные стандарты процессного подхода (процессов жизненного цикла ИТ) 15288 (систем) и 12207 (программного обеспечения) и др.

Для целей измерений в стандартах процессного подхода (процессов жизненного цикла ИТ) 15288 (систем) и 12207 (программного обеспечения) еще в 2002 г. был принят международный стандарт ISO/IEC 15939 [22] «Проектирование систем и программного обеспечения — процесс измерения» (пересмотренный пять лет спустя). Данный международный стандарт определяет мероприятия и задачи, необходимые для реализации процесса измерения. Мероприятие — это совокупность взаимосвязанных задач, способствующая достижению назначения и результатов процесса измерения. Задача — строго определенная часть работы. Каждое мероприятие состоит из одной или более задач. Модель процесса измерений по ISO/IEC 15939 иллюстрирует рис. 52.

Как показано на рис. 52, процесс измерений по ISO/IEC 15939 включает четыре целевых вида деятельности (мероприятия). Мероприятия упорядочены в итеративном цикле (подобном циклу Деминга), предусматривающем постоянную обратную связь и совершенствование процесса измерения. Работы в рамках мероприятий также являются итеративными.

Блок «Технические процессы и процессы менеджмента» организационной единицы или проекта выходят за рамки положений данного стандарта, хотя они являются важным внешним связующим звеном с мероприятиями измерений. Два мероприятия считаются относящимися к основному процессу измерения: планирование процесса измерения и выполнение процесса измерения. Эти мероприятия в основном уделяют внимание интересам пользователя измерений. Два других мероприятия — установление и поддержка приверженности измерениям и оценивание измерений — обеспечивают основу для основного процесса измерения и обратную связь для него.

В цикл включена «база опыта, связанного с измерениями». Она предназначена для хранения информационных продуктов из прошлых итераций цикла, предыдущих оценок информационных продуктов и оценок предыдущих итераций процесса измерения. Она может включать сведения, которые были сочтены полезными для будущего. Никаких положений о характере или технологии «базы опыта, связанного с измерениями» в стандарте не дается, предполагается только то, что это постоянное хранилище. Хранящиеся в «базе опыта, связанного с измерениями» сведения предназначены в основном для повторного использования в будущих итерациях процесса измерения.

Типичные функциональные роли, упомянутые в стандарте, включают причастную сторону, организатора, пользователя измерений, аналитика измерений, библиотекаря измерений, поставщика данных и владельца процесса измерения.

В целом же вопросы измерений в СМИБ не столь просты, как может показаться на первый взгляд. Область информационной безопасности, подобно области риск-менеджмента, является чрезвычайно трудной сферой для задач измерений.

Основная проблема заключается в том, как измерить «отсутствие инцидентов».

Вопрос состоит в следующем.

Если анализ рисков информационной безопасности является точным и если мы реализовали эффективные средства контроля и управления ИБ, мы должны избежать или по крайней мере уменьшить число серьезных инцидентов безопасности.

Если мы будем последовательно измерять и фиксировать число и серьезность инцидентов, у нас будут некоторые цифры для анализа, но о чем эти цифры будут фактически говорить нам?

Если эти цифры ниже, чем до начала действия официально утвержденной программы по обеспечению информационной безопасности, мы можем заявить об успехе, но что если число и серьезность инцидентов каким-либо образом снизилось ввиду иных причин, не связанных с нашими усилиями («затаился» агент угроз и т. п.)?

Если цифры выше, чем раньше, обязательно ли это означает, что наши средства контроля и управления неэффективны? Или это может означать, что угрозы и воздействия возросли, а мы их не учли (не видели, неверно оценили актуальность и т. д.)?

Настоящая проблема — это проблема прогноза. Практически невозможно абсолютно достоверно и объективно измерить то, что может произойти в будущем, если бы мы не совершенствовали наши средства контроля и управления информационной безопасности (ничего не меняли бы в своей операционной среде в части средств и мер ИБ).

Измерения ИБ следует вывести из действия общекорпоративной модели системы планирования и отчетности, так как это специфичная задача и она не полностью отвечает методологии прогнозных плановых показателей, применимых к производственной сфере. Вопросы измерений в СМИБ сопоставимы с иными подобными измерениями по форматам категорий отдельных результатов, но решения по ним должны рассматриваться отдельно.

Таким образом, основными вопросами измерения и контроля в СМИБ организации и корпоративном управлении ИБ являются следующие.

Что мы собираемся измерять?

Это, несомненно, важный вопрос, но на практике идентификация надлежащей метрики является по-настоящему сложной. Нам необходимо учитывать следующие практические правила:

— не следует реализовывать процесс измерений, если мы не намерены регулярно и систематически его поддерживать, необходимы воспроизводимые и надежные методы измерений;

— не следует собирать данные, которые мы не намерены анализировать, — это нерациональные расходы, которых можно избежать;

— не следует анализировать данные, если мы не намерены практически использовать результаты анализа, другими словами, нам необходимо идентифицировать информационные потребности в результатах измерений.

Мы можем достичь многого без дорогостоящих решений или сложных измерительных процессов. Не следует углубляться в частные вопросы. Вопросы материально-технического обеспечение сбора данных для измерений могут быть организованы на основе уже имеющейся в других подразделениях организации сведений (см. пример по измерению осведомленности ИБ). Следует лишь удостовериться в том, что они формируются на основе регламентированных процедур и их достоверность может быть проверена и подтверждена.

Как мы будем осуществлять измерения?

Это подразумевает следующие вопросы: откуда мы получаем данные для измерений и контроля и где они будут храниться? Если исходная информация еще не доступна для измерений, то необходимо реализовать процессы для ее сбора. Это, в свою очередь, связано с вопросом о том, кто будет собирать данные (новая работа должна быть обоснована потенциальной выгодой организации от ее выполнения). Предполагает ли это централизованные или распределенные процессы сбора данных? Если источниками данных будут отделы и подразделения, находящиеся вне вашего контроля, то насколько достоверными могут быть эти сведения (возможны ли манипуляции цифрами)? Будут ли они отвечать вашим требованиям по форматам и срокам предоставления? Насколько вы можете автоматизировать сбор и обработку данных, встроив, например, отчет о безопасности в отчеты прикладных системы?

Как мы будем осуществлять отчетность?

Чего действительно ожидает высшее руководство? Необходимо обсудить назначение и ожидаемые результаты измерений с руководителями и сотрудниками смежных подразделений. Следует придерживаться принципа «от простого к сложному». Система неизбежно будет развиваться. Следует начать с простых (типовых для практики организации), понятных отчетов, развивая их далее с учетом рекомендаций руководства. Если система отчетности измерений проектируется «с нуля», то есть возможность вариаций, может существовать возможность предоставления отчетности отличным от других направлений отчетности в организации образом, используя иные форматы представления и оформления содержания.

Как мы должны реализовывать систему измерений и отчетности?

Разрабатывая метрики (структура, шкала, модели и методы измерений), следует оценить осуществимость и эффективность процессов измерений и полезность выбранной метрики в ограниченном масштабе, прежде чем развертывать их во всей организации. То, что хорошо выглядит в теории, может не оказаться эффективным в практике. Экспериментальные исследования и опытная эксплуатация являются уместным методом отработки оптимальных конфигураций в процессах сбора и анализа, принятия решения о том, является ли метрика действительно наглядной для принятия решений по итогам измерений.

Являются ли данные достаточно точными? Может не требоваться совершенная точность, но определенно необходимым является то, чтобы цифры были правдоподобными и воспроизводимыми. Следует ожидать, что руководству могут быть необходимы сведения об источнике данных, процедурах их сбора, анализа и формах представления.

Далее рассмотрим, как работают процессы аудита в функциях контроля обеспечения информационной безопасности бизнеса.