Сквозное тестирование (walk-through testing)

Сквозное тестирование (walk-through testing)

В буквальном переводе с английского термин walk-through testing означает «тестирование путем прохождения сквозь». Суть такого тестирования заключается в том, что аудитор пытается найти достаточно подтверждений тому, что структура и содержание описанной системы соответствует ее структуре и содержанию на практике.

Чаще всего термин «сквозное тестирование» встречается в сочетании с термином «описание процесса». Хотя данный вид тестирования может с одинаковым успехом использоваться применительно к любой системе. Когда ваш автомобиль проходит технический осмотр на станции техобслуживания, он также подвергается в определенном смысле сквозному тестированию. Ведь для выполнения своей задачи автомобиль должен обладать определенным набором структурных элементов, расположенных в определенной последовательности и взаимодействующих друг с другом определенным образом. Механик, проверяя наличие структурных элементов конструкции автомобиля, их внешний вид и расположение, действует как аудитор. Единственная разница состоит в том, что в большинстве ситуаций он имеет представление о том, с чем ему предстоит работать. Аудитору же перед проведением сквозного тестирования приходится сначала выяснять нюансы системы.

Будем рассматривать в дальнейшем данный вид тестирования применительно к описанию процесса, поскольку чаще всего именно такое сочетание встречается на практике.

Как уже говорилось в разделах, посвященных методике проведения интервью и методологии описания процессов, в процессе описания процесса аудитору нередко приходится получать информацию из различных источников. Достоверность такой информации также часто бывает различной. В редких случаях достоверность источника не требует дополнительного подтверждения. В таких ситуациях источник информации содержит встроенную систему контроля достоверности. Типичным примером являются электронные системы хранения и обработки данных, особенно системы, контролируемые третьей стороной (по отношению к объекту аудита и аудитору). К таким системам относятся, например, базы данных по законодательству («Консультант Плюс» и прочие). Обращаясь к такой базе данных, вы не проверяете ее содержание на соответствие первоисточнику, которым, в большинстве случаев, являются печатные издания. Однако в ряде ситуаций аудитору необходимо сначала убедиться в наличии системы контроля достоверности в самой электронной системе прежде, чем отказаться от сквозного тестирования.

Так или иначе, собрав по кусочкам описание процесса, не стоит торопиться и использовать его в дальнейшей работе, особенно для далекоидущих выводов. Судя по практике, если описанный процесс хотя бы на 50 % совпадает с реальным положением вещей, это уже неплохой результат.

С технической точки зрения идеальный вариант сквозного тестирования выглядит следующим образом. Вы составили описание процесса. Такой процесс имеет изначально один ключевой вход и один ключевой выход. Вы берете одну-две-три единицы входа в процесс и прослеживаете трансформацию этих единиц в соответствующее количество единиц выхода при прохождении через описанный процесс. Таким образом, вы убеждаетесь, что взятые на входе единицы соответствовали тем, которые были указаны в описании, с ними были произведены все действия, указанные в описании, и то, что получилось практически на выходе, в существенной степени соответствует тому, что должно было получиться. Однако, как это часто бывает, на практике все выглядит иначе.

Подробно остановимся на ключевых принципах проведения сквозного тестирования процесса.

Достаточность доказательств. Нередко при сквозном тестировании того или иного этапа процесса аудитор не может напрямую убедиться в том, что заявленное в описании действие (или иное содержание этапа процесса) совершается на практике. Под термином «убедиться напрямую» подразумевается способ, обеспечивающий максимальную доказательность. Довольно часто таким способом является визуальное подтверждение в момент исполнения тестируемого этапа процесса. Как ни странно, но это удается не всегда. Например, вы вряд ли сможете быть свидетелем мыслительной деятельности, поскольку подсоединение регистрирующих электродов к определенным участкам мозга и расшифровка сигналов требуют знаний в области нейробиологии. Поэтому, чтобы подтвердить выполнение многих процессов, включая мыслительные, аудитору приходится пользоваться не прямыми, а косвенными доказательствами. Например, если при загрузке в электронную систему данных вы не можете наблюдать процесс расчета и преобразования, у вас, тем не менее, есть возможность убедиться в том, что результат с высокой вероятностью получен именно в ходе тех операций, которые должны были произойти. Все, что вам как аудитору нужно, – так это произвести перерасчет и сравнить свои данные с данными системы. Косвенные методы получения доказательств реального осуществления этапа процесса можно сгруппировать следующим образом:

• Естественная неизбежность – в ряде случаев само построение процесса не позволяет избежать исполнения того или иного этапа процесса. Наиболее простым примером является непрерывный производственный процесс, в который невозможно технически вмешаться без остановки процесса в целом. Так, при производстве многих химических веществ используются установки, в которые подаются исходные компоненты, а на выходе получается готовый продукт (производство удобрений, кислот, цемента и т. д.). В такой установке происходит целый ряд последовательных технологических операций, но вы не имеете возможность наблюдать их. Однако само устройство установки исключает какие-либо иные операции, кроме как предусмотренные технологическим процессом.

• Использование тестовых составляющих входа – в данном случае вы также не имеете возможность наблюдать за ходом процесса. Однако вы можете самостоятельно сформировать вход в процесс (полностью или частично) и, позволив этапу процесса осуществиться, оценить на основании выхода, были ли предполагаемые действия на самом деле осуществлены. Наиболее распространенным примером является использование уличных платежных терминалов или использование ИТ-систем и приложений. Например, при тестировании запрета на ручной ввод контрагента в бухгалтерской программе (в обход справочника) вы можете попытаться либо ввести наименование контрагента в соответствующую графу первичного документа, либо добавить самостоятельно нового контрагента в справочник. В обоих случаях вы предлагаете системе совершить процесс, выполнение которого, как было заявлено, невозможно, и оцениваете, насколько реальность соответствует первоначальному описанию.

• Отсутствие негативных побочных эффектов (аварий, жалоб, брака и прочего) – существуют ситуации, когда вы не имеете возможности использовать составляющие входа для целей тестирования или процесс не является неделимым по естественным причинам, но вы все равно не можете наблюдать выполнение этапа процесса. Здесь идет речь о многочисленной группе этапов процессов, которые вроде бы осуществляются, но не оставляют практически никаких следов своего выполнения. К ней всегда относятся процессы, которые целиком осуществляются с использованием звука или в результате которых производится звук. Например, процесс оповещения пассажиров в аэропорту – к диктору или оператору поступают данные о статусе рейса, он озвучивает эти данные через систему вещания аэропорта, пассажиры реагируют соответствующим образом. Отсутствие жалоб пассажиров на несвоевременное оповещение с высокой вероятностью указывает на то, что процесс оповещения происходил и происходит как положено. В описанной ситуации вы не полагаетесь на неделимость процесса и не используете тестовые составляющие входа, а оцениваете наличие негативных побочных эффектов, которые с высокой вероятностью могут появиться в результате неисполнения этапа процесса. Возможно, вы спросите, почему бы не зафиксировать исполнение этапа процесса прямым способом, т. е. прослушиванием сообщений в аэропорту. Может быть, в определенных ситуациях это и является лучшим подходом. Однако в большинстве случаев при сквозном тестировании вы имеете дело с прошлыми событиями и действиями, воспроизведение которых в настоящий момент либо невозможно, либо нецелесообразно (например, заставить предприятие в середине года воспроизвести для вас в деталях процедуру формирования годового бюджета). Кроме того, то, что в настоящий момент вы лично засвидетельствовали осуществление тестируемого этапа процесса, еще не означает, что данный этап осуществляется именно в данном месте процесса и именно данным образом. В конце концов, это могут сделать специально для вас. В ряде ситуаций косвенные подтверждения весомее прямых доказательств, а также могут быть получены с более приемлемым соотношением «затраты/выгоды».

• Наличие нейтральных побочных эффектов (отходы и побочные продукты) – в целом данный подход к сквозному тестированию также практичен. Как говорится, можно не видеть огня, но сделать правильные выводы по дыму и искрам. Процессов, которые генерируют при исполнении отходы и побочные продукты, в нашей жизни немало. Например, если финансовый контролер утверждает, что процедура согласования бюджета с дочерними предприятиями осуществляется, но сам ход и результаты данного процесса не фиксируются в отдельном протоколе, это не повод для аудитора поставить под вопрос само существование этапа согласования бюджета на практике. Аудитор может воспользоваться отходами и побочными продуктами данного процесса, которыми могут быть, например, переписка участников, наличие папки с набором файлов с последовательными датами создания, содержащих различные бюджеты, должностные инструкции для позиции «финансовый контролер», документы, обосновывающие показатели конечного бюджета. Самое главное в таких ситуациях правильно выбрать побочный эффект процесса, что в немалой степени зависит от опыта аудитора и является еще одним аргументом в пользу плотного наблюдения со стороны опытных аудиторов за начинающими вплоть до непосредственного участия в процессе описания процесса и его сквозного тестирования.

Последовательное и фрагментарное подтверждение (обрывы в процессе). На практике аудитор редко проводит сквозное тестирование всех этапов процесса. Конечно, в ряде ситуаций причиной является халатное отношение аудитора к работе, но мы такие случаи не рассматриваем. Речь идет о тех ситуациях, когда по тем или иным причинам полное сквозное тестирование невозможно или нецелесообразно. Отказ от него не является нарушением ключевых канонов внутреннего аудита. Однако отказ от сквозного тестирования вообще может привести к существенным негативным последствиям, и хорошо, если дело ограничится просто увеличением объема аудиторской работы. На возможность полного сквозного тестирования этапов процесса влияют следующие факторы (при условии, что описание процесса составлено оптимальным образом для выполнения поставленной задачи):

• Поставленная задача – многое при выборе подхода к проведению сквозного тестирования зависит от тематики проекта. В настоящее время чаще всего аудиторы принимают участие в проектах по оценке системы внутреннего контроля процессов. Стандартный подход к ним не предусматривает сквозного тестирования ряда этапов процессов по той причине, что в этом нет смысла. Во многих процессах имеются участки, которые минимально влияют на достижение процессом его целей и потому не интересны для аудитора с точки зрения наличия или необходимости формирования существенных контрольных процедур. Кроме того, никто не отменял эффекта компенсирующих контрольных процедур. Грубо говоря, в проектах по оценке системы внутреннего контроля процессов аудитор меньше уделяет внимания тем этапам, которые находятся между этапами с существенными контрольными процедурами. То есть, например, если аудитор проводит аудит процесса «Закупки», то, получив достаточное подтверждение существования процедуры тендера, он должен убедиться, что с победителем тендера заключается договор, условия которого соответствуют условиям, зафиксированным по итогам тендера в качестве победных. Намного меньшее значение имеет тестирование этапов процесса между этими контрольными процедурами, а ведь между ними располагается целый процесс «Согласование договора», начиная от формирования проекта договора и заканчивая подписанием окончательной версии (более подробно аудит процесса «Закупки» рассмотрен в соответствующей главе). Однако, если аудитор участвует в проекте оптимизации бизнес-процесса, сквозное тестирование приобретает более существенное значение, так как даже незначительные на первый взгляд операции могут иметь несопоставимо больший потенциал дополнительной эффективности. Один из самых простых и ярких невыдуманных примеров мелких операций, имеющих большой потенциал для оптимизации процесса, – это, мягко говоря, неадекватное использование ИТ-систем – пересчет массива цифровых данных из таблицы Microsoft Excel на калькуляторе.

• Ограниченность ресурсов – в первую очередь количество и качество человеческих ресурсов, а также время и технические возможности. Разумеется, любой руководитель проекта аудита чувствует разницу между работой опытного и начинающего аудитора. Начинающий аудитор требует внимания и дополнительного времени, т. к. редко выполняет работу качественно с первого раза. Он склонен впадать в крайности и делает то слишком мало работы, то много ненужного. Чувство меры приходит с практикой. Также процессы бывают довольно объемными с точки зрения структуры и количества этапов, и полное сквозное тестирование силами одного аудитора может потребовать слишком много времени, исходя из ситуации на момент его проведения. Нормальной практикой следует считать привлечение к сквозному тестированию наряду с автором описания процесса еще одного или двух аудиторов. Некоторые процессы сложны с точки зрения понимания происходящего в них. У аудитора не всегда есть соответствующая подготовка. Например, для проведения сквозного тестирования процесса «Производство» требуются знания специфики аудируемого производственного процесса. Время всегда было, есть и будет ценным и ограниченным ресурсом аудитора, т. к. одной из ключевых целей аудиторских проектов является не только выполнение работы, но и осуществление ее в сроки, установленные планом проекта. Технические сложности в основном связаны с ограничениями использования ИТ-систем. Например, если на предприятии используется сложная управленческая система типа Oracle или SAP, то аудитору необходимо не только получить доступ к этой системе, но и разобраться в нюансах ее работы.

• Соображения целесообразности – в силу ограниченности ресурсов при проведении проектов внутреннего аудита соблюдение принципа «затраты/выгоды» во многом оправдывает себя. Когда речь идет об ограниченности ресурсов, чаще всего подразумевается не их отсутствие, а, если так можно выразиться, ограниченность достаточности ресурсов. При годовом планировании и планировании проекта вы рассчитываете срок проекта на основании исходных данных о его составляющих, включая доступные ресурсы. Чем амбициознее годовой план, тем выше требования к качеству управления проектами. Чем меньше резервов в вашем распоряжении, тем больше зависимость от качества управления проектами. Качественное управление проектами подразумевает выбор оптимального соотношения «затраты/выгоды» при одновременном достижении разумной уверенности в результатах проектов. Поэтому, когда аудитор проводит сквозное тестирование процесса, он должен зафиксировать момент достижения разумной уверенности. После этого продолжение сквозного тестирования противоречит принципу «затраты/выгоды». Разумная уверенность имеет только две формы – она либо есть, либо ее нет. Например, при проведении проектов по оценке системы внутреннего контроля процессов в большинстве ситуаций аудитор достигает разумной уверенности в достижении целей процесса после тестирования ключевых контрольных процедур. Тестирование более мелких и точечных контрольных процедур чаще всего приводит лишь к подтверждению полученного вывода. Однако в некоторых случаях такое тестирование все же нужно проводить. Принятие правильного решения в данной ситуации, как и во многих других, зависит от опытности и квалификации команды внутренних аудиторов.

• Степень совершенства процесса – в моем понимании совершенный процесс, наряду с множеством прочих характеристик, имеет механизмы саморегулирования и генерирует, обрабатывает и хранит достаточно информации для обеспечения их работы. Саморегулирование в принципе невозможно только на основании оценки работы системы в текущий момент, необходимо использовать как ранее полученные данные, так и значения параметров, которыми система должна обладать в будущем. Иными словами, процесс, находящийся на пути к совершенству, постоянно накапливает, анализирует и хранит данные о себе самом в процессе функционирования. Именно эти свойства чаще всего отсутствуют в процессах многих российских компаний. Большинство ключевых процессов в российских компаниях управляются на основании, дипломатично выражаясь, экспертных оценок. Даже если аудитору посчастливится набрести на процесс, в ходе которого осуществляется работа с определенными данными, в большинстве ситуаций этот позитивный фактор омрачается проблемами достоверности данных и качества их обработки. Это означает, что аудитор часто сталкивается с необходимостью выбора – либо оценивать процесс в режиме онлайн (т. е. присутствуя при исполнении процесса), либо не оценивать его вообще. Как я уже упоминал, возможности оценки процесса в режиме онлайн весьма ограниченны. Цикл многих ключевых процессов более одной недели. Сквозное тестирование ключевого процесса, например в ходе проекта по оценке системы внутреннего контроля процессов, в большинстве случаев должно занимать не более двух-трех дней. Так, при оценке процесса «Закупки» аудитор начинает тестирование процесса с этапа «Формирование заявок». Однако если такие заявки формируются один раз в месяц, при их составлении используется «экспертная оценка», их формат произволен и заявки не сохраняются, то тестирование данного этапа процесса становится практически невыполнимым. Особенно если аудитор приступил к аудиту этого этапа в межсезонье (т. е. в период между последней и следующей заявкой). Ситуации, подобные описанной, к сожалению, встречаются сплошь и рядом.

• Степень контроля процесса – существует определенная корреляция между степенью совершенства процесса и адекватностью и эффективностью его системы внутреннего контроля. Однако на практике такая корреляция не перерастает в правило. По аналогии с хорошо организованным процессом оптимальная система внутреннего контроля процесса так или иначе генерирует следы осуществления контроля и накапливает статистику по отклонениям. Однако в большинстве случаев при аудите российских предприятий аудитор сталкивается с отсутствием очевидных следов осуществления контроля процесса. В российской экономике, к сожалению, для целей контроля широко используется метод указательного пальца. Это означает, что недостаток контроля процесса не будет обнаружен и исправлен до тех пор, пока вышестоящее руководство не обратит на него внимания (частенько случайно) и не укажет на необходимость его устранения. Поэтому, проводя сквозное тестирование, аудитор должен быть готов к определенным трудностям. На практике довольно часто возникают ситуации, когда наличие контроля этапа процесса неочевидно, однако аудитору не стоит торопиться с вынесением окончательного приговора. Необходимо удостовериться в отсутствии как очевидных контрольных процедур, так и неочевидных, поскольку это напрямую влияет и на содержание отчета, и на точность, полезность и практичность рекомендаций. В определенных ситуациях можно отказаться от тестирования с пристрастием какой-то контрольной процедуры, если имеются компенсирующие контрольные процедуры.

Обратное тестирование (когда невозможно идти от начала процесса к его завершению). Стандартный способ проведения сквозного тестирования известен – выбирается один или несколько входов в процесс и прослеживается трансформация этих входов при осуществлении этапов процесса вплоть до получения конечного выхода. Однако в ряде случаев у аудитора отсутствует возможность проведения сквозного тестирования от начальных этапов процесса к завершающим этапам процесса. В этой ситуации аудитор должен помнить о возможности проведения сквозного тестирования в обратном направлении, от завершающих этапов к начальным. Невозможно систематизировать все ситуации, в которых целесообразно обратное тестирование. Значительная их часть связана с отсутствием сопоставимости входов и выходов последовательно расположенных этапов процесса. Например, возвращаясь к этапу «Формирование заявки» процесса «Закупки», аудитор видит, как потребность (в виде обоснованного требования работников подразделения) преобразуется в заявку на закупку. Аудитор может выбрать одну или несколько заявок для дальнейшего тестирования. Для простоты предположим, что закупка осуществляется в рамках уже заключенного долгосрочного договора. За этапом «Формирование заявки» следует, например, этап «Формирование заказа», владельцем которого является отдел поставок. Однако отдел поставок может осложнить работу внутреннего аудитора, если он формирует укрупненные заказы без следов обработки заявки, особенно когда закупаемая номенклатура не является уникальной. Таким образом, из содержания этапа «Формирование заказа» не совсем понятно, была ли обработана выбранная заявка/заявки. Однако при отсутствии связи заявка – заказ весьма часто имеется связь заказ – поставка. Поэтому аудитор может сделать выборку поставок и попробовать проследить исполнение процесса в обратном направлении, от поставки к заявке. Например, это можно сделать, если отдел поставок оповещает подразделение о поступивших по его инициативе ТМЦ.

Параллельное выполнение описания процесса и сквозного тестирования. Опытные аудиторы должны стремиться совмещать составление описания процесса и его сквозное тестирование. В целом это является хорошей практикой и позволяет экономить ресурсы проекта. Кроме того, наличие такого умения у аудитора является основанием для профессиональной гордости. Основная сложность совмещения двух процедур заключается в необходимости навыка правильного и быстрого принятия решений при возникновении нестандартных ситуаций, в большинстве своем связанных с нестандартной структурой и наполнением этапов процесса. Если аудитор, например, сталкивается с тем, что выход из предыдущего этапа процесса нельзя однозначно соотнести с выходом из последующего этапа, ему необходимо оперативно определить, является ли данная ситуация поводом для более тщательного анализа, отказа от тестирования последующего этапа процесса, обратного тестирования или для изменения параметров исходной выборки. Все это звучит несколько абстрактно, но в целом описывает алгоритм принятия аудиторского решения. И такие решения принимаются именно во время проведения интервью без дополнительных размышлений.

Далее по традиции приведу варианты решений некоторых точечных ситуаций, наработанные практикой.

• Все протестированные в ходе сквозного теста файлы и документы должны быть откопированы (сфотографированы, отсканированы) и сохраняться у аудитора. Такие документы являются рабочей документацией по проекту и нередко используются в дебатах по недостаткам и рекомендациям с представителями объекта аудита и вышестоящим руководством. В аудите, как в шахматах, ходы надо записывать.

• Хорошей практикой является графическое представление результатов сквозного тестирования. По каждому процессу получается как минимум две схемы – одна схема с описанием процесса, вторая схема с результатами сквозного тестирования. Возможен вариант совмещения схем. В этом случае различия между описанным (регламентированным) вариантом процесса и фактическим вариантом процесса показываются графически: если по результатам сквозного теста этап процесса не удалось подтвердить, то его на схеме выделяют, например серой заливкой.

• Сквозное тестирование является, в том числе, инструментом сбора информации о рисках процессов объекта аудита. Все наблюдения (недостатки), выявленные в ходе описания и сквозного теста, должны фиксироваться, например в форме наблюдений в файле со сквозным тестом, либо в матрице рисков, либо в ином документе. Также имеет смысл выявленные достоинства процесса и связанных с ним контрольных процедур фиксировать в форме наблюдений в файле со сквозным тестом либо в отдельном документе, посвященном лучшей практике, встреченной в проекте.

• Еще одним вариантом выхода из ситуации, когда невозможно осуществить последовательное тестирование процесса от начала до конца только на основании выборки изначального входа в процесс, является блочное тестирование. В данном случае делают выборку изначального входа в процесс и начинают сквозное тестирование. Как уже говорилось, на каком-то этапе процесса прерывается однозначная связь между выходом из предыдущего этапа и выходом из последующего. В этом случае аудитор просто завершает работу с первой выборкой и делает новую выборку из выхода этапа процесса, на котором произошло прерывание. Таким образом, аудитор проводит сквозное тестирование по блокам этапов аудируемого процесса. В ряде случаев такой вариант тестирования может быть единственно возможным.

Данный текст является ознакомительным фрагментом.