КАКИМИ ДОЛЖНЫ БЫТЬ ПОКАЗАТЕЛИ И ИСТОЧНИКИ ПРОВЕРКИ?
КАКИМИ ДОЛЖНЫ БЫТЬ ПОКАЗАТЕЛИ И ИСТОЧНИКИ ПРОВЕРКИ?
Теперь поговорим о показателях и источниках проверки. Для чего они нужны? Для того, чтобы мы могли убедиться сами (и убедить других) в том, что действуем правильно, и наша работа действительно приведет к достижению поставленной цели. Да и формулировка цели приобретает дополнительные оттенки благодаря показателям. Каждое наше действие направлено на результат, и достижение этого результата можно каким-либо образом подтвердить с помощью показателей (если этого сделать нельзя, то действия с полным правом можно назвать бессмысленными).
Собственно описанию этих показателей, их источников (где их искать), способов их измерения (как их измерять или описывать) и посвящены следующие две колонки таблицы.
Показатели могут быть плановыми и мониторинговыми. Получение планового показателя говорит о том, что какая-то конкретная задача выполнена, поставленная цель достигнута. Мониторинговые же показатели служат для промежуточной оценки хода реализации проекта (о них мы поговорим чуть позже). Оба вида показателей должны соответствовать определенным требованиям. Плановые показатели должны присутствовать в ЛСС как показатели успешного достижения промежуточных результатов и целей.
Формулировка показателей. SMART. В грамотно сформулированных показателях должны быть отражены следующие факторы: качественный (как изменится показатель), количественный (на какую величину изменится показатель), временной (в течение какого промежутка времени будет происходить изменение), а также описание целевой группы и географии проводимой работы.
Таблица 6. «Что должна содержать формулировка показателя» поможет вам грамотно сформулировать показатели. Двигаясь по ней сверху вниз и отвечая на приведенные вопросы, определите последовательно все необходимые факторы, а после соберите полученную информацию в связное предложение.
Таблица 7. «Примеры формулировки показателей» наглядно продемонстрирует вам этот процесс: каждая из колонок, озаглавленная «Пример 1, 2 или 3», посвящена процессу постановки какого-то показателя.
Отвечаем на вопросы:
? Какие ресурсы (человеческие, материальные, финансовые) должны быгть предоставлены для того, чтобы гарантировать достижение цели проекта?
? Каковы существующие организационные, институциональные, административные, управленческие возможности, которые можно использовать по отношению к проекту?
? Ясно ли обозначены роли и ответственность среди исполнителей?
? Будет ли проводиться подготовка, обучение целевой группы в рамках осуществления деятельности по проекту?
? Идет ли в настоящее время осуществление аналогичных проектов правительственными структурами или иными организациями? Есть ли опасность пересечения интересов либо конфликта?
Таблица 6. Что должна содержать формулировка показателя
Таблица 7. Примеры формулировки показателей
***
В англоязычных источниках в отношении показателей часто можно видеть, что они должны быть «умными» (по-английски «Smart»). Аббревиатура SMART – Specific, Measurable, Approved, Realistic and Time-Bound: в переводе означает, что показатели обязательно должны быть конкретными, измеряемыми, достижимыми, реалистичными и иметь временные рамки.
Иногда в заявках на финансирование проектов приходится встречать показатель «благодарственные письма от представителей целевой группы». Сам по себе он не является ни конкретным, ни измеримым. Эта формулировка также не претендует на место источника проверки.
Предположим, исполнители проекта в подтверждение проведенной работы получили некоторое количество таких писем от представителей целевой группы. Если в тексте писем будут приводиться конкретные (и измеримые) факты, то они могут составить содержание более официального, солидного документа. С другой стороны, существует вероятность того, что исполнители проекта «подтасуют результаты»: из всего множества писем от представителей целевой группы будут выбраны только те, которые содержат благодарности, а содержащие конструктивную (или не очень) критику будут «припрятаны» и не продемонстрированы представителям контролирующих организаций либо донорам. К тому же, если целевая группа достаточно велика, никогда не будут довольны результатами вашей деятельности ВСЕ ее участники, поскольку потребности людей будут несколько отличаться. Как результат, никогда не будет на все 100% удовлетворенной группы. Поэтому, если вы намерены с помощью механизма «благодарственных писем» представить объективную картину результатов вашей работы, вам необходимо провести анонимное анкетирование ВСЕХ, кого затронули действия по осуществлению проекта, либо (в идеальном случае) заказать методологически выверенное социологическое исследование и привести его результаты в документе – отчете о проделанной работе. Еще один вариант – поискать другой показатель достижения цели проекта.
Показатели должны соответствовать тем промежуточным результатам, которые уже присутствуют в логико-структурной схеме, и быть уместными в рамках планируемой деятельности.
Что означает термин «уместный показатель»? Если мы лечим простудившегося человека, у которого высокая температура, и добиваемся ее снижения, то одним из показателей эффективности лечения будет температурный лист больного. Вряд ли стоит в рамках лечения ОРЗ проводить рентгеновское исследование состояния, скажем, большого пальца левой ноги пациента – сформулированный на основе результатов такого исследования показатель будет неуместен. Далее, мы можем измерять температуру разными способами: прикладывая руку ко лбу и определяя – лоб горячий или нет, либо пользуясь медицинским термометром, либо – высокоточным цифровым, показывающим значение до тысячной доли градуса. Что уместно в данном случае? Ответ очевиден. Уместный показатель – «пришедшая в состояние нормы с точностью до 0,1 градуса температура больного», а соответствующий этому показателю источник проверки – составленный с помощью медицинского термометра температурный лист.
Приведенный выше пример демонстрирует очевидную абсурдность неадекватного поведения врача. Однако нижеследующий пример взят из реального проекта, с которым нам пришлось встретиться:
Нередко авторы заявок на проект заходят удивительно далеко в очевидном нежелании разобраться в механизме создания ЛСС. Однажды нам попала в руки совершенно реальная заявка на финансирование проекта, содержащая логико-структурную схему со следующими показателями: 1. Наличие целевой группы. 2. Наличие финансовых средств. 3 4. Наличие исполнителя проекта. Судя по всему, исполнители проекта сначала определили вид деятельности, которой им хотелось заниматься, а после стали искать тех, кому нужна их работа, подбирать команду тех, кто будет подчиняться организаторам и «добывать» средства. Логика ЛСП была грубо нарушена: вместо того, чтобы «идти от проблемы», податели заявки «шли от желания совершить те или иные действия», не заботясь об их эффективности.
То, что первый и последний показатели таковыми не являются – очевидный факт: это необходимые условия для осуществления проекта, а не показатели проведенной работы. «Наличие финансовых средств» также не является таковым: несмотря на то, что «показатель» удовлетворяет требованиям SMART (это наличие можно измерить и поставить задачу «раздобыть денег за период с… до…», подобрав параметры так, чтобы реальность задачи не вызывала сомнений), собственно логика размышлений, приведшая к этой формулировке, порочна. Как обсуждалось выше, «отсутствие инструмента» не рассматривается как проблема, а «наличие инструмента» не рассматривается как цель – «инструментом» в данном случае являются деньги. Логико-структурная схема с такими формулировками демонстрирует низкий профессионализм участников проведенного анализа и непонимание собственно логики подхода.
Прямые и косвенные показатели. Показатели должны ясно демонстрировать произведенные изменения и по возможности быть прямыми – то есть непосредственно демонстрировать произошедшие изменения. Если прямых показателей не существует либо средства их измерения громоздки, имеют высокую стоимость, проверка связана с большими временными затратами, следует постараться подобрать косвенные показатели, не имеющие непосредственного отношения к измеряемым достижениям, но тем или иным образом отражающие произошедшие изменения. Естественно, должна быть указана связь с оцениваемым результатом.
Предположим, мы решили заняться производством детского питания в целях обеспечения детей региона недорогими и качественными плодово-ягодными пюре. Изначально сырье для изготовления пюре планируется закупать, но в рамках долгосрочной перспективы был посажен яблоневый сад. Каков показатель эффективности такой работы? Наверняка «увеличение доли собственного сырья в производстве до N% за X лет работы», что говорит о том, что деревья начали плодоносить, а стоимость детского яблочного сока – снижаться. Показатель «увеличение высоты деревьев на 30 см ежегодно за X лет работы» будет представлять интерес для ботаников, проводящих исследования по динамике роста плодовые деревьев в нашем регионе или для создателей этого сорта яблок, но не для детей, которые пьют яблочный сок. В рамках нашей деятельности он не демонстрирует изменений, повлиявших на конечный результат.
При контроле роста и плодоношения яблонь мы однажды можем заметить, что они поражены каким-то вредителем – по стволам ползают жучки и точат кору или древесину. Это негативно влияет на объем урожая, он заметно снижается. Мы начинаем бороться с вредителями доступным нам способом. Каков будет показатель эффективности? Можно на протяжении полугода внимательно осматривать яблони, отлавливать жучков, пересчитывать их, и полученная статистика скажет нам о действенности выбранного препарата, которым мы обработали деревья. А можно просто определить, увеличился или уменьшился урожай по сравнению с предыдущим годом (конечно, если другие факторы не повлияли на него негативно. Таким образом, косвенный показатель покажет нам эффективность борьбы с вредителями.
Источники и способы проверки показателей. Каждому из показателей должны соответствовать источники и способы проверки. Они также должны быть адекватными, конкретными, надежными и достоверными, доступными и недорогими в разумных пределах. Если нет источника или способа измерения, мы отбрасываем показатель и ищем другой.
Например, процесс измерения комплексного показателя «повышение уровня жизни представителей целевой группы» достаточно сложен, может занять много времени и потребовать значительные финансовые вложений. Исполнителям проекта следует конкретизировать показатель: например, мы повышаем уровень знаний и степень профессионализма – в результате повысится заработок людей, либо обеспечиваем их средствами, необходимыми для жизни – продуктами питания, медикаментами, одеждой и т.д., либо улучшаем условия жизни – проводим ремонт в доме. Такие показатели легче измерить, их источники являются доступными.
Желательно в графе, посвященной способам поверки показателей, указать периодичность их проверки – например, раз в месяц (раз в квартал, раз в год). Желательно осуществить проверку показателей чаще, чем один раз, во время завершения проекта.
Очень важно, чтобы источники информации обеспечивали воспроизведение полученных результатов, то есть повторное измерение одних и тех же показателей должно давать один и тот же результат. Также понятно, почему не стоит ссылаться на закрытые источники, информация из которых недоступна по запросу сторонней организации (за исключением очень специфических проектов) – заинтересованные стороны и доноры должны как минимум иметь возможность получения информации об этих показателях независимо от вас.