Процесс оценки политических программ: ОГЛАВЛЕНИЕ и основные этапы
Алгоритм политического оценивания включает в себя определение программы и желаемых показателей ее реализации, оценку хода реализации программы (результаты и последствия) и факторов, оказывающих па него влияние, а также коммуникацию, доведение оценочной информации до лиц, принимающих решения, менеджеров, сотрудников и других заинтересованных сторон.
Важно запомнить!
Принято выделять следующие этапы оценочного процесса:
1. Предварительный этан (инициирование оценивания).
2. Планирование оценивания:
• определение общего замысла оценивания;
• определение целей и критериев оценки;
• определение плана-графика;
• выработка стратегии;
• коммуникация с заинтересованными сторонами:
3. Проведение оценивания.
4. Представление и распространение результатов оценивания.
5. Имплементация результатов оценивания.
Предварительный этап (инициирование оценивания). На стадии, предшествующей проведению оценивания, менеджеры программ могут даже не подозревать о потенциальных преимуществах выработки и применения измерительных оценочных систем; другая крайность связана с тем, что менеджеры могут испытывать страх перед директивно навязанной им оценочной процедурой, проводимой "чужаками" в целях, характер которых для них остается непонятным. Внешние оценочные инициативы, предпринимаемые с целью контроля над менеджментом программы, — например, исходящие от парламентских комитетов или политических назначенцев в административных структурах, — без сомнения, будут восприниматься сотрудниками и руководством программы с подозрением и враждебностью[1]. Практически неизбежные опасения, вызываемые у этих участников подобными проверками, способны жестко ограничить возможности их конструктивного вовлечения в оценочный процесс.
Вопросы практики
Открытость коммуникации и совместное определение круга задач и характера конечного продукта являются полезными тактическими приемами оценщика в ситуации сопротивления со стороны персонала и руководства. То, в какой мере полученные в процессе оценивания результаты будут содействовать улучшению соответствующих программ, непосредственно зависит от добросовестности и открытости самого процесса оценивания. Оценщики и оцениваемые несут общую ответственность за успех данного процесса и его результатов. Критически значимым фактором при этом выступает эффективная коммуникация между участниками.
Определяя круг ключевых вопросов, на которые оценочное исследование призвано дать ответы, оценщики должны в максимальной степени руководствоваться практически значимыми интересами менеджеров программ. Вместе с тем, следует иметь в виду, что в своей экстремальной форме такая стратегия способна сделать оценщиков простыми техническими исполнителями, узко сфокусированными на аспектах, представляющих краткосрочный интерес для менеджеров программ. Профессиональные оценщики должны стремиться к активной, стимулирующей роли, оказывая помощь менеджерам в формулировании вопросов даже в условиях жестких временных ограничений[2].
Совет эксперта
Ценность информации, произведенной в процессе оценивания, в значительной степени зависит от точки ее ввода в соответствующий цикл планирования и бюджетирования, отмечает М. Паттон[3]. Предварительная коммуникация между оценщиками, менеджерами программ и другими заинтересованными сторонами способна повысить ценность полученной информации: сила убеждения и авторитет, приобретаемые оценщиками в процессе такой предварительной коммуникации, могут сыграть критическую роль в инкорпорировании оценки в текущий бюджетный процесс. Задача-максимум при этом — помочь менеджерам и лицам, принимающим решения, осознать долгосрочные преимущества институциализации оценивания в рамках процессов планирования и бюджетирования.
Планирование оценивания. Чтобы быть эффективным, оценивание должно иметь ясно сформулированный замысел. Для чего проводится оценивание? Чтобы обеспечить информацию для принятия решения? Решить конкретные управленческие проблемы? Или обучить персонал более эффективным методам? Каким образом будут использованы результаты оценивания?
Исходным пунктом планирования является дефиниция программы, представляющая собой изложение базовых теоретических допущений (идентификация необходимых ресурсов, планируемых действий, значимых промежуточных результатов, долгосрочных целевых ориентиров, а также предполагаемых каузальных связей между ресурсами, действиями, промежуточными результатами и долгосрочными целями) и количественных или качественных показателей, предназначенных для оценочного измерения выделяемых ресурсов, предпринятых действий и полученных результатов.
Значимыми индикаторами {целями и критериями оценки) деятельности организации/программы, как правило, выступают измерения результативности, качества, своевременности, эффективности (либо эффективности затрат)[4]. Количественные измерения могут быть дополнены качественными критериями (например, экспертный рейтинг организации/программы). Если значимыми представляются несколько измерений, может быть выработан совокупный показатель деятельности с весовыми коэффициентами, отражающими значимость каждого индивидуального измерения.
План-график оценивания обычно определяется основным замыслом, в особенности, если речь идет об обеспечении конкретного управленческого решения. Значимыми аспектами при этом представляются[5]:
— своевременность (результаты оценивания должны быть представлены и распространены к определенному моменту принятия решения);
— продолжительность (для завершения оценивания необходимо выделить достаточно времени);
— зрелость объекта оценивания (результаты деятельности программы или организации должны успеть проявиться).
Стратегия оценивания определяет структуру и основные компоненты оценочного процесса и обычно отражает следующие аспекты:
— ресурсы (людские, финансовые, организационные, технические и информационные);
— дизайн (цели и задачи, методологический аппарат и т.д.);
— менеджмент (распределение обязанностей и контроль за исполнением);
— кадры (требования к членам рабочей группы и условия их участия);
- применение результатов (формат и механизм представления и распространения результатов оценивания).
Совет эксперта
Па стадии планирования целесообразно также совместно с менеджерами организации/программы определить контуры ожидаемого конечного продукта, стремясь к тому, чтобы полученные результаты оказались максимально соотнесены с имплементацией изменений. Оценщики и менеджеры должны определить, каким образом они намерены использовать полученные результаты, с тем, чтобы информация оказалась необходимой и достаточной для внесения корректировок в ход реализации программы, если в этом возникнет необходимость. Такой подход повышает вероятность того, что оценочная работа будет иметь результатом не только идентификацию проблем, но и выработку их решений.
Проведение оценивания. Па стадии имплементации стратегии оценивания необходимо тесное сотрудничество с менеджерами программ. Кредитоспособность результатов оценивания значительно повышается там, где методологическая целостность и прозрачность логики, посредством которой они получены, подкрепляется открытым обсуждением и коллективным принятием решений[6].
Мониторинг процесса оценивания должен быть простым и гибким. Отчеты о ходе работы могут предоставляться на отдельных ключевых этапах либо с определенной регулярностью. В редких случаях, когда требуется внесение существенных изменений в ход оценивания, могут проводиться брифинги и совещания.
Взаимодействие между оценщиками и менеджерами программ в процессе имплементации стратегии оценивания, кроме того, дает первым хорошую возможность для ознакомления менеджеров с оценочными методиками, что представляется целесообразным с точки зрения культивирования позитивных установок в среде менеджеров. В долгосрочной перспективе такие усилия могут принести выгоды не только оценщикам, но и самим менеджерам. Например, последние могут использовать данные, полученные в процессе оценивания, в области связей с общественностью и в усилиях по наращиванию финансирования своих программ[7].
Представление и распространение результатов. Представление результатов оценивания в той форме, которая повышает вероятность их практического применения, является последним тестом аффективного оценочного процесса.
У каждого профессионального оценщика есть собственный стиль презентации полученных результатов. Каждая презентация, однако, должна отвечать базовым требованиям в отношении ясности, конкретности и обоснованности.
Отчет о результатах оценивания можно признать хорошим тогда, когда он соответствует основному замыслу, целям и задачам. Каким бы он ни был совершенным в отношении стиля, если отчет не отвечает на первоначально поставленные вопросы, он лишен практической ценности.
Помимо этого основного требования, отчет должен соответствовать ряду критериев:
— обоснованность (основаны ли выводы на достоверных и надежных данных?);
— убедительность (подкрепляют ли данные и логические аргументы основные выводы исследования?);
— нейтральность (излагает ли отчет данные и аргументы непредвзято?);
— структурированность (насколько грамотно организован текст отчета?);
— читабельность (легко ли читается текст?);
— презентабельность (насколько привлекательно оформлен отчет?).
Совет эксперта
Задача оценщиков состоит в том, чтобы покапать значимость, точность и надежность полученной информации, а также представить результаты в ясной и доступной для основных заинтересованных аудиторий форме. При этом менеджмент программы и другие участники процесса могут оказаться незаменимым источником информации по поводу выбора конкретной тактики представления и распространения полученных результатов.
Распространение полученных результатов может реализовываться в различных формах:
— публикации, брифинги, пресс-релизы (обеспечивают более широкую доступность результатов оценивания, включая заинтересованные стороны, принявшие участие в процедуре оценивания);
— тренинги и повышение квалификации (если результаты оценивания представляют практическую значимость, целесообразно организовать их анализ и выработку новых навыков с участием персонала программы или организации и других заинтересованных сторон).
Имплементация результатов оценивания. Применение результатов определяется изначальным замыслом и целями исследования. Можно, однако, выделить три группы элементов, которые будут присутствовать в большинстве проектов:
— рекомендации (предполагающие определенные действия, которые должны быть приняты либо отвергнуты);
— выводы (значимые результаты более общего характера, которые могут представлять интерес для смежных областей и сфер активности заказчика или спонсора исследования; они подлежат обсуждению и уяснению);
- обратная связь (если нас интересует эффективность и результативность проделанной работы, следует предусмотреть механизм мониторинга практического использования наших рекомендаций и их последствий).
Разные стороны могут иметь различные намерения в отношении полученных результатов: одни могут быть заинтересованы в использовании их для оправдания ранее принятых решений, другие — для аргументации в пользу изменения существующей практики. В этой ситуации оценщики заинтересованы прежде всего в защите ценности и практической значимости результатов как таковых.
Цель оценщика заключается в том, чтобы по мере возможностей стимулировать политическую и управленческую востребованность оценивания, и в особенности стимулировать применение оценивания для улучшения деятельности организаций и программ.
Важно запомнить!
Оценивание является важнейшей управленческой функцией, обладающей значительным потенциалом улучшения деятельности организаций/программ, однако чтобы этот потенциал оказался реализован, поддержка систематических оценочных усилий должна быть институциализирована на всех уровнях принятия решений. Профессиональные оценщики способны продемонстрировать продуктивность оценочных систем, которые, будучи раз спроектированы и внедрены, далее могли бы эксплуатироваться самим персоналом организаций/программ на постоянной основе. Ориентированные на действие оценщики могут стать эффективными агентами инноваций, содействуя менеджерам и сотрудникам в деле имплементации выработанных рекомендаций.
Профессиональные оценщики способны также повысить эффективность и результативность программ, воздействуя на установки менеджеров в отношении роли оценивания. Как утверждает К. Уайсс, неоценимым достоинством большинства оценочных проектов является то влияние, которое эти проекты оказывают на менталитет менеджеров и на способы восприятия ими своих программ.
Проблемы на уровне менталитета государственных служащих и лиц, принимающих решения, остаются основным препятствием на пути институциализации политического оценивания в системе выработки, принятия и реализации политических решений в России.