Разработка вопросов для проведения оценки
Не существует неизменного набора вопросов, уместных для каждого случая проведения оценки. Вопросы варьируются в зависимости:
- от характера программы или проекта - от того, проверяется ли с их помощью инновационная разработка или отработанная система предоставления услуг;
- от того, кто задает вопросы - т.е. кто является заинтересованной стороной оценки, а также от того, сколько разных групп таких заинтересованных сторон существует;
- от того, на какой стадии находится проект - в начале реализации или близок к завершению;
- от сектора, в котором выполняется проект (здравоохранение, образование, защита окружающей среды, развитие предприятий и т.п.).
Факторы, влияющие на вопросы оценки:
· характер проекта. Согласно классификации, предложенной Росси и Фримен, характер проекта определяется тремя категориями:
- инновационные проекты, которые апробируют нечто новое, например, новую практику в здравоохранении, новую технологию решения проблемы трудоустройства подростков и т.д.;
- расширенные, те, которые уже работают и потенциально применимы, например, в новых географических районах, либо с другой целевой группой благополучателей (например, трудоустройство молодежи с ограниченными возможностями в развитие проекта трудоустройство молодежи);
- обычные, т.е. проекты, предоставляющие те же услуги, которые уже успешно предоставлялись ранее.
Перечень основных вопросов, которые могут быть заданы во время проведения оценки, может изменяться в зависимости от этих категорий. Для некоторых видов проектов - "инновационных" или "расширенных" -могут потребоваться ответы на такие вопросы, которые для "обычных" проектов являются уже давно решенными.
Другие виды вопросов являются в равной степени значимыми для всех категорий проектов. Например:
Таблица 2
| Вопрос | Инновационный | Расширенный | Обычный |
| Дает ли выполнение проекта ожидаемый результат? | Задать | Нет | Нет |
| Можно ли добиться тех же результатов на новом месте? | Задать | Задать | Нет |
| Хорошо ли управляется проект? | Задать | Задать | Задать |
| Охватил ли проект всех потенциальных клиентов, которых планировалось охватить? | Задать | Задать | Задать |
Важным моментом, который следует отметить в табл. 2, является следующий: в "обычном" проекте не обязательно отвечать на наиболее базовые вопросы. Многие проекты по оказанию помощи, которые выполняются некоммерческими организациями, принадлежат к категории "обычных". Организации выполняют их успешно, поскольку много раз добивались успехов в ходе выполнения одного и того же базового проекта. Например, благотворительным организациям, занимающимся сбором вещей для детских домов, не нужно при каждом проведении оценки задавать вопросы: «Нужно ли оказывать материальную поддержку детским домам?» Ответ на этот вопрос уже известен;
· заказчик оценки.Основной заинтересованной стороной, как правило, является тот, кто заказывает оценку. Именно заказчик подписывает с экспертом соглашение на проведение оценки. И именно от него зависит, кого еще можно или необходимо привлекать к оценке. Необходимо ли привлекать сотрудников заказчика, могут ли в оценке принимать участие разработчики проекта и т.д. Стороны, заинтересованные в оценке проекта, но не являющиеся заказчиками, могут принять участие в различных формах:
- в определении стандарта, с которым будет сравниваться качество проекта;
- в формулировке конкретных вопросов оценки;
- в разработке показателей для оценки качества выполнения проекта;
- войти в команду, занимающуюся сбором информации, необходимой для оценки;
- принять участие в анализе и интерпретации фактов, выявленных в ходе проведения оценки.
В некоторых проектах к заинтересованным сторонам и экспертам обращаются с просьбой принять участие задолго до того, как проведение оценки формально поставлено в план.
Заинтересованные стороны и экспертов могут попросить принять участие в разработке проекта - когда формулируются его цели и задачи. Это делается для того, чтобы:
- убедиться, что цели и задачи проекта отражают ожидания всех заинтересованных сторон;
- сформулировать цели и задачи таким образом, чтобы можно было дать их количественную оценку и впоследствии определить, выполнены они или нет.
Заинтересованные стороны и экспертов по оценке могут также попросить принять участие в проекте в ходе его реализации, для того чтобы помочь в разработке и применении системы показателей и механизма сбора данных для наблюдения за ходом выполнения проекта.
Так, например, организаторы конкурса грантов «Губернское собрание общественности Иркутской области» - администрация Иркутской области - привлекали лидеров сектора НКО для разработки критериев оценки заявок конкурса. А для оценки успешности выполненных проектов была создана экспертная группа, которая привлекала к работе благополучателей на территориях реализации проектов;
· продолжительность проекта.Она может быть разной – от нескольких месяцев до нескольких лет. На схеме 1 показаны все этапы жизненного цикла проекта, и уже отмечалось, что до утверждения проекта обычно проводится экспертиза и делается заключение, в котором сопоставляются возможные результаты проекта и возможные затраты по его реализации. Говоря об экспертизе такого типа, некоторые эксперты в области оценкииспользуют термин "оценка", некоторые неиспользуют данный термин. Мы будем использовать термин «экспертиза», и в данном учебном пособии в разделе 4 -«Экспертиза социальных проектов» подробно будет рассмотрен именно этот этап оценки.
На этапе выполнения проекта, оценки, направленные на изучение того, что именно происходило и почему, могут проводиться как в ходе реализации проекта, так и ближе к его завершению. В ходе реализации проекта его менеджеры, спонсоры или привлекаемые ими эксперты могут иметь доступ к информации из различных источников, таких как:
- мониторинг, как наблюдение за работой систем, которые используются для учета базовых данных о том, поступили ли материалы; на месте ли исполнители проекта и работают ли они; соответствующего ли качества предоставляются услуги и пр.
- управленческие информационные системы, направленные на подробный учет реализации запланированных технологий реализации проекта (учет расходных материалов, количество отработанных сотрудниками часов и пр.) и пр.;
К концу периода финансирования проекта в ходе оценки можно задавать прямые вопросы о его результатах: сколько человек получили услуги в рамках проекта? Какой процент от того населения, которое проект должен был обслуживать, фактически получил
услуги в рамках проекта? Действительно ли выполнение проекта повлияло на запланированные изменения (например, обучение школьников правовым знаниям снизило количество правонарушений)? Имели ли место неожиданные результаты - т.н. "незапланированное воздействие"? Были ли эти результаты положительными, например, охватил ли проект большее количество людей, чем ожидалось? Или результаты были отрицательными? Соответствовали ли затраты по проекту запланированной величине или они оказались выше либо ниже ожидаемых? Существуют ли свидетельства, позволяющие предположить, что проект дал бы такие же результаты, если бы был реализован где-либо еще или в несколько иной группе населения?
Оценки, проводимые ближе к окончанию проекта, нередко- называются "завершающими" или "обобщающими". Следует отметить, что некоторые проекты продолжаются после прекращения спонсором их финансирования. В таких случаях термины "завершение проекта" и "прекращение проекта" нужно понимать в том смысле, что прекращается финансирование со стороны спонсора, а не сама деятельность по проекту.
Оценки, проводимые на завершающей стадии финансирования со стороны спонсора, не всегда являются последними оценками, проведение которых запрашивается. На некоторые вопросы нельзя ответить в тот момент, который спонсоры называют "прекращением проекта" или "завершением проекта". Например, спонсоры могут задать вопросы: продолжалась ли деятельность по проекту, был ли он "устойчивым" по окончании финансирования со стороны спонсора. "Устойчивость" - способность проекта или программы
продолжаться без привлечения дополнительных средств спонсора - является ключевым вопросом во многих оценках программы. Произвел ли проект какие-либо "дополнительные" блага? Использовали ли его другие местные сообщества в качестве модели для своих собственных проектов? Многие спонсоры хотят знать ответы на эти вопросы. Они хотят инвестировать те проекты, которым суждена долгая жизнь, а не проекты-однодневки. Однако "заключительные" оценки на последней стадии финансирования проекта не всегда дают полные ответы. Иногда должно пройти некоторое время, прежде чем на подобные вопросы могут быть получены ответы. Когда оценка проводится после окончания помощи со стороны спонсора – возможно, год или два спустя - ее обычно называют "оценкой после фактической реализации".Для определения оценок, которые проводятся после завершения проекта и прекращения финансовой помощи со стороны спонсора, часто используются также термины "оценка воздействия проекта", «оценка влияния», «эффект проекта»:
· сектор или сфера деятельности имеют свои особенности и технические вопросы. Во многих сферах существует свой специальный язык, имеются стандартные подходы к методам количественной и качественной оценки работы, используемые в течение многих лет. Чтобы принести пользу, оценка должна "вписаться" в изучаемый сектор. При ее проведении нужно использовать специальный язык данной области. В ней должны учитываться стандартные подходы к количественному и качественному измерению работы. Кроме того, если такие количественные и качественные параметры не используются в ходе проведения оценки, эксперт должен уметь объяснить, почему это не делается, и убедить аудиторию в том, что сделанный выбор был правильным и единственно возможным.
Никто не может быть экспертом во всех областях. Хорошие эксперты решают данную проблему одним из двух способов:
а) специализируются. Они становятся экспертами в проведении оценки проектов в области образования и занимаются только ими;
б) работают во многих секторах - но всегда в паре с кем-нибудь, кто знает данный сектор или область достаточно хорошо.
Независимо от факторов, влияющих на вопросы из рассмотренных выше, существует ряд практических проблем с вопросами для проведения оценки:
- к тому моменту, когда приглашают эксперта по проведению оценки, у многих заказчиков уже существует разработанный перечень вопросов, на которые они хотят получить ответы от эксперта. Список этих вопросов предлагается эксперту, но может оказаться, что они не позволят провести качественную оценку. Так, например:
а) вопросы слишком общие (Как изменился мир в результате реализации проекта?);
б) вопросы, на которые невозможно ответить в ходе оценки проекта (Была ли политика, вызвавшая к жизни этот проект, правильной?);
- вопросы слишком узкоспециальные;
в) много подробных вопросов, четко не связанных между собой.
От эксперта многое скрыто. Эксперт обычно не видит:
а) кто именно является потребителем результатов
оценки;
б) каким образом будут использованы заключения и рекомендации оценки. На какие решения они повлияют;
в) почему эти вопросы задают в данный момент, а не в другое время.
Встречи с заказчиком оценки - до оформления соглашения и фактического начала проведения оценки - являются идеальным моментом для поиска ответов на вопросы, которые могут возникнуть у эксперта относительно того, почему требуется провести оценку проекта.
Исходный перечень вопросов заказчика следует рассматривать в качестве первого шага в процессе подготовки к оценке. Этот шаг должен прояснить: цель оценки; ее потребителей; планы использования ее выводов и рекомендаций (является ли оценка направленной на принятие решения, т.е. сыграют ли ее выводы определенную роль в том, чтобы помочь спонсору принять конкретное решение?); ожидания относительно той роли, которую заказчик и заинтересованные стороны сыграют в процессе проведения оценки; существуют ли уже стандарты вынесения суждений о качестве работы проекта; существует ли установленный заказчиком порядок вопросов, на которые должна дать ответ оценка по степени их важности; существует ли система мониторинга проекта (механизм постоянного сбора данных,
который поможет ответить на вопросы в ходе оценки); сроки проведения оценки; бюджет, выделенный заказчиком на проведение оценки.
Управление процессом проведения оценки
Оценка - это процесс, которым нужно управлять так же тщательно, как и любым проектом, который анализирует эксперт. Данный процесс включает два основных этапа:
- постановка задачи;
- выполнение задачи.
Каждый этап имеет управленческую и техническую сторону. В данном разделе рассматривается проблема управления оценкой. Постановка задачи проведения оценки имеет два аспекта, и оба они важны:
- заключение договора на проведение оценки с организацией, которая запросила данный вид работы;
- формирование команды экспертов.
Выполнение задачи также имеет два аспекта, важных в управленческом плане:
-формирование и поддержание отношений;
- завершение работы по графику и в пределах установленной сметы.
При отборе экспертов для проведения оценки конкретного проекта государственные ведомства и большинство фондов, заключающие договоры о предоставлении услуг в данной области, используют два вида договорного процесса:
- отбор кандидатов на конкурсной основе;
- обращение к конкретному кандидату.
Когда спонсор хочет рассмотреть кандидатуры нескольких возможных экспертов, прежде чем выбрать одного из них, он публикует свои требования или рассылает их нескольким лицам или группам. В приглашении принять участие в конкурсе на право провести оценку проекта он просит их подготовить предложение с описанием того, как они будут проводить работу, и указанием гонорара.
Спонсор изучает полученные предложения и отбирает кандидата, представившего наиболее оптимальное сочетание технических возможностей и гонорара.
В другом случае спонсор может заранее знать, кто является наиболее квалифицированным экспертом в данной конкретной области. У него есть выбор - направить свои требования только одному эксперту для выполнения работы, которая, как ожидается, не будет слишком дорого стоить. Спонсор может попросить эксперта подготовить подробное предложение или просто спросить его, какой гонорар он запросит за выполнение работы. Выбор эксперта без проведения конкурса делается, как правило, на основе того, что данный эксперт является наиболее квалифицированным.
В обоих случаях ключевым разделом приглашения спонсора является формулирование требований, которые он направляет эксперту. Документ, в котором дается описание ожиданий спонсора, часто называют "План работы". Иногда используют термин "техническое задание".
План работы включает все основные элементы того, что будет оформлено как соглашение между спонсором и экспертом о составляющих задачи по проведению оценки проекта. Когда спонсор готовит "План работы" и запрашивает предложения экспертов, "План работы" отражает только точку зрения спонсора.
В ходе проведения переговоров по договору у эксперта есть возможность провести работу со спонсором и изменить "План" таким образом, чтобы в нем нашли отражение взгляды как спонсора, так и самого эксперта. Следует иметь в виду тот факт, что основные элементы "Плана работ" являются довольно стандартными. Если планируется работать в качестве эксперта, то неплохо начать собирать библиотеку образцов как хороших, так и плохих "Планов работ". Она поможет научиться совершенствовать работу эксперта с клиентами. Типовыми элементами «Плана работ», как правило, являются:
- краткое описание проекта или программы, оценка которых должна быть проведена;
- краткое определение цели оценки;
- базовая информация: ход выполнения проекта на данный момент; является |ли данная оценка первой, и пр.;
- описание работы или перечень вопросов для проведения оценки;
- описание идей, которые могут быть у клиента относительно общей
структуры оценки, сбора данных, вероятного количества командировок,
анализа данных и т.п.;
- описание умений и навыков, которые, по мнению клиента, необходимы
отдельному эксперту или команде для проведения оценки;
- определение требований к отчету о проведении оценки;
- смета.
При обсуждении «Плана работ» потенциальному эксперту необходимо выяснить все непонятные для него из «Плана работ» вопросы. Например, важно точно понимать:
- для чего спонсор хочет провести оценку, и
почему это нужно делать в данный момент, а не в другое время;
- кто воспользуется результатами данной оценки;
- какие решения будут приняты на ее основе;
- какие роли будут играть другие "участники" (заинтересованные стороны в реализации проекта) и т.д.
Выяснив подробности, эксперт может узнать, что из всего перечня вопросов для проведения оценки важны только два или
три. Остальные - всего лишь продукт работы группы, занимающейся решением данной задачи спонсора. Эксперт может также обнаружить, что будет проводить оценку не в одиночку, а будет работать в команде, некоторые члены которой могут быть представителями организации, а другие – такими же приглашенными экспертами.
Прежде чем эксперт возьмет на себя обязательства по проведению оценки, ему должны быть ясны два элемента "Плана работы" - срок, в течение которого он должен завершить задание, и смета. Сроки и смета налагают ограничения. Любой выбор эксперта в том, что касается структуры оценки, сбора данных и их анализа, членов команды, командировок и пр., должны вписываться в сроки и в смету.
Слишком часто эксперты-новички недооценивают время, необходимое для завершения того или иного задания, которое нужно выполнить в ходе проведения оценки. Времени требуют: планирование оценки; разработка и предварительное апробирование форм собеседования; обучение сотрудников, которые будут проводить собеседование; сбор данных и их анализ; выработка рекомендаций и определение их выполнимости. Подготовка отчета всегда требует времени - и больше, чем первоначально предполагает эксперт.
В учебных материалах программы подготовки экспертов в области оценки проектов представлена таблица - руководство для определения того, как распределять ресурсы между различными заданиями, которые включает в себя проведение оценки (таблица 3).
Таблица 3