Методы получения коллективных экспертных оценок

Метод Дельфи – получение согласованного мнения и оценки экспертов с помощью специальной программы последовательных индивидуальных опросов экспертов. Метод Дельфи разработан в середине XX в. О. Хелмером и Н. Делки (США). Название метода произошло от древнегреческого города Дельфи, где но приданию жил предсказатель будущего (оракул), и сам метод был предназначен для прогнозных расчетов по проблемам, которым была свойственна недостаточность информации. Его применение предусматривает ряд последовательно осуществляемых процедур, направленных на формирование группового мнения по исследуемой проблеме, при следующих условиях:

• полный отказ от личных контактов экспертов, опрашиваемых по конкретной проблеме;

• обеспечение экспертов необходимой информацией;

• сохранение анонимности оценок, аргументации и критики;

• обоснование ответов экспертов по запросу организаторов экспертизы;

• возможность количественной оценки ответов экспертов;

• многоразовое проведение экспертизы (в несколько туров);

• информирование экспертов о результатах каждого тура;

• выявление оценок и мнений, отличающихся от мнения большинства;

• статистическая обработка результатов.

Обеспечение продуктивной работы экспертной комиссии достигается за счет анонимности, обратной связи и группового ответа.

Анонимность процедуры обеспечивается путем индивидуального опроса каждого эксперта, в результате чего отсутствует идентификация оценок экспертов и приводимых ими аргументов.

Обратная связь осуществляется посредством доведения до участников экспертизы результатов каждого промежуточного тура опроса в виде усредненных статистических значений.

Групповой ответ формируется с помощью статистических методов, что обеспечивает правильное отражение мнения каждого эксперта.

Особые требования данный метод предъявляет к опросной анкете: все содержащиеся в ней вопросы должны сводиться к количественной оценке и допускать возможность вложения ответа в числовой форме. Не разрешается использование вопросов, требующих содержательных ответов. Поэтому в анкету включаются вопросы, касающиеся времени наступления исследуемого события (например, когда в России будет создан первый образец автомобиля японского уровня), количественных значений прогнозируемых характеристик (какое соотношение уровней производительности труда в России и США ожидается к 2020 г.), вероятностей наступления некоторых событий или влияния отдельных факторов на исследуемую систему (например, оцените в процентном отношении долю интеллектуального труда в общей структуре затрат на производство экономического продукта в России в 2020 г.).

Рассмотрим некоторые технологические особенности метода Дельфи.

Во-первых, работа по данному методу начинается с чистого листа, т.е. анкета, предоставляемая экспертом в первом туре кроме общей формулировки задания экспертизы ничего не содержит. Основная задача первого тура – выработать структуру опросной анкеты, которая впоследствии будет использоваться для проведения экспертизы.

Во-вторых, заполненные таким образом анкеты передаются организаторам экспертизы, которые анализируют направления, идентифицируют события и выводят окончательные перечни тех и других, что и составит основу второй опросной анкеты.

В-третьих, анкета, разработанная группой экспертов в течение первого тура опроса, на второй тур заменяется новой анкетой, разработанной организатором экспертизы самостоятельно либо привлеченными сторонними специалистами, с тем чтобы придерживаться процедуры классического подхода – тогда работа экспертов во втором туре начинается с поиска ответов на новые (или уточненные) вопросы.

В-четвертых, заполненные экспертами анкеты обрабатываются и анализируются, формируются статистические ряды и вычисляются медианы и квартили (за медиану принимается средний член рода, по отношению к которому число оценок с начала и конца ряда будет одинаковым; квартили – интервалы упорядоченного ряда, содержащие по 25% значений этого ряда. Два крайних интервала называют соответственно нижним и верхним квартилями, а два средних интервала (квартили) образуют наиболее предпочтительную область).

Полученные значения принимаются за характеристики распределения оценок (медиана служит показателем группового ответа, а наиболее предпочтительная область – показателем разброса индивидуальных оценок) и сообщаются экспертам.

В-пятых, эксперты, чьи оценки оказались в крайних квартилях, предоставляют обоснованный ответ, почему их мнение отличается от группового мнения.

Они вправе менять оценку, приводить дополнительную аргументацию и т.п. С новыми обоснованиями знакомят всех членов экспертной группы, не называя экспертов и кто и как обосновал или изменил свою первоначальную позицию.

В-шестых, в очередном туре опросная анкета кроме первоначального перечня вопросов включает групповые медианы значений ключевых характеристик исследуемого явления, нижний и верхний квартили и сводные данные о содержащихся в анкете расхождениях с групповым мнением.

Члены экспертной группы вновь рассматривают аргументы и выставляют новые оценки относительно содержащихся в анкете вопросов.

В-седьмых, организатор экспертизы, получив пересмотренные оценки и соответствующие им аргументы, снова проводит статистико-аналитическую обработку анкет и готовит новое приложение к опросной анкете для очередного тура. После этого эксперты должны ознакомиться с мнением коллег и с учетом этого выставить новые оценки. Данные оценки еще раз обрабатываются и принимаются в качестве результата всей экспертизы.

На практике необязательно проводить все четыре тура опроса, если, например, эксперты пришли к соглашению на втором туре.

В целях повышения результативности опросов и активизации работы экспертов метод Дельфи сочетают с деловой игрой и с другими методами, например методами "дерево целей", "прогнозирование" и др.

ПАТТЕРН (PATTERN) – методика системного анализа объекта, в которой впервые предложена идея структуризации целей и определены классы критериев: оценки относительной важности, взаимной полезности состояния и сроков разработки ("состояние – срок"). Метод разработан в США в 60-е гг. XX в. Структура методики ПАТТЕРН приведена на рис. 5.7.

Практика использования системы ПАТТЕРН продемонстрировала возможность проводить анализ сложных проблемных ситуаций, распределять по важности огромное количество данных в любой области деятельности, исследовать взаимное соотношение постоянных и переменных факторов, на которых основываются и на которые влияют принимаемые ими решения.

Рис. 5.7. Структура методики ПАТТЕРН

Система ПАТТЕРН явилась важным средством анализа труднорешаемых проблем с большой начальной неопределенностью, прогнозирования и планирования их реализации. Основные идеи методики применялись в различных областях: научные исследования, проектирование и создание систем различной сложности в научно-исследовательских организациях и на предприятиях, расширение рынков сбыта военно-космической продукции и т.д.

Глубина прогнозирования в системе ПАТТЕРН составляла 10–15 лет, что соответствовало жизненному циклу становления и старения техники.

Методика была предназначена для создания системы подготовки и реализации планов обеспечения военного превосходства США над всем миром. В 1964 г. сенатор Г. Хемфри выступил в Конгрессе США с предложением создания на базе концепции ПАТТЕРН Бюро помощи президенту в подготовке решений научно-информационными методами (PASSIM – President Advisory Staff on Scientifi c Information Management).

В качестве основ для формирования и оценки "дерева целей" разрабатываются "сценарий" (нормативный прогноз) изменений объекта исследования и прогноз развития науки и техники (изыскательный прогноз). Отечественные ученые Ю. И. Черняк, В. Н. Волкова существенно улучшили методику ПАТТЕРН, предложив не только принципы формирования "дерева целей", но и принципы декомпозиции ("пространство – время"). Этот методический подход позволяет сформировать систему целей, охватывающих, с одной стороны, временной аспект развития (текущий период, ближайший период и отдаленный период), а с другой – пространственный аспект (исследуемую систему, ближнюю среду и дальнюю среду).

На рис. 5.8 приведен пример, иллюстрирующий формирование целей в системе "пространство – время".

Рис. 5.8. Формирование целей в системе "пространство – время"

Концепция Ю. И. Черняка и В. Н. Волковой о соответствии двух "шкал" развития сложных систем (пространственной и временной) нашла применение при разработке отраслевых автоматизированных систем управления, управления крупными научными проектами, систем управления регионами и др.

Весьма плодотворным является принципиальное положение концепции о выделении составляющих на верхнем уровне структуры "дерева" для решения новых, неисследованных проблем ("что нужно узнать", "что нужно создать", "что нужно организовать" – рис. 5.9).

Рис. 5.9. Выделение составляющих на верхнем уровне структуры "дерева" для решения новых, неисследованных проблем

Важное практическое значение имеет также принцип "пирамидки", предложенный указанными авторами, помогающий понять, что выделяемые ветви "дерева целей" характеризуют объем "области целей". Раскрыть "область цели" помогает последовательное перемещение по граням "пирамидки" с возвратом на новом витке к уже структурированным ветвям с учетом нового видения проблемы (рис. 5.10).

Рис. 5.10. Принцип "пирамидки", характеризующий объем "области цели"

Применяемая в настоящее время отечественная методика структуризации целей обеспечивает формирование системы целей с учетом пространства инициирования изменений (различных компонентов внешней среды), жизненных циклов (ключевых компетенций, технологий, продуктов), факторов менеджмента организации. Так, например, методика предполагает последовательную декомпозицию целей по следующим основным уровням иерархии:

I – формирование глобальной цели системы.

II – конечные результаты деятельности (продукты, услуги).

III – пространство инициирования целей (дальняя среда, непосредственная среда, собственно система).

IV – жизненный цикл продукта (этапы ЖЦ).

V – состав системы (средства деятельности, предметы деятельности, персонал, отношения).

VI – цикл управления (этапы).

VII – делегирование полномочий.

В результате такой декомпозиции можно задать цели в виде некоторых направлений развития или выйти на уровень организационно-экономических (технических) мероприятий (рис. 5.11).

Рис. 5.11. Систематизация программ, разрабатываемых отраслевыми подразделениями региональной администрации

При разработке программ необходимо четко сформулировать цель и определить параметры оценки ее достижения, а также финансовые ресурсы на основе системы "планирование – программирование – бюджетирование".

Программно-целевой подход получил широкое распространение у нас и за рубежом. Сущность этой системы состоит в том, что расходы на реализацию программ распределяются не по их характеру, а по целям и предлагаемым результатам.

Взаимосвязь планирования, бюджетирования и программирования на региональном уровне показана на рис. 5.12.

Рис. 5.12. Взаимосвязь планирования, бюджетирования и программирования на региональном уровне