Методы согласования оценок (consensus technique)

Обычно применяется при обработке индивидуальных экспертных оценок. Метод имеет много вариантов, различающихся способами, при помощи которых из индивидуальных оценок получается обобщенная.

При этом используются также различные методы согласования оценок:

1) простейшие, основанные на получении средней вероятности

где п — число участвующих экспертов; или средневзвешенного значения вероятности

где — веса, приписываемые оценке каждого эксперта;

2) специальные методы оценки измерения и повышения коэффициентов согласованности (или коэффициентов непротиворечивости) мнений экспертов;

3) методы, основанные на отборе экспертной группы с высоким коэффициентом согласованности мнений (например, метод, основанный на преобразовании первых трех рангов дискретной шкалы в непрерывную и нормировании этой новой шкалы, отражающей мнения отобранных экспертов).

Нередко при обработке материалов коллективной экспертной оценки используются методы теории ранговой корреляции. Для количественной оценки степени согласованности мнений экспертов применяется коэффициент конкордации XV, который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах 0 < XV < 1. XV = 0 означает полную противоположность, а XV = 1 — полное совпадение ранжировок. Практически достоверность считается хорошей, если XV= 0,7—0,8.

Небольшое значение коэффициента конкордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием следующих причин: в рассматриваемой совокупности экспертов действительно отсутствует общность мнений; внутри рассматриваемой совокупности экспертов существуют группы с высоко]! согласованностью мнений, однако обобщенные мнения таких групп противоположны.

Для наглядности представления о степени согласованности мнений двух любых экспертов А и В служит коэффициент парной ранговой корреляции р, он принимает значения

-1 < р < +1. Значение р = +1 соответствует полному совпадению оценок в рангах двух экспертов (полная согласованность мнений двух экспертов), а р = -1 — двум взаимно противоположным ранжировкам важности свойств (мнение одного эксперта противоположно мнению другого).

В качестве одного из методов повышения согласованности экспертных оценок применяют метод "дельфийского оракула", или "Дельфи"-метод, на основе идей которого сформировался ряд модификаций.

Методы типа "Дельфи"

Метод "Дельфи" первоначально был предложен О. Хелмером и его коллегами [19, с. 1661 как итеративная процедура при проведении мозговой атаки, которая способствовала бы снижению влияния психологических факторов при проведении заседаний и повышению объективности результатов. Однако почти одновременно "Дельфи"-процедуры стали средством повышения объективности экспертных опросов с использованием количественных оценок при сравнительном анализе составляющих "деревьев целей" и при разработке "сценариев". Основные средства повышения объективности результатов при применении метода "Дельфи" — использование обратной связи, ознакомление экспертов с результатами предшествующего тура опроса и учет этих результатов при оценке значимости мнений экспертов. В конкретных методиках, реализующих процедуру "Дельфи", эта идея используется в разной степени. Так, в упрощенном виде организуется последовательность итеративных циклов мозговой атаки. В более сложном варианте разрабатывается программа последовательных индивидуальных опросов с использованием методов анкетирования, исключающих контакты между экспертами, но предусматривающих ознакомление их с мнениями друг друга между турами.

В развитых вариантах "Дельфи"-процедура представляет собой программу последовательных индивидуальных опросов с использованием методов анкетирования. Вопросники от тура к туру уточняются. Экспертам присваиваются весовые коэффициенты значимости их мнений (коэффициенты компетентности), вычисляемые на основе предшествующих опросов, также уточняемые от тура к туру и учитываемые при получении обобщенных результатов опроса.

Для снижения таких факторов, как внушение или приспособляемость к мнению большинства, иногда требуется, чтобы эксперты обосновывали свою точку зрения, но это не всегда приводит к желаемому результату, а напротив, может усилить эффект приспособляемости или рассматриваемый ниже эффект Эдипа.

В силу трудоемкости обработки результатов и значительных временных затрат первоначально предусматриваемые методики "Дельфи" не всегда удается реализовать на практике.

В последнее время процедура "Дельфи" в той или иной форме обычно сопутствует любым другим методам моделирования систем — методу "дерева целей", морфологическому, сетевому и т.п. В частности, весьма перспективная идея развития методов экспертных оценок, предложенная В. М. Глушковым, состоит в том, чтобы сочетать целенаправленный многоступенчатый опрос с "разверткой" проблемы во времени, что становится вполне реализуемым при использовании ЭВМ.

Для повышения результативности опросов и активизации экспертов иногда сочетают процедуру "Дельфи" с элементами деловой игры: эксперту предлагается проводить самооценку, ставя себя на место конструктора, которому реально поручено выполнение проекта, или па место работника аппарата управления, руководителя соответствующего подразделения системы организационного управления и т.д.