Методы выбора мнений экспертов

Простейший вариант состоит в следующем: экспертам раздаются анкеты с просьбой оценить предлагаемые альтернативы. Заполненные анкеты собирают, обрабатывают полученную информацию, в некотором обобщенном виде передают лицу, принимающему решение. На практике возникает ряд вопросов, от ответа на которые будет зависеть, какой именно способ обработки экспертных мнений следует применить в данном конкретном случае.

Предположим, например, что эксперты оценивают альтернативы в числовых шкалах. Пусть - оценка й альтернативы -м экспертом ( ). Оценки можно рассматривать как «измерения» искомой «истинной характеристики» , считая отклонения случайными величинами. В качестве приближения можно использовать некоторую статистику . Обычно это выборочное среднее , но можно использовать и другие статистики.

Сложнее обстоит дело, когда альтернативы нельзя оценить сразу одним числом и экспертам предлагается дать оценки отдельно по каждому показателю. Например, оценка качества промышленного изделия складывается из оценок признаков социальных (уровень потребности), функциональных (степень соответствия назначения), экономических, эстетических, эргономических и других. В этом случае имеем набор чисел - где к – номер признака. Кроме этих чисел экспертов просят оценить степень важности каждого показателя (если это не выполнено другим способом). Тогда следующее уточнение вводят в случае неоднородности группы экспертов:

Естественно придать различные, а не одинаковые, равные , веса мнениям экспертов, имеющих разную квалификацию. Определение коэффициента компетентности го эксперта можно поручить самим экспертам. Пусть каждый из них оценивает компетентность других числами . Усреднение дает . В результате получают итоговую оценку

.

В тех случаях, когда эксперты лишь упорядочивают альтернативы, то есть используют только порядковую шкалу, возможность арифметических операций отпадает, тогда переходят к обработке либо относительных частот предпочтений данной альтернативы, либо рангов; иногда используют «медианную» альтернативу или расстояния между ранжированиями. Более глубокие сведения о сравниваемых альтернативах можно получить, изучая «тонкую структуру» суждения экспертов. Дело в том, что оценка экспертов «разбросаны» в пространстве критериев или упорядочений неравномерно, и чаще всего можно выделить несколько кластеров, то есть кучно расположенных оценок, можно обнаружить и «выбросы», то есть оценки, далеко отстоящие от кластеров. Значительный интерес представляет выяснение общего между близкими оценками и различий между отдельными оценками. Это выполняет уже в ходе уточняющих опросов, в других терминах. Например, при сравнении качества промышленных изделий выяснилось, что кластеры связаны с такими отсутствовавшими в исходной анкете признаками, как различная жесткость правил приемки для различных альтернатив, технические различия между моделями изделий и т.д. Возможно и более детальное расхождение экспертов во мнениях.

 

Методы мозговой атаки

Концепция «мозговой атаки» получила широкое распространение с начала 50-х годов как метод систематической тренировки творческого мышления, нацеленный на открытие новых идей и достижение согласия группы людей на основе интуитивного мышления. Методы этого типа известны также под названиями «мозговой штурм», «конференция идей», а в последнее время наибольшее распространение получил термин «коллективная генерация идей» (КГИ).

Обычно при проведении мозговой атаки или сессий КГИ стараются выполнять определенные правила, суть которых:

- обеспечить как можно большую свободу мышления участников КГИ и высказывания ими новых идей;

- приветствуются любые идеи, даже если сначала они кажутся сомнительными или абсурдными (обсуждение и оценка идей производится позднее);

- не допускается критика, не объявляется ложной и не прекращается обсуждение ни одной идеи;

- желательно высказывать как можно больше идей, особенно нетривиальных.

 

1.5 Метод «Делфы»

Следующим шагом в развитии экспертных оценок является метод «Делфы». Основная идея этого метода состоит в том, что критика благотворно влияет на эксперта, если она психологически не связана с персональной конфронтацией. Поэтому если проводить оценку альтернатив в несколько туров, сообщая после каждого его полные итоги и сохраняя анонимность участников, то эксперты склонны не только критиковать, но и прислушиваться к критике, относящейся к ним лично. Устранение психологических трудностей, связанных с персональной критикой, придает самой критике большую объективность, она легче воспринимается. Обычно оказывается достаточно следующих четырех этапов:

1) раздача анкет, сбор оценок, их обобщенное представление с указанием разброса мнений;

2) сообщение итогов и запрос объяснений причин индивидуального отклонения от средней или медианной оценки первой итерации;

3) сообщение всех объяснений и запрос контраргументов на них;

4) сообщение возражений и запрос новых оценок альтернатив, если эксперт пожелает их изменить.

Вся работа проводится под руководством отдельной управляющей группы, в которую входят системный аналитик и лицо, принимающее решение; анонимность экспертов сохраняется до конца работы (а по желанию экспертов, и после её окончания). Методика «Делфы» показала на практике хорошую эффективность.

 

Компетентность эксперта

Сложность решаемой проблемы определяется необходимостью привлечения к экспертизе специалистов различного профиля. Минимальное количество экспертов определяется спектром направлений, которые необходимо учесть при решении проблемы.

Достоверность оценок, данных группой экспертов, зависит от уровня знаний отдельных экспертов и количества членов. Если эксперты являются достаточно точными измерителями, то с увеличением числа экспертов достоверность экспертизы всей группы возрастает. Затраты ресурсов на проведение экспертизы пропорциональны количеству экспертов, что обусловлено временными и финансовыми затратами, связанными с формированием группы, проведением опроса и обработкой его результатов. Таким образом, повышение достоверности экспертизы связано с увеличением затрат. Располагаемые финансовые ресурсы ограничивают максимальное число экспертов в группе. Характеристики группы экспертов определяются на основе индивидуальных характеристик экспертов: компетентности, креативности, отношения к экспертизе, конформизма, конструктивности мышления, самокритичности.

В настоящее время перечисленные характеристики в основном оцениваются качественно. Для ряда характеристик делаются попытки количественной оценки.

Компетентность эксперта– степень квалификации эксперта в определенной области знаний, характеризуется объективными и субъективными показателями:

1)Формальные показатели профессиональной компетентности эксперта – должность, стаж работы, ученая степень, количество печатных работ, изобретений и т.д.

2)Экспертные показатели получают в результате оценки компетентности самим экспертом (самооценка) или другими экспертами (взаимооценка). При этом оценивают как глубину знаний объекта экспертизы, так и способность эксперта давать объективные оценки.

Определение компетентности эксперта включает:

- анализ непротиворечивости высказываний эксперта;

- анализ сходства фактических значений анализируемых предметов со значениями, предсказанными экспертом;

- анализ степени отклонения мнений эксперта от коллективного мнения группы.

Для количественной оценки степени компетентности используется коэффициент компетентности с учетом, которого взвешивается мнение эксперта. Коэффициент компетентности определяется по априорным и апостериорным данным. При использовании априорных данных оценка коэффициента компетентности производится до проведения экспертизы на основе самооценки эксперта и взаимной оценки со стороны других экспертов. При использовании апостериорных данных оценка коэффициента компетентности производится на основе обработки результатов экспертизы.

Метод самооценки состоит в том, что кандидату в эксперты дается анкета с перечнем вопросов, подлежащих решению экспертной комиссией, и предполагается оценить свои знания по этим вопросам в бальной шкале. При этом вопросу, в котором данный специалист считает себя наиболее компетентным, предлагается присвоить высший балл, а вопросу, в котором он разбирается в наименьшей степени, – один балл. Остальные вопросы оцениваются в соответствии со степенью компетентности эксперта (по его самооценке). Получив данные об индивидуальной самооценке, можно рассчитать среднюю групповую самооценку по каждому вопросу, и выявить, таким образом, необходимость в изменении состава комиссии. Практика показывает, что методы самооценки недостаточно точны и могут быть использованы лишь на предварительном этапе отбора экспертов.

Наиболее простым методом определения компетентности при взаимной оценке экспертов является методика оценки относительных коэффициентов компетентности по результатам высказывания специалистов о составе экспертной группы. Сущность этой методики заключается в следующем: ряду специалистов предлагается высказать суждение о включении лиц в экспертную группу для решения определенной проблемы. Если в этот список включены лица, не вошедшие в первоначальный список, то им также предлагается назвать специалистов для участия в экспертизе. Проведя несколько туров такого опроса, можно составить достаточно полный список кандидатов в эксперты. По результатам проведенного опроса составляется матрица, значения переменных которой равны:

1, если p-й эксперт назвал s-го эксперта

Xsp =

0, если p-й эксперт не назвал s-го эксперта

 

Причем каждый эксперт может включать или не включать себя в экспертную группу. По данным матрицы вычисляются коэффициенты компетентности как относительные веса экспертов по формуле:

Ks= s = ,

где Ks - коэффициент компетентности s –го эксперта, m – количество экспертов. Коэффициенты компетентности нормированы так, что их сумма равна единице.

Содержательный смысл коэффициентов компетентности, вычисленных по данным матрицы x = , состоит в том, что подсчитывается сумма единиц (число голосов), поданных за s-го эксперта, и делится на общую сумму всех единиц. Таким образом, коэффициент компетентности определяется как относительное число экспертов, высказавшихся за включение s – го эксперта в список экспертной группы.

Методика определения компетентности экспертов на основе апостериорных данных (результатов оценки объектов) использует степень согласованности индивидуальных оценок экспертов с групповой оценкой:

,

,

где - групповая оценка на шаге t, вычисленная по оценке i – го объекта s – ым экспертом.

Величина определяется по формуле:

При t=1 величины принимают одинаковые значения. Момент остановки выполнения рекуррентной процедуры определяется стабилизацией значений координат. Описанная процедура используется обычно одновременно с алгоритмом обработки экспертной информации.

Креативность– способность решать творческие задачи. В настоящее время кроме качественных суждений, основанных на изучении деятельности экспертов, нет каких-либо предложений по оценке этой характеристики.

Конформизм – подверженность влиянию авторитетов. Особенно сильно конформизм может появиться при проведении экспертизы в виде открытых дискуссий. Мнение авторитетов подавляет мнение лиц, обладающих высокой степенью конформизма.

Отношение к экспертизе является очень важной характеристикой качества эксперта при решении данной проблемы. Негативное или пассивное отношение специалиста к решению проблемы, большая занятость и другие факторы, существенно сказываются на выполнении экспертами своих функций. Поэтому участие в экспертизе должно рассматриваться как плановая работа.

Коллективизм мышления – это прагматический аспект мышления. Эксперт должен давать решения, обладающие свойством практичности. Коллективизм должен учитываться при проведении открытых дискуссий. Этика поведения человека в коллективе во многих случаях существенно влияет на создание положительного психологического климата и тем самым на успешность решения проблемы.

Самокритичность эксперта проявляется при самооценке степени своей компетенции, а также при принятии решения по рассматриваемой проблеме.

Перечисленные характеристики эксперта достаточно полно описывают необходимые качества, которые влияют на результаты экспертизы. Однако их анализ требует очень кропотливой и трудоемкой работы по сбору информации и ее изучению.

Аналитичность, широта мышления, конструктивность мышления, свойство коллективизма — также важные ха­рактеристики эксперта.

Даже неполные определения характеристик экспер­тов, приведенные выше, показывают, что численные оценки этих характеристик значительно затруднены и в ряде случаев совсем невозможны. Наиболее важной из указанных характеристик явля­ется характеристика компетентности экспертов, по­скольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

Задание