Лекция 10. Экспертные оценки в процессе исследования
Особенности применения экспертных исследований.
В процессе исследования любой ситуации анализируются количественные или качественные данные.
Количественные параметры исследуемого объекта измеряются и анализируются при помощи математических способов оценки, и при грубом подходе возникает ошибочное представление о том, что количественные характеристики анализировать сложнее, чем качественные, поскольку при количественном оценивании задействован сложный математический аппарат. В то время как качественная характеристика объекта оценивается просто по принципу “лучше” и “хуже”.
Однако на деле проведение экспертиз является делом более сложным, т. к. не имеет готовых алгоритмов проведения, т.е. не формализован. Во-вторых, выводы экспертизы сильно зависят от субъективных факторов.
Большое значение при проведении экспертиз имеет процесс определения целей. В зависимости от этого экспертиза приобретает определенное конкретное проявление.
Экспертная технология используется в первую очередь для проведения экспертиз. Однако достаточно часто их можно также использовать для обеспечения следующих процедур:
1.) определение целей. Для сложных ситуаций используется так называемый метод “дерева целей”, в частности, для случаев, когда точки зрения экспертов различаются;
2.) экспертный прогноз. Очень часто при принятии решений особую роль играют проблемы, связанные с оценкой ожидаемого характера развития событий;
3.) сценарий ожидаемого развития ситуации. В процессе исследования иногда разрабатываются сценарии того или иного хода событий. При этом используются технологии экспертного оценивания. Одной из основных задач при разработке сценария является определение факторов, характеризующих ситуацию и тенденции ее развития.
Наиболее распространенным методом экспертного оценивания при формировании различных вариантов сценария является метод мозговой атаки;
4.) генерирование альтернативных вариантов часто разрабатывается в процессе выработки управляющего воздействия. При этом могут использоваться как возможности ЭВМ, так и непосредственно экспертное оценивание;
5.) определение рейтингов (стало весьма популярным в последние годы);
6.) оценочные системы формируются при проведении индивидуальных и коллективных сравнительных оценок объектов экспертизы для сравнительной оценки различных вариантов действий менеджера. Очень большое внимание уделяется оценке сравнительной важности критериев;
7.) принятие коллективных решений. В отличие от процедуры определения результата экспертизы, процедура принятия коллективных решений предполагает также использование специальных методов открытого обсуждения альтернативных вариантов, дополнительный обмен мнениями между лицами, процедура согласования противоположных точек зрения.
Важным отличием экспертизы от принятия коллективных решений является то, что решения, принимаемые коллективом, считаются окончательными, а результаты экспертизы служат лишь необходимой базой для принятия решений.
Самая серьезная опасность – это опасность непрофессиональных решений. По мере того как мир становится все более технологичным, внимание к экспертизам, оценкам постоянно возрастает. На сегодняшний день в мире существуют институты принятия решений, которые занимаются отработкой технологии проведения экспертиз. Очень много нововведений бизнес получил из военной промышленности.
В широком смысле слова экспертные оценки – это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде качественной или количественной оценки объекта суждения, предназначенные для использования при принятии решений.
При проведении экспертизы наиболее типичные ошибки возникают в следующих областях:
1) Формирование экспертной комиссии. Здесь наиболее важным является определить «качество» эксперта, психологическую совместимость экспертов в группе, численное определение экспертной группы;
2) Сам процесс организации и проведения экспертизы. Здесь слабым местом является процесс обмена информацией между экспертами и снятие психологической зависимости между экспертами. Важно выбрать наиболее подходящую технологию экономического оценивания.
3) Получение экспертной информации. Широкое распространение получили метод ранжирования, гиперупорядочений, классификаций, парные и множественные сравнения и др. В практике исследования значительное внимание надо уделять как качественным, так и количественным методам получения экспертной информации.
Основные проблемы измерения экспертной информации:
-- проблема представимости экспертной информации;
-- проблема единственности измерений;
-- проблема адекватности, связанная с выбором шкалы измерений;
4) Определение результатирующих экспертных оценок. Для того, чтобы определить результат комплексной работы экспертов, был введен аналог расстояния (мера близости между ранжированиями классификациями). Используются специальные методы определения результируемых оценок (медиана, метод строчной суммы).
1) Многокритериальные оценки. Практика показывает, что во многих случаях оценка объектов экспертами оказывается более точной при использовании методов многокритериального оценивания, в частности многомерного шкалирования, факторного анализа и др.;
2) Анализ результатов экспертизы. По завершении экспертизы встает проблема анализа полученной информации. Здесь используются методы согласованности суждений, методы оценки непротиворечивости экспертных решений, методы оценки точности экспертных суждений. Еще до сих пор не решены проблемы оценки конъюнктурности, конформизма;
3) Компьютерные системы поддержки. Система поддержки принятия решений чаще всего использует возможности компьютерной системы, а именно: при сборе информации, в процессе обработки результатов экспертизы, в процессе анализа экспертной информации.
Наиболее типичные ошибки при проведении экспертных исследований:
– Преувеличение возможностей экспертных оценок. Далеко не все проблемы могут быть решены при помощи экспертных оценок. Поэтому там, где возможно, ситуации желательно оценивать без проведения экспертиз; порой экспертный анализ дополняют математические методы, т. к. характеризуют объект с качественной стороны;
– Излишнее увлечение “здравым смыслом”. Часто при проведении экспертиз существует некая самонадеянность у экспертов, опора на собственный “здравый смысл”. Однако экспертиза требует специальной подготовки к ней, которая заключается в сборе информации по проблеме;
– Использование некомпетентных экспертов. Причинами, приводящими к использованию некомпетентных экспертов, являются:
- недостаточно серьезное отношение к проведению экспертизы,
- нечеткое понимание целей, характера экспертизы,
- недостаточная информация об экспертах и областях их профессионального опыта,
- отсутствие организационных механизмов для привлечения их к проведению экспертизы.
Чтобы решить эти проблемы необходимо создание банка данных и расчет рейтинга экспертов, в зависимости от сферы их профессионализма;
- Недостаточная информированность экспертов о конкретных объектах экспертизы. Проблема состоит в обеспечении равной информированности всех экспертов об объекте экспертизы, поэтому требуется подготовить дополнительный аналитический материал об объекте в виде аналитического обзора.
Метод Дельфи - получил название в честь греческого оракула (предсказатель). Метод был разработан авторами Хелпером и Делки (60-е гг. 20 века). Этот метод является одним из основных методов проведения экспертиз наравне с “мозговым штурмом”. Основан на двух принципах: обратной связи и анонимности суждений, экспертов.
Процедура метода
Как минимум, проводится в 4 тура:
I тур– экспертам сообщается цель экспертизы, и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы предъявляются экспертам в виде анкеты, иногда с пояснительной запиской. Анкетный способ доставки информации позволяет задействовать в экспертизе тех участников, находящихся на расстоянии друг от друга (к примеру, через Интернет).
В том случае, если задачи экспертизы очень сложны, необходимо предварительно разработать и отослать экспертам приблизительную модель регулирования проблемы, чтобы правильно ориентировать эксперта и показать возможные характеристики объектов. Делать это надо осторожно, т. к. готовые ответы могут помешать эксперту выработать собственные. После заполнения анкеты поступают в центр обработки информации, где происходит статистическая обработка результатов, выявляются крайние точки зрения, а также наиболее часто встречающиеся в анкетах. Результаты статистических ответов рассылаются всем экспертам для вторичной экспертизы. При обработке информации аналитическая группа определяет верхнюю и нижнюю квартили, т.е. значения оцениваемой альтернативы, выше и ниже которых расположены 25% численных значений оценок. Разброс между квартилями характеризуют согласованность точек зрения экспертов.
II тур. - на втором этапе эксперты получают обработанные результаты ответов, и уже знают, какие ответы встречались чаще всего. Т. е. эксперты, которые высказали крайние ответы в 1-ом туре, получают вместе со второй анкетой просьбу обосновать свое решение. Обоснование представляется анонимно. Анкеты заполняются всеми экспертами вторично и отсылаются в аналитический центр. Как правило, на 2 этапе собранные ответы характеризуются большей похожестью, однако не исключено, что эксперт и во второй раз может остаться при своем мнении, существенно отличающемся от мнения других экспертов. Таким же образом, осуществляются другие туры.
Количество туров не ограничено. Как правило, продвижения от тура к туру уменьшается разброс оценок экспертов и увеличивается их согласованность. Однако иногда наблюдается поляризация различных точек зрения, что может объясняться наличием среди экспертов представителей различных научных школ.
Полезность дельфийского метода состоит в возможности выяснения точек зрения всех экспертов, благодаря анонимности ответов и обратной связи.
Иногда согласованность суждений экспертов достигается уже после 2 – 3 тура, но в целом количество туров не регламентировано и определяется спецификой решаемой проблемы. Т. о., основными чертами этого метода являются:
– анонимность суждений,
– обоснование точек зрения экспертов, давших крайние оценки,
– обратная связь,
– многотуровость.
Метод сценариев является одним из мощных инструментов. Разрабатываемые специалистами сценария позволяют с тем или иным уровнем достоверности определить возможные тенденции развития взаимосвязи между факторами, составить картину возможных состояний, к которым может придти ситуация под влиянием тех или иных воздействий. Таким образом, профессионально составленные сценарии позволяют, с одной стороны, более точно определить перспективы развития, а с другой, - своевременно осознать опасности, грозящие системе.
Считается, что первым сценарий для прогнозирования развития сложных систем использовал Герман Канн. Первые сценарии носили преимущественно описательный характер, а в последствии метод сценариев был значительно развит за счет использования более точных качественных и количественных моделей. Необходима технология разработки сценариев, обеспечивающая более высокую вероятность выработки эффективного решения в тех ситуациях, когда это возможно, и более высокую вероятность сведения к минимуму ожидаемых потерь.
В настоящее время известны различные способы реализацииметода сценариев:
1) – метод получения согласованного мнения (по существу является одним из разновидностей метода Дельфи). Он ориентирован на получение согласованного мнения различных групп экспертов относительно крупных событий в той или иной области в заданный период будущего. К его НЕДОСТАТКУ можно отнести недостаточное внимание, уделяемое взаимозависимости и взаимовлиянию различных факторов и динамики развития ситуации.
2) – метод повторяющегося объединения независимых сценариев - состоит в составлении сценариев по каждому из аспектов, оказывающих существенное влияние на развитие ситуации. Здесь используются повторяющиеся итерации процессов согласования сценариев развития различных аспектов ситуации. ДОСТОИНСТВО: более углубленный анализ взаимодействия различных аспектов развития ситуации. НЕДОСТАТКИ: недостаточные разработанность и методообеспеченность процедур согласования сценариев.
3) – метод матриц взаимовлияний - предполагает определение на основании экспертных оценок потенциального взаимовлияния событий рассматриваемой совокупности. Оценки связывают все возможные комбинации событий по их силе, распределяют во времени, позволяют уточнить первоначальные оценки вероятности событий и их комбинаций. НЕДОСТАТКИ: высокая трудоемкость получения большого количества оценок и корректной их обработки.