Тема 6. Экспертные оценки в процессе исследования
| 1. Особенности применения экспертных исследований | Для замечаний |
| В процессе исследования любой ситуации анализируются количественные или качественные данные. Количественные параметры исследуемого объекта измеряются и анализируются при помощи математических способов оценки, и при грубом подходе возникает ошибочное представление о том, что количественные характеристики анализировать сложнее, чем качественные по причине того, что при количественном оценивании задействован иногда громоздкий математический аппарат. А качественная характеристика объекта оценивается по принципу «лучше» и «хуже». Однако на деле проведение экспертиз является делом более сложным, т. к. не имеет готовых алгоритмов проведения экспертизы. Во-вторых, выводы экспертизы сильно зависят от субъективных факторов. Большое значение при проведении экспертиз имеет процесс определения целей. В зависимости от этого экспертиза приобретает определенное конкретное явление. Экспертная технология используется в первую очередь для проведения экспертиз. Однако достаточно часто их можно также использовать для обеспечения следующих процедур: 1.) определение целей. Для сложных ситуаций используется даже так называемый метод «дерева целей», для случаев, когда точки зрения экспертов различаются; 2.) экспертный прогноз. Очень часто при принятии решений особую роль играют проблемы, связанные с оценкой ожидаемого характера развития событий; 3.) сценарий ожидаемого развития ситуации. В процессе исследования иногда разрабатываются сценарии того или иного хода событий. При этом используются технологии экспертного оценивания. Одной из основных задач при разработке сценария является определение факторов, характеризующих ситуацию и тенденции ее развития. Наиболее распространенным методом экспертного оценивания при формировании различных вариантов сценария является метод мозговой атаки; 4.) генерирование альтернативных вариантов часто разрабатывается в процессе выработки управляющего воздействия. При этом могут использоваться как возможности ЭВМ, так и непосредственно экспертное оценивание; 5.) определение рейтингов (стало весьма популярным в последние годы); 6.) оценочные системы формируются при проведении индивидуальных и коллективных сравнительных оценок объектов экспертизы для сравнительной оценки различных вариантов действий менеджера. Очень большое внимание уделяется оценке сравнительной важности критериев; 7.) принятие коллективных решений. В отличие от процедуры определения результата экспертизы процедура принятия коллективных решений предполагает также использование специальных методов открытого обсуждения альтернативных вариантов, дополнительный обмен между лицами, процедура согласования противоположных точек зрения. Важным отличием экспертизы от принятия коллективных решений является то, что решения принимаемые коллективом, считаются окончательными, а результаты экспертизы служат лишь необходимой базой для принятия решений. Самая серьезная опасность – это опасность непрофессиональных решений. По мере того как мир становится все более технологичным, внимание к экспертизам, оценкам постоянно возрастает. На сегодняшний день в мире существуют институты принятия решений, которые занимаются отработкой технологии проведения экспертиз. Очень много нововведений бизнес получил из военной промышленности. В широком смысле слова экспертные оценки – это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде качественной или количественной оценки объекта суждения, предназначенные для использования при принятии решений. При проведении экспертизы наиболее типичные ошибки возникают в следующих областях: 1) Формирование экспертной комиссии. Здесь наиболее важным является определить качество эксперта, психологическую совместимость экспертов в группе, численное определение экспертной группы; 2) Сам процесс организации и проведения экспертизы. Здесь слабым местом является процесс обмена информацией между экспертами и снятие психологической зависимости между экспертами. Важно выбрать наиболее подходящую технологию экономического оценивания. 3) Получение экспертной информации. Широкое распространение получили метод ранжирования, гиперупорядочений, классификаций, парные и множественные сравнения, метод Черчмена-Акофа и др. В практике исследования значительное внимание надо уделять как качественным, так и количественным методам получения экспертной информации. Основные проблемы измерения экспертной информации: -- проблема представимости экспертной информации; -- проблема единственности измерений; -- проблема адекватности связана с выбором шкалы измерений; 4) Определение результатирующих экспертных оценок. Для того чтобы определить результат комплексной работы экспертов был введен аналог расстояния (мера близости между ранжированиями классификациями). Используются специальные методы определения результируемых оценок (медиана, метод строчной суммы). 1) Многокритериальные оценки. Практика показывает, что во многих случаях оценка объектов экспертами оказывается более точной при использовании методов многокритериального оценивания, в частности многомерного шкалирования, факторного анализа и др.; 2) Анализ результатов экспертизы. По завершении экспертизы встает проблема анализа полученной информации. Здесь используются методы согласованности суждений, методы оценки непротиворечивости экспертных решений, методы оценки точности экспертных суждений. Еще до сих пор не решены проблемы оценки конъюнктурности, конформизма; 3) Компьютерные системы поддержки. Система поддержки принятия решений чаще всего использует возможности компьютерной системы, а именно при сборе информации, в процессе обработки результатов экспертизы, в процессе анализа экспертной информации. Наиболее типичные ошибки при проведении экспертных исследований: – Преувеличение возможностей экспертных оценок. Далеко не все проблемы могут быть решены при помощи экспертных оценок. Поэтому там, где возможно, ситуации желательно оценивать без проведения экспертиз; порой экспертный анализ дополняют математические методы, т. к. характеризуют объект с качественной стороны; –Излишнее увлечение «здравым смыслом». Часто при проведении экспертиз существует некая самонадеянность у экспертов, опора на собственный «здравый смысл». Однако экспертиза требует специальной подготовки к ней, которая заключается в сборе информации по проблеме; – Использование некомпетентных экспертов. Причинами, приводящими к использованию некомпетентных экспертов, являются: · не достаточно серьезное отношение к проведению экспертизы, · нечеткое понимание целей, характера экспертизы, · недостаточная информация об экспертах и областях их профессионального опыта, · отсутствие организационных механизмов для привлечения их к проведению экспертизы. Чтобы решить эти проблемы необходимо создание банка данных и расчет рейтинга экспертов, в зависимости от сферы их профессионализма; - Недостаточная информированность экспертов о конкретных объектах экспертизы. Проблема состоит в равной информированности всех экспертов об объекте экспертизы, поэтому требуется подготовить дополнительный аналитический материал об объекте в виде аналитического обзора. | |
| 2. Медоты получения экспертной информации | Для замечаний |
| Метод Дельфи - получил название в честь греческого оракула (предсказатель). Метод был разработан авторами Хелпером и Делки (60-е гг. 20 века). Этот метод является одним из основных методов проведения экспертиз наравне с «мозговым штурмом». Основан на двух принципах: обратной связи и анонимности суждений, экспертов. Процедура метода Как минимум этот метод проводится в 4 тура: I тур– экспертам сообщается цель экспертизы, и формулируются вопросы, ответы на которые составляют основное содержание экспертизы. Вопросы предъявляются экспертам в виде анкеты, иногда с пояснительной запиской. Анкетный способ доставки информации позволяет задействовать в экспертизе тех участников, находящихся на расстоянии друг от друга.(к примеру, через Интернет). В том случае, если задачи экспертизы очень сложны, необходимо предварительно разработать и отослать экспертам приблизительную модель регулирования проблемы, чтобы правильно ориентировать эксперта и показать возможные характеристики объектов. Делать это надо осторожно, т. к. готовые ответы могут помешать эксперту выработать собственные. После заполнения анкеты поступают в центр обработки информации, где происходит статистическая обработка результатов, выявляются крайние точки зрения, а также наиболее часто встречающиеся в анкетах. Результаты статистических ответов рассылаются всем экспертам для вторичной экспертизы. При обработке информации аналитическая группа определяет верхнюю и нижнюю квартили, т.е. значения оцениваемой альтернативы, выше и ниже которых расположены 25% численных значений оценок. Разброс между квартилями характеризуют согласованность точек зрения экспертов. II тур. - на втором этапе эксперты получают обработанные результаты ответов, и уже знают, какие ответы встречались чаще всего. Т. е. эксперты, которые высказали крайние ответы в 1-ом туре, получают вместе со второй анкетой просьбу обосновать свое решение. Обоснование представляется анонимно. Анкеты заполняются всеми экспертами вторично и отсылаются в аналитический центр. Как правило, на 2 этапе собранные ответы характеризуются большей похожестью, однако не исключено, что эксперт и во второй раз может остаться при своем мнении, существенно отличающемся от мнения других экспертов. Таким же образом, осуществляются другие туры. Количество туров не ограничено. Как правило, продвижения от тура к туру уменьшается разброс оценок экспертов и увеличивается их согласованность. Однако иногда наблюдается поляризация различных точек зрения, что может объясняться наличием среди экспертов представителей различных научных школ. Полезность дельфийского метода состоит в возможности выяснения точек зрения всех экспертов, благодаря анонимности ответов и обратной связи. Иногда согласованность суждений экспертов достигается уже после 2 – 3 тура, но в целом количество туров не регламентировано и определяется спецификой решаемой проблемы. Т. о., основными чертами этого метода являются: 1) – анонимность суждений, 2) – обоснование точек зрения экспертов, давших крайние оценки, 3) – обратная связь, 4) – многотуровость. Метод сценариев является одним из мощных инструментов. Разрабатываемые специалистами сценария позволяют с тем или иным уровнем достоверности определить возможные тенденции развития взаимосвязи между факторами, составить картину возможных состояний, к которым может придти ситуация под влиянием тех или иных воздействий. Т. о., профессионально составленные сценарии позволяют, с одной стороны, более точно определить перспективы развития, а с другой, - своевременно осознать опасности, грозящие системе. Считается, что первым сценарий для прогнозирования развития сложных систем использовал Герман Канн. Первые сценарии носили преимущественно описательный характер, а в последствии метод сценариев был значительно развит за счет использования более точных качественных и количественных моделей. Необходима технология разработки сценариев, обеспечивающая более высокую вероятность выработки эффективного решения в тех ситуациях, когда это возможно, и более высокую вероятность сведения к минимуму ожидаемых потерь. В настоящее время известны различные способы реализацииметода сценариев: 1) – метод получения согласованного мнения (по существу является одним из разновидностей метода Дельфи). Он ориентирован на получение согласованного мнения различных групп экспертов относительно крупных событий в той или иной области в заданный период будущего. К его НЕДОСТАТКУ можно отнести недостаточное внимание, уделяемое взаимозависимости и взаимовлиянию различных факторов и динамики развития ситуации. 2) – метод повторяющегося объединения независимых сценариев- состоит в составлении сценариев по каждому из аспектов, оказывающих существенное влияние на развитие ситуации. Здесь используются повторяющиеся итерации процессов согласования сценариев развития различных аспектов ситуации. ДОСТОИНСТВО: более углубленный анализ взаимодействия различных аспектов развития ситуации. НЕДОСТАТКИ: недостаточные разработанность и методообеспеченность процедур согласования сценариев. 3) – метод матриц взаимовлияний - предполагает определение на основании экспертных оценок потенциального взаимовлияния событий рассматриваемой совокупности. Оценки связывают все возможные комбинации событий по их силе, распределяют во времени., позволяют уточнить первоначальные оценки вероятности событий и их комбинаций. НЕДОСТАТКИ: высокая трудоемкость получения большого количества оценок и корректной их обработки. Методика составления сценариев. Предполагается составить сценарий, описывающий предварительное состояние параметров системы. Состояние системы в момент времени – это время, являющееся точкой S(t) в этом пространстве параметров. Определение возможных тенденций в развитии ситуации позволяет определить положение системы в различные моменты времени в будущем S(t+1); S(t+2)… Управляющие воздействия эквивалентны воздействию сил, способных изменить направление траектории системы S(t). Естественно, что управляющие воздействия должны рассматриваться с учетом ограничений, накладываемых внешними и внутренними факторами. Предпочтительная технология разработки сценариев предполагает рассмотрение положений системы в дискретные моменты времени (1,. 2, 3, 4 года). При помощи математического аппарата различные состояния системы будут располагаться в различных координатах конуса, расширяющегося по мере удаления от точки S(t). Чем меньше влияние внешних и внутренних факторов на систему, тем уже конус (меньше возможностей изменения системы в будущем). Метод сценариев является объектом изучения множества авторов, что предопределяет различие подходов к его использованию. Один из подходов основывается на том, что сценарий относится скорее к возможному, а не к вероятному будущему. Получение в процессе разработки прогноза более глубокое понимание ситуации предполагает в качестве следующего шага выработку системы воздействий, которая может изменить рассмотренные сценарии развития ситуации. В итоге возможное будущее может оказаться скорректированным, причем происходит отбор тех переменных, которые имеют непосредственное отношение к развитию анализируемой системы. Разработка сценариев осуществляется по следующим этапам: 1. Анализ ситуации. Предполагается определить основные действия силы на систему, определить взаимосвязь между факторами и структурировать ситуацию, 2. Отбор переменных проводится с использованием экспертов: сопоставляются их мнения, выражающиеся в ранжировании переменных, влияющих на систему, 3. Определение для каждой переменной соответствующей шкалы, в которой она может быть измерена. Эта процедура позволяет более надежно определить возможные опасности (за счет придания переменной количественного значения). Иногда, если переменную нельзя описать количественно, используется ее описательная характеристика. Важно определиться с оптимальным количеством переменных, влияющих на систему. Изменение, их увеличение затрудняет возможность анализа ситуации, а слишком большое обобщение снижает влияние важных факторов. Часто метод используется на основе программ для ЭВМ, благодаря чему существует возможность выработки нескольких альтернативных вариантов возможного развития ситуации. Группируя сценарии в классы, можно определить рациональную стратегию на ситуацию. Метод «мозговая атака» является одним из самых распространенных методов устного обсуждения проблемы. Техника проведения: мозговая атака используется при обсуждении проблем, как правило, не носящих запрограммированный характер решения. Наиболее эффективным данный метод является в ситуациях, когда проблема носит глобальный характер и на первый взгляд не имеет готового перечня ответов. Чаще всего это вопросы, начинающиеся со слова «как?». Собирается группа людей в количестве 10 – 15 человек. Состав группы при этом строго регламентируется. Среди участников мозгового штурма должны присутствовать : 1) – «клиент» (заказчик проблемы) – это лицо, чаще приходящее со стороны, выдвигающее проблему на обсуждение и платящее за ее решение деньги; 2) – «идеологи» – это специалисты по решению проблемы, которые несут основную нагрузку по ее обсуждению; 3) – «профаны» – люди, не имеющие никакого отношения (по специальности) к решаемой проблеме. Они также участвуют в обсуждении; 4) – «ведущий» - отвечающее за процедуру лицо. Он обладает знаниями по технике мозгового штурма. Может не являться специалистом по проблеме. Мозговой штурм осуществляется по следующим этапам: 1. Изложение проблемы клиентом (в течение 5 – 7 минут). При этом он должен снабдить окружающих всей известной информацией по проблеме. 2. Процесс выдвижения идей. По круговой системе «идеологи» и «профаны» выдвигают свои мнения по проблеме. Главным условием при этом является запрет на обоснование собственной идеи и на критику ее со стороны окружающих. Все идеи фиксируются «ведущим» на доске для всеобщего обзора (15-20 минут). 3. Процесс обсуждения выдвинутых идей. При этом непосредственное обсуждение не производится, а отбор происходит путем голосования по каждой конкретной идее. Каждый участник мозгового штурма, кроме «клиента», имеет право всего на 5 голосов, причем эти голоса он по своему усмотрению может разделить на различные идеи по приоритетности. Так, при 15 участниках все идеи должны набрать в сумме не более 75 голосов. Это проверяется в конце голосования. Баллы по каждой идее суммируются. Голосование производится путем поднятия руки, причем количество баллов, отдаваемых экспертом какой-либо идее, соответствует количеству поднятых пальцев. В итоге выбирается та идея, которая набрала максимум голосов.(длится 40 минут). 4. Принятие и обоснование способа решения проблемы – 15 минут. В итоге весь мозговой штурм занимает приблизительно 1,5 часа. Основные черты мозгового штурма: - ограничение по времени, - отсутствие критики, - наличие «профанов». Метод мозговой атаки основывается на генерации новых идей, причем было замечено, что чем меньше идеи обсуждаются, тем больше возникает их в голове эксперта. Поэтому основным условием проведения мозгового штурма является запрет на критику на этапе выдвижения новых идей. Благодаря данному требованию процесс выдвижения новых идей протекает лавинообразно. К тому же исследования эффективности мозговой атаки, проведенные в университете Буфалло, показали, что групповое мышление производит на 70% больше новых идей, чем сумма индивидуальных мышлений. Т. о., метод мозговой атаки можно рассматривать как институт для актуализации творческого потенциала коллектива специалистов. Такая актуализация достигается за счет того, что: - участники сессии (группы обсуждения) тренируют свой мозг в отношении способности выдвигать новые идеи; - участник мозгового штурма получает возможность нового и неожиданного видения проблемы глазами своих коллег; - последующее изучение всех высказанных идей позволяет по-новому, т. е. с большим доверием, отнестись к идеям, которые раньше хотя и высказывались коллегами, но в рутинной обстановке текущей деятельности организации, не привлекая к себе достаточного внимания; - устраняется привычка критично оценивать новые, недостаточно обоснованные идеи. Способы проведения мозгового штурма можно разделить на следующие разновидности: 1) – обсуждение, в результате которого получаются окончательные ответы на поставленные вопросы; 2) – обсуждение, в результате которого открывается возможность формулировать план решения конкретной задачи. План может содержать как выбранные большинством экспертов идеи, так и дискуссионные; 3) – обсуждение, в результате которого формулируются идеи, которые могут быть получены при решении той или иной проблемы; 4) – обсуждение, в результате которого устанавливаются новые аспекты рассматриваемой проблемы. Обсуждение идей и их оценка проводятся лишь на 3 этапе, после процесса голосования. Возможно доведение информации о проблеме до экспертов заранее, т.к. существуют проблемы, которые требуют предварительного ознакомления (в данном случае за несколько дней до мозговой атаки ее участникам раздаются информационные листы, характеризующие проблему), а также существуют проблемы, о которых эксперты узнают непосредственно перед началом мозговой атаки. В плане выбора метода обсуждения не существует конкретных правил, а именно: одна и та же проблема может быть сначала обсуждение при помощи мозговой атаки, а потом при помощи метода Дельфи. Так решаются незапрограммированные задачи. Структурное прогнозирование. Необходимость в таком прогнозировании чаще всего возникает при системном и ситуационном менеджменте. Метод структурного прогнозирования позволяет найти решение проблемы при сохранении функции, но изменении структуры и значения параметров прогнозирования. Этот метод оперирует как качественной, так и количественной информацией. В качестве методов структурного прогнозирования можно выделить прогнозный граф и дерево целей. Графом называют фигуру, состоящую из точек (называемых вершинами), соединенных отрезками (называемыми ребрами). Графы могут быть связанными и несвязанными, ориентированными и неориентированными. Дерево – это связанный ориентированный граф, не содержащий в своей структуре замкнутые циклы (ветви), при этом пара его вершин соединяется единственным ребром. Дерево целей – это граф-дерево, выражающее отношения между вершинами, являющимися этапами достижения какой-либо цели. Построения дерева целей требует решение многих прогнозируемых задач: - прогноз развития объекта в целом; - формулировка уровней целей; - формулировка критерия и весов ранжированных вершин; формулировка сценария достижения прогнозируемой цели. Математические методы параметрического прогнозирования. В том случае, если управленческая задача решается готовым методом, имеет смысл использовать математические инструментарии для составления прогнозов. Экстраполяция (прогнозная) применяется в случаях, если имеется в наличии прошлый опыт или статистические данные, аналогичные решаемой проблеме. В этом случае тенденция прошлого периода перекладывается на будущее время (темпы роста численности населения за 5 предыдущих лет с учетом среднегодового темпа роста берутся в качестве исходного коэффициента для определения численности населения через следующие 5 лет – это экстраполяция). Этот метод возможно использовать лишь в том случае, если условия будущего будут адекватными условиям прошлого, т. е., если ситуация сильно не меняется. Методы прогнозируемой экстраполяции хорошо разработаны и оперируют в основном с количественной информацией. При этом нельзя повсюду применять математические методы как единственный способ прогнозирования, т. к.: 1) – использование математических методов прогнозирования ограничено периодом времени прогнозирования; 2) – при использовании математических методов выдвигаются жесткие требования к качеству отрабатываемых данных и гипотезам о характере поведения анализируемых величин; 3) – в условиях рынка резко возрастает влияние фактора неопределенности на деятельности организации, вследствие чего нельзя полностью доверять математическим прогнозам. Т. о., математические методы прогнозирования должны использоваться в следующих условиях: - в краткосрочном периоде; - исходные статистические данные соответствуют требованиям, предъявляемым к конкретным математическим моделям; - возможность дополнительной проверки результатов анализа каким-либо другим методом. При математическом прогнозировании системного управления используется такое понятие как тренд – сложившаяся динамика развития процесса в целом. Условно прогнозируемая экстраполяция может быть разделена на 2 этапа: 1) – выбор оптимального вида функции, описывающей эмпирические, ретроспективные (прошлого периода) ряды. Для этого ретроспективный ряд нужно предварительно обработать с целью преобразования исходных данных для выбора какого-либо тренда. Для этого используются методы выравнивания рядов. Кроме этого определяется функциональная зависимость между переменными; 2) – расчеты коэффициентов выбранной функции. Наиболее популярными является МНК. Его сущность в отыскании коэффициентов моделей тренда, минимизируя ее отклонение (модели) от точек исходного временного ряда. В математическом виде: S=S(Xi – X)2 ® min, где Xi – параметр i-переменной X – среднее за определенный период, причем Xi – это математическое ожидание и находится как средняя ожидаемая величина из всего ряда рассматриваемых. МНК (метод наименьшего квадрата) позволяет минимизировать разброс всех величин тренда от средней величины. Это дает возможность определить точную динамику изменения ретроспективных величин. |
| Выводы по теме: | |
| ¨ Экспертные оценки – это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде качественной или количественной оценки объекта. ¨ Основными чертами дельфийского метода являются: - анонимность суждений; - обоснование точек зрения экспертов, давших крайние оценки; - обратная связь; - многотуровость. ¨ Метод сценариев позволяет с тем или иным уровнем достоверности определить возможные тенденции развития взаимосвязи между факторами, составить картину возможных состояний, к которым может придти ситуация под влиянием тех или иных воздействий. ¨ Основные черты мозгового штурма: - ограничение по времени; - отсутствие критики; - наличие «профанов». ¨ Метод структурного прогнозирования позволяет найти решение проблемы при сохранении функции, но изменении структуры и значения параметров прогнозирования. ¨ Экстраполяция применяется в случаях, если имеется в наличии прошлый опыт или статистические данные, аналогичные решаемой проблеме. В этом случае тенденция прошлого периода перекладывается на будущее время. |
| Вопросы для самоконтроля: | |
| 1. | |
| 2. Содержание понятия «экспертные оценки». 3. Характеристика экспертного оценивания. 4. Сферы использования экспертных оценок. 5. Основные проблемы экспертного оценивания. 6. Типичные ошибки при проведения экспертных исследований. 7. Характерные черты метода Дельфи и мозговой атаки. 8. Участники мозгового штурма. 9. Техника проведения мозговой атаки. 10. Преимущества использования метода Дельфи. 11. Достоинства и недостатки метода сценариев. 12. Области применения структурного прогнозирования. 13. «Плюсы» и «минусы» использования математических методов в исследовании систем управления. |