Методы экспертных оценок в исследовании систем управления: метод "Дельфи", SWOT-анализ, SТЕР-анализ, SMART-анализ

В исследовании управления широкое распространение имеет метод экспертных оценок. Это объясняется сложностью многих проблем, влиянием на них человеческого фактора, отсутствием надежных экспериментальных или нормативных инструментов.

Экспертиза – это мнение, идея, решение или оценка, основанные на реализации ценного опыта специалиста, глубоких знаниях предмета исследования и технологиях качественного анализа.

Экспертизы делятся на индивидуальные и групповые. При групповой экспертизе большое значение имеют подбор группы экспертов и методология итоговой обработки результатов их работы.

Заключение экспертов представляет собой документ, в котором фиксируются ход исследования и его итоги. При этом выводы и мнения экспертов могут иметь как категоричную (да, нет), так и вероятностную (в виде предположения, ранжирования, коэффициента предпочтительности и пр.) форму.

В организации работы экспертов необходимо придерживаться следующих принципов (рис. 2.23).

Рис. 2.23. Принципы экспертного исследования

1. Идеи, мнения и оценки должны укладываться в заранее подготовленную схему. Это позволяет обобщать их, сравнивать, выделять существенное и т.д. Такая схема не должна сковывать мысль и ограничивать фантазию. Схема может допускать и предполагать возможность ее модификации и дополнения.

2. Обработку экспертных заключений необходимо осуществлять не только путем количественного обобщения, но и посредством качественного анализа, выделяя главное, существенное, важное, актуальное, оригинальное, новое. Заключение экспертов может быть предметом экспертизы второго этапа.

3. Эксперты должны быть независимыми, т.е. освобождены от каких-либо организационных, концептуальных или психологических ограничений. В этом случае наилучшим образом реализуются их опыт, знания, интуиция.

4. Работа экспертной группы должна быть целенаправленной. Понимание того, зачем и почему проводится экспертиза, является важным элементом ее проведения. Во многих случаях необходима специальная подготовка экспертов, которая играет роль мобилизации усилий и интеллекта.

5. Существуют различные формы организации работы экспертной группы. Каждый делает экспертизу индивидуально, затем результаты суммируются и систематизируются, либо эксперты могут работать коллективно, взаимодействуя друг с другом.

6. Возможна параллельная и многоэтапная работа нескольких экспертных групп. Сопоставление экспертиз дает важную информацию.

Существует множество разнообразных моделей использования методов экспертных оценок. Одной из наиболее часто встречающихся является метод Дельфи.

Метод Дельфи представляет собой аналитическое обобщение мнений и позиций группы экспертов. Он широко используется для составления прогнозов развития науки и техники, будущих открытий и изобретений, для которых не имеется достаточной теоретической базы в момент составления прогноза. Этот метод можно использовать в различных областях исследований, в том числе при исследовании систем управления.

Сущность метода Дельфи состоит в последовательном изучении мнений экспертов различных областей знаний. Он предполагает использование специальных программ, содержащих оценки и позиции экспертов, которые они формулируют в условиях отсутствия личных контактов и обеспечения их полной информацией по всем результатам оценок. При этом сохраняется анонимность оценок, аргументации и критики.

Организация экспертизы и обработка индивидуальных позиций экспертов производится с использованием следующих принципов:

1) вопросы и суждения в программе формулируются таким образом, чтобы можно было сделать количественную оценку ответам экспертов;

2) работа экспертов проводится в несколько туров, в ходе которых уточняются и вопросы, и ответы;

3) все эксперты знакомятся после каждого тура с результатами суждений и ответов других экспертов;

4) эксперты обосновывают свои оценки и суждения, отличающиеся от мнения большинства;

5) статистическая обработка суждений производится последовательно от тура к туру с целью получения обобщающих характеристик.

Таким образом, в процессе использования метода Дельфи выявляется преобладающее суждение специалистов по какой-либо проблеме в условиях, исключающих их прямые дебаты между собой, но вместе с тем позволяющих им периодически взвешивать свои суждения с учетом доводов других экспертов. Пересмотр и возможность изменения своих прежних оценок на основе выяснения соображений каждого из экспертов и последующий анализ каждым участником совокупности причин, представленных экспертами, стимулируют опрашиваемых к учету факторов, которые они на первых порах склонны были опустить как незначительные.

Использование метода Дельфи предполагает учет ряда требований.

1. В каждом туре группы экспертов должны быть стабильными, и численность их должна быть неизменной.

2. Туры должны проводиться через непродолжительный промежуток времени.

3. Суждения и вопросы в программе следует тщательно продумывать и четко формулировать.

4. Число туров должно быть достаточным, чтобы обеспечить всем участникам возможность ознакомиться с доводами по поводу той или иной оценки, а также для критики этих доводов.

5. Должен проводиться систематический отбор экспертов по принятой для его проведения системе.

6. Эксперты должны давать самооценку своей компетенции по рассматриваемым проблемам.

7. Нужна общая (единая) формула согласованности оценок, основанная на данных самооценок.

8. Следует установить влияние различных видов передачи информации экспертам по каналам обратной связи.

9. Необходимо установить влияние общественного мнения на экспертные оценки и на сходимость этих оценок.

В организационном отношении метод Дельфи реализуется следующим образом:

1) формирование репрезентативной (представительной) экспертной группы;

2) организационная и методическая подготовка экспертизы;

3) проведение экспертизы;

4) статистическая обработка полученных ответов;

5) анализ результатов;

6) разработка сценария и мероприятий по устранению выявленных недостатков;

7) подготовка и проведение повторных экспертиз;

8) подготовка рекомендаций по совершенствованию управления;

9) принятие комплекса решений по преобразованию системы управления.

В первом туре, после того как экспертам разъяснена цель экспертизы и представлен набор суждений и вопросов, они определяют свои позиции без аргументации.

Вся экспертная информация поступает в группу управления исследованиями. Производится обработка и анализ полученной информации. Результаты сообщаются экспертам, и проводится второй тур опроса.

Во втором туре тех экспертов, чьи оценки значительно отличаются от общих, просят представить обоснованные аргументы в пользу своих суждений. Подобная информация в анонимном виде доводится до остальных экспертов. Это позволяет им учесть те обстоятельства, которыми они по какой-то причине пренебрегли. В результате эксперты могут пересмотреть свои суждения или откорректировать данные, которые они указали в предыдущем туре. Скорректированная информация вновь поступает в группу управления исследованиями.

После обработки результатов второго тура экспертизы скорректированные групповое и "оригинальные" суждения, а также вся аргументация с сохранением анонимности сообщается экспертам, и проводится следующий тур.

В результате такой многоэтапной процедуры с последующей обработкой могут возникнуть две ситуации: либо мнения экспертов от этапа к этапу становятся более согласованными, либо происходит размежевание мнений экспертов на подгруппы с высокой согласованностью внутри подгрупп. Последнее может объясняться или наличием среди экспертов представителей различных научных школ, или неодинаковой интерпретацией исходной информации специалистами различных профилей. В любом из этих случаев руководитель группы управления исследованием принимает решение либо о проведении дальнейшего опроса с целью подтверждения создавшегося положения, либо об окончании проведения экспертизы и составлении отчета по ней. Однако часто через несколько туров оценки экспертов все же становятся более схожими.

Для выявления тех экспертов, которые оказывают наибольшее влияние на согласованность мнений, нередко используют прием исключения одного или нескольких участников экспертизы последовательно и вычисления коэффициента согласия (конкордации).

Достоинство использования метода Дельфи в исследовании систем управления заключается в наличии и влиянии на работу экспертов обратной связи, что значительно повышает объективность экспертных оценок.

Однако метод Дельфи обладает и недостатками, среди которых:

– значительные затраты времени на проведение многоэтапной экспертизы;

– исключение непосредственного столкновения позиций экспертов;

– в процессе многоэтапной работы может сложиться лишь видимость высокой согласованности индивидуальных позиций при стремлении экспертов побыстрее отделаться от сложных вопросов. Возникает ситуация поверхностного индивидуального анализа проблемы и стремления к "групповому" мнению;

– длительность процедуры часто приводит к нестабильности состава экспертной группы.

В настоящее время используются модификации метода Дельфи – метод программного прогнозирования и метод эвристического прогнозирования.

Метод программного прогнозирования служит для определения вероятности наступления тех или иных событий и оценки вероятного времени их наступления.

Метод эвристического прогнозирования позволяет получать и обрабатывать прогнозные оценки состояния и развития объектов исследования путем систематизированного участия высококвалифицированных специалистов (экспертов) в узкой области знаний. Прогнозные экспертные оценки отражают индивидуальное суждение специалиста относительно перспектив развития его области и основаны на мобилизации его профессионального опыта и интуиции.

Таким образом, в отличие от метода сценариев (подробнее о нем см. следующий параграф) метод Дельфи предполагает предварительное ознакомление привлекаемых экспертов с ситуацией с помощью либо математической модели, либо неформального описания процесса (например, сценария).

В системном анализе основной формой модели, которая подлежит усовершенствованию и насыщению информацией с помощью экспертных оценок, является дерево целей.

Специалистам предлагается оценить структуру модели в целом и дать предложения о включении в нее неучтенных связей. При этом используется анкетный метод с унифицированными формами вопросов, ответов и оценок. Результаты каждого этапа опроса после систематизации вновь доводятся до сведения всех экспертов, что позволяет им скорректировать свои суждения на основе вновь полученной информации. Затем полученная информация сопоставляется и анализируется на основе использования количественных оценок, данных экспертами. Существуют процедуры усреднения и объективизации мнений экспертов, а также оценки авторитетности и удельного веса мнений самих экспертов, например их взаимной оценки компетентности в той или иной области.

В тех случаях, когда отсутствуют объективные данные о будущем, метод Дельфи представляется самым надежным средством получения многосторонних и в то же время достаточно надежных данных.

В современной практике стратегического менеджмента широко применяется и оригинальный метод SWOT-анализа. Он используется консультантами, менеджерами компаний, изучается студентами и слушателями бизнес-программ. Его привлекательность и популярность связана, с одной стороны, с простотой, универсальностью и доступностью, а с другой – с возможностью комплексного взгляда на компанию и ее деловую среду, на пути и возможности ее развития. Этот метод может использоваться и в исследовании систем управления.

Название метода составлено из начальных букв английских слов: strength (сила), weakness (слабость), opportunities (возможности), threats (угрозы).

Основная идея SWOT-анализа состоит в комплексном рассмотрении внешних и внутренних факторов, а также угроз и преимуществ, влияющих на деятельность компании или системы управления, и генерации на этой основе альтернатив развития, учитывающих сочетания различных факторов, которые влияют на пути и возможности развития.

Возможности определяются как нечто, дающее организации (фирме) шанс достижения поставленной цели.

Угроза – это то, что может нанести ущерб организации (фирме), лишить ее существующих преимуществ.

SWOT-анализ может быть проведен в течение любого реально имеющегося времени – от одного-двух часов до нескольких дней. Если в первом случае выводы приходитея делать на основе экспресс-опроса, то за два-три дня удается предварительно изучить документы, провести необходимые интервью, разработать модель ситуации и детально обсудить проблемы с заинтересованными участниками. SWOT-анализ целесообразно проводить с использованием несложных графологических средств.

В исследовании систем управления предметом этого метода могут быть проблемы развития управления, например его эффективности, работы персонала, стиля, распределения функций, структуры системы управления, коммуникаций, информационного обеспечения, организационного поведения, мотивации.

Использование подготовленных специалистов позволяет повысить эффективность этого метода.

В результате анализа системы управления с помощью SWOT-анализа появляется картина соотношения сильных и слабых сторон, возможностей и опасностей, которая подсказывает, как следует изменить ситуацию, чтобы достичь успешного развития систем управления. Ведь SWOT-анализ можно использовать в различных целях: определения конкурентных преимуществ организации, разработки стратегической программы развития организации в целом, обеспечения качества продукции или услуги и пр.

Распределение факторов по этим квадрантам или секторам матриц не всегда является легким делом. Бывает, что один и тот же фактор одновременно характеризует и сильные, и слабые свойства предмета исследования. Кроме того, многие факторы действуют ситуативно. В одной ситуации они выглядят достоинством, в другой – недостатком. Иногда они бывают несоизмеримы по своей значимости. Эти обстоятельства можно и необходимо учитывать.

Один и тот же фактор можно размещать в нескольких квадрантах, если трудно однозначно определить его место. Это не скажется отрицательно на исследовании. Ведь суть метода заключается в том, чтобы идентифицировать факторы, разместить их таким образом, чтобы их концентрация подсказала пути решения проблемы.

В каждом квадранте факторы не обязательно должны обладать одинаковым весом, но они должны быть представлены в совокупности.

Заполненная матрица показывает реальное положение дел, состояние проблемы и характер ситуации. Это первый этап SWOT-анализа.

На втором этапе необходимо провести сравнительный анализ сильных сторон и благоприятных возможностей, который должен показать, как использовать сильные стороны. Вместе с тем надо проанализировать и слабые стороны, чтобы выявить существующие опасности. Такой анализ покажет, насколько, например, вероятен кризис, какие новые тенденции возникают, как к ним надо относиться. Ведь степень опасности увеличивается, когда она возникает в условиях ослабленности, когда слабые стороны не дают возможности препятствовать опасным тенденциям.

Конечно, весьма полезно сделать сравнительный анализ сильных сторон и существующих опасностей. Ведь сильные стороны следует эффективно использовать для предотвращения негативных явлений или кризиса.

Повысить эффективность метода SWOT-анализа позволяет привлечение специально подготовленных и отобранных экспертов или внутренних консультантов.

При применении этого метода исследования зачастую возникают определенные трудности:

1) методические, связанные с методикой проведения SWOT-анализа и обобщением его результатов;

2) информационные, обусловленные сложностями информационной поддержки использования этого метода;

3) управленческие, отражающие возможности и ограничения использования результатов SWOT-анализа в процессах управления.

Методические трудности проявляются:

– в усеченном использовании метода, неполном использовании его возможностей;

– смешении стратегических факторов и текущих управленческих решений;

– нечетком разделении внутренних и внешних факторов;

– неправильном и недостаточном учете универсальности используемых формулировок и т.д.

Информационные трудности заключаются главным образом в сложности информационной поддержки данного метода. Для его эффективного использования менеджерам и исследователям необходимо собирать, системно осмысливать и обобщать постоянно возрастающий объем информации. При этом динамизм развития организации ведет к быстрому устареванию этой информации.

Трудности проведения управленческого аудита заключаются в том, что:

– необходимая информация зачастую отсутствует, что связано с особенностями организации управленческого учета и маркетинговой информационной системы в компаниях;

– при проведении анализа силами менеджеров трудно избежать субъективизма оценок, поэтому считается, что взгляд со стороны (привлечение консультантов) всегда полезен;

– число факторов, потенциально имеющих отношение к эффективности организации, достаточно велико, и все они тесно взаимосвязаны.

В целом можно сказать, что для того чтобы SWOT-анализ исполнял роль эффективного инструмента в исследовании систем управления, необходима его качественная информационная поддержка. Соответственно, деятельность по актуализации информационного поля должна стать постоянной функцией управления.

Нередко при применении метода SWOT-анализа возникают трудности, связанные с дальнейшим использованием полученных данных.

Необходимо понимать, что SWOT-анализ – это только один из этапов сложного многошагового процесса исследования системы управления. Это первичный анализ, за которым должен следовать этап верификации и ранжирования выделенных факторов, корректировки целей, а возможно, и миссии компании, уточнения набора различных альтернатив и их комплексной оценки, в том числе финансовой.

Исследование путей и средств развития системы управления, активный поиск новых возможностей являются творческим процессом, в котором огромную роль играют профессионализм и искусство менеджера, его видение перспектив развития управления, определяющего развитие организации, сложившаяся деловая культура и стиль управления.

Существует множество модификаций метода SWOT-анализа. Весьма интересен один из них – метод разработки и анализа целей управления (SMART-анализ).

Известно, что наличие цели управления является решающим фактором успеха, эффективности, стратегии и развития. Без цели невозможно разработать план или программу. Но это касается не только цели управления, но и цели исследования, которую тоже нелегко сформулировать корректно. Программа исследования, методы его проведения напрямую зависят от цели.

Цель должна разрабатываться по критериям достижимости, конкретности, оцениваемости (измеримости), с учетом места и времени. Эти критерии отражают английские слова specific, measurable, attainable, relevant, time-related, из которых образована аббревиатура SMART.

SMART-анализ предполагает последовательную оценку целей по совокупности критериев, расположенных в матричной форме. Вот набор сопоставимых факторов, отражающих характеристики цели: труднодостижима / легкодостижима, высокие затраты / низкие затраты, имеет поддержку персонала / не имеет поддержки персонала, имеет приоритеты / не имеет приоритетов, требует много времени / требует мало времени, имеет широкое влияние / имеет ограниченное влияние, ориентирована на высокие технологии / ориентирована на низкие (обычные) технологии, связана с новой организацией управления / не связана с новой организацией управления.

На следующем этапе составляется матрица определения проблем. Для достижения цели необходимо решить ряд проблем. Но для этого их надо сначала определить.

Распределение проблем осуществляется по следующим критериям: существующая ситуация, желаемая ситуация, возможность достижения цели. Эти критерии характеризуют горизонталь матрицы. По вертикали рассматривают следующие критерии: определение проблемы, оценивание проблемы (количественные параметры), организация решения (кто, где, когда), затраты на решение проблемы.

Такая матрица позволяет составить план исследований.

При проведении анализа развития организации, ее макроокружения и выделении особо значимых факторов для эффективного управления организацией и успешной ее деятельности применяется также метод STEP-анализа. Его характеризуют четыре группы факторов, влияющих на управление организацией: экономические, политические, социальные и технологические. Отсюда и название метода, которое расшифровывается как: S – Society (общество, социум); Т – Technology (технология); Е – Economy (экономика); Р – Policy (политика).

В литературе встречается также другое название данного метода – РЕSТ-анализ.

При проведении анализа перечисленных выше факторов важно, во-первых, следить за всеми существенными изменениями и новыми тенденциями в макросреде, а во-вторых, выяснить, какие из происходящих процессов являются наиболее важными для конкретной организации. Для этого необходимо создать аналитический накопитель (банк данных), в котором можно было бы собирать, хранить и систематизировать имеющуюся информацию.

Достоинством метода является то, что он предполагает рассмотрение всех сторон воздействия факторов внешней среды, а недостаток состоит в том, что он не дает четкого, детального представления о факторах внешней среды.

STEP-анализ используется для того, чтобы дать общее представление о внешней среде организации и силе влияния данных факторов на организацию.

Он позволяет:

- оценить деятельность организаций с точки зрения экономики и менеджмента;

- описать среду, в которой функционирует организация;

– оценить степень влияния каждого из выделенных в процессе анализа факторов;

– определить слабые места в деятельности организаций.