Основні ідеї методів експертних оцінок
Експертні методи прийняття рішень
Приймати рішення можна або на основі об’єктивних даних (у тому числі за допомогою оптимізаційних методів та ймовірностно- статистичних моделей), або на основі думок фахівців (експертів). У задачах стратегічного і оперативного управління, технічно-економічного аналізу, при дослідженні випадків, пов’язаних із провідною роллю людського фактора у транспортних подіях, забезпечення екологічної безпеки й т. п. постійно використовуються різноманітні методи експертних оцінок. Розглянемо їх більш детальніше.
Основні ідеї методів експертних оцінок
Приклади методів експертних оцінок. Як буде змінюватися економічна обстановка на залізничному транспорті? Що буде з довкіллям через 10 років? Які причини транспортного порушення? Достатньо вдуматися у постановки цих природних запитань, щоб зрозуміти, що стовідсотково-надійних прогнозів просто бути не може. Замість стверджень з конкретними числами можна очікувати лише якісних оцінок. Тим не менше фахівці та управлінці повинні приймати рішення, наслідки яких можуть бути дуже серйозними і довгостроковими. Як бути? Необхідно звернутися до методів експертних оцінок. Що це за методи?
Безперечно, що для прийняття обґрунтованих рішень необхідно спиратися на досвід, знання та інтуїцію фахівців. Після другої світової війни у рамках кібернетики, теорії управління, менеджменту і дослідження операцій стала розвиватися самостійна дисципліна – теорія і практика експертних оцінок. Методи експертних оцінок – це методи організації роботи з фахівцями-експертами та обробки думок експертів. Ці думки звичайно виражені частково у кількісній, частково у якісній формі. Експертні дослідження здійснюються з метою підготовки інформації для прийняття рішень особи, яка приймає рішення (ОПР). Для проведення роботи за методом експертних оцінок створюють робочу групу (РГ), яка й організує, за дорученням ОПР, діяльність експертів, об’єднаних (формально або по суті) у експертну комісію (ЕК).
Експертні оцінки бувають індивідуальні та колективні. Індивідуальні оцінки – це оцінки одного фахівця. Наприклад, викладач одноосібно ставить оцінку студенту, а лікар – діагноз хворому. Але в складних випадках захворювання або погрози відрахування студента за неуспішність звертаються до колективної думки – консиліум лікарів або комісії викладачів. Інший простіший приклад експертних оцінок – оцінка номерів у КВК. Кожний з членів журі виставляє свою оцінку, а технічний працівник обчислює середню арифметичну оцінку, яка потім оголошується як колективна думка журі.
Існує велика кількість методів отримання експертних оцінок. В одних з кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів. В інших експертів збирають для підготовки матеріалів для ОПР, при цьому експерти обговорюють проблему один з одним, вчаться один у одного, й невірні думки відкидаються. У одних методах кількість експертів фіксована й така, що статистичні методи перевірки узгодженості думок й потім їх усереднення дозволяє приймати обґрунтовані рішення. В інших– число експертів зростає в процесі проведення експертизи, наприклад, при використанні метода «снігової грудки».
Не менше існує й методів обробки відповідей експертів, в тому числі дуже насичених математикою й комп’ютерізованих. Багато з них засновані на методах сучасної прикладної статистики. Одним з найбільш відомих методів експертних оцінок – це метод «Дельфі». Назва дана по асоціації з стародавнім звичаєм для одержання Дельфійськтй храм. Він був розташований біля виходу отруйних вулканічних газів. Жриці храму, надихавшись отрути, починали пророкувати, вимовляти незрозумілі слова. Спеціальні «перекладачі» - жриці храму тлумачили ці слова та відповідали на запитання паломників.
У США в 1960-х роках 20-го сторіччя методом Дельфі називали експертну процедуру прогнозування науково-технічного розвитку. У першому турі експерти називали ймовірні дати тих чи інших наступних звершень. У другому турі кожний експерт знайомився з прогнозами усіх інших. Якщо прогноз дуже відрізнявся від прогнозів основної маси, його просили пояснити свою позицію, й часто він змінював свої оцінки, наближаючись до середніх значень. Необхідно відмітити, що реальні результати дослідження виявилися дуже скромними – хоча дата висадки американців на Місяць була напророчена з точністю до місяця, всі інші прогнози провалилися – холодного термоядерного синтезу і засобів від раку у ХХ ст. людство не дочекалося.
Між тим сама методика стала популярною – за останні роки вона використовувалася не менше 40 тис. разів. Сумарна вартість експертного дослідження по методу Дельфі – 5 тис. доларів США, але у деяких випадках необхідно було витрачати й суми до 130 тис. доларів.
Дещо збоку від основного русла експертних оцінок лежить метод сценаріїв, який застосовується насамперед для експертного прогнозування. Розглянемо основні ідеї технології сценарних експертних прогнозів. Метод сценаріїв необхідний, наприклад, при розробці аналізу ризику при аваріях з участю небезпечних вантажів, які перевозяться залізничним транспортом. Кожний з таких сценаріїв описує аварію свого типу, із своїм індивідуальним походженням, розвитком, наслідками, можливостями попередження.
Таким чином, метод сценаріїв – це метод декомпозиції, що передбачає відділення набору окремих варіантів розвитку подій (сценаріїв), які в сукупності охоплюють усі можливі варіанти розвитку. При цьому кожний окремий сценарій повинен припускати можливість достатньо точного прогнозування, а загальна кількість сценаріїв повинна бути скінченна.
Можливість такої декомпозиції не є очевидною. При застосуванні метода сценаріїв необхідно здійснити два етапи дослідження:
- побудова вичерпного, але скінченного набору сценаріїв;
- прогнозування в рамках кожного конкретного сценарія з метою отримання відповідей на запитання, які цікавлять дослідника.
Кожний з таких етапів є лише частково формалізуємим. Суттєва частина міркувань здійснюється на якісному рівні, як це є прийнятим у суспільно- економічних і гуманітарних науках. Одна з причин міститься в тому, що прагнення до надлишкової формалізації та математизації призводить до штучного внесення визначеності там, де її немає по суті, або до використання громіздкого математичного апарату. Так, міркування на словесному рівні вважаються доведеними у багатьох ситуаціях, у той же час спроба уточнити суть використаних слів, наприклад, за допомогою теорії нечітких множин призводить до дуже громіздких математичних моделей.
Набір сценаріїв повинен бути скінченним. Необхідно виключати різні малоймовірні події. Само по собі створення набору сценаріїв – предмет експертного дослідження. Крім того, експерти можуть оцінити ймовірності реалізації того чи іншого сценарію.
Прогнозування в межах кожного конкретного сценарію з метою отримання відповідей на запитання, які цікавлять дослідника, також здійснюється у відповідності з поданою вище методикою прогнозування. При стабільних умовах можуть бути застосовані статистичні методи прогнозування часових рядів. Але цьому передує аналіз за допомогою експертів, при чому дуже часто прогнозування на словесному рівні є достатнім і не потребує кількісного уточнення.
Як відомо, при прийнятті рішень на основі аналізу ситуації (або, як кажуть, при ситуаційному аналізі), в тому числі й аналізі результатів прогнозованих досліджень, можна виходити з різних критеріїв. Так можна орієнтуватися на те, що ситуація складається найгіршим, найкращим або середнім (у будь-якому сенсі) чином. Можна спробувати намітити заходи, які забезпечують мінімально-допустимі корисні результати при будь-якому варіанті розвитку ситуації, й т. д.
Ще один варіант оцінювання – мозковий штурм. Організовується він як зібрання експертів, на виступи яких покладене одне, але суттєве обмеження – не можна критикувати пропозиції інших. Можна їх розвивати, можна висловлювати свої ідеї, але не можна критикувати! У ході засідання експерти, «заражаючись» один від одного, висловлюють все більш екстравагантні думки. Години через дві засідання, яке записано на диктофон чи відеокамеру, закінчується і починається другий етап мозкового штурму – аналіз ідей, які були висловлені на першому етапі. Звичайно із 100 ідей 30 заслуговують подальшої обробки, 5 – 6 дають можливість сформулювати прикладні проекти, а 2 - 3 у подальшому приносять корисний ефект. При цьому інтерпретація ідей – творчий процес.
Основні стадії експертного опитування. Більш детально розглянемо окремі етапи експертного дослідження. Як показує досвід, доцільно виділити такі стадії експертного опитування.
1. Прийняття рішень про необхідність проведення експертного опитування й формування ОПР його мети.
2. Підбір і призначення ОПР основного складу РГ (звичайно – науковогокерівника і секретаря). При цьому науковий керівник відповідає за організацію і проведення експертного дослідження в цілому, а також за аналіз зібраних матеріалів та формування заключення експертної комісії. Він бере участь у формуванні колективу експертів і видачі завдання кожному експерту. Він сам є висококваліфікованим експертом, який признанений іншими експертами, формальний і неформальний керівник експертної комісії. Секретар веде документацію експертного опитування, ров’язує організаційні завдання.
3. Розробка РГ і затвердження ОПР технічного завдання на проведення експертного опитування.
На цьому етапі у РГ виділяються різні групи фахівців – аналітична, фахівці по методах (економетрична), комп’ютерна, по роботі з експертами, організаційна. Дуже важливо щоб ОПР затвердив ці групи, а також затвердив фінансове, кадрове, матеріальне і організаційне забезпечення РГ.
4. Розробка аналітичною групою РГ детального сценарію (тобто регламенту) проведення зборів і аналізу експертних думок (оцінок). Сценарій містить у собі, насамперед, конкретний вид інформації, яка буде отримана від експертів (наприклад,слова, умовні градації, числа, ранжування, розподіл або інші види об’єктів нечислового походження ). Наприклад, дуже часто експертів просять висловитися у вільній формі, відповівши при цьому на деяку кількість звичайно сформульованих запитань. Крім того, їх просять заповнити формальну картку, в кожному пункті вибравши одну із кількох градацій. Сценарій повинен містити й конкретні методи аналізу зібраної інформації. Наприклад, обрахування медіани Кемені, статистичний аналіз люсіанів, застосування інших методів статистики об’єктів нечислової природи й інших розділів прикладної статистики. Ця робота покладається на економічну і комп’ютерну групи РГ. Традиційна помилка – спочатку зібрати інформацію, а потім думати, що з нею робити. В результаті, як показує досвід, інформація використовується на 1 – 2 %.
5. Підбір експертів у відповідності з їх компетентністю. На цій стадії РГ складає список можливих експертів й оцінює ступінь їхньої придатності для дослідження, що планується.
6. Формування експертної комісії. Проводяться переговори з експертами й, при їх згоді працювати у експертній комісії, здійснюється складання договорів з ними щодо умов їх роботи та оплати.
7. Проведення збирання експертної інформації. Часто перед цим здійснюється підбір і навчання інтерв’юерів – однієї з груп, яка входить до РГ.
8. Комп’ютерний аналіз експертної інформації за допомогою методів, які включені до сценарію.
9. При проведенні згідно сценарію експертної процедури з кількох турів – повторення двох попередніх етапів.
10.Підсумковий аналіз експертних думок, інтерпретація отриманих результатів аналітичною групою РГ й підготовка заключного документа ЕК для ОПР.
11.Офіційне закінчення діяльності РГ, тому числі затвердження ОПР заключного документа ЕК, підготовка й затвердження наукового і фінансового звітів РГ про проведення експертного дослідження, оплати праці експертів і співробітників РГ, офіційне припинення діяльності ЕК і РГ.
Розглянемо окремо деякі стадії експертного дослідження.
Підбір експертів. Проблема підбору експертів є однією з найбільш складних у теорії та практиці експертних досліджень. Необхідно відмітити, що зараз нема методів підбору експертів, які напевно забезпечать успіх експертизи.
У проблемі підбору експертів можна відокремити дві складові – складання списку можливих експертів і підбір з них ЕК у відповідності з компетентністю кандидатів.
Складання списку можливих експертів обмежується тоді, коли експертиза проводиться багато разів, й коли існує реєстр можливих експертів у досліджуваній галузі.
У випадку, коли експертиза проводиться вперше, то застосовується метод «снігової грудки», при якому від кожного фахівця, Який залучається до експертизи, отримують 5-10 прізвищ тих, хто може бути експертом по даній тематиці. Кожного, хто з’явивися знову, опитують по тій же схемі. Процес розширення списку зупиняється, коли нові прізвища перестають зустрічатися. У результаті отримується широкий список можливих експертів. Метод «снігової грудки» має й певні недоліки: не можливо передбачити кількість турів, крім цього можливе попадання у список осіб з одного «клану» (ВНЗ, інституту тощо), думки й аргументи інших «кланів» будуть упушені.
Питання про оцінку компетентності експертів також є дуже складним, часто пропонують використовувати методи самооцінки й взаємооцінки компетентності, але поняття «компетентність» й саме не визначене. При самооцінці експерти часто дають ступінь своєї самовпевненості.
При використанні метода взаємооцінки, поруч з можливістю виявлення особистих й групових симпатій та антипатій, грає роль мала усвідомленість експертів при можливості один одного.
Якщо експерти добре знайомі, то залучення таких пар фахівців не дуже доцільно, бо їх життєвий шлях і досвід схожі, а отже вони будуть висловлювати однакові думки.
Якщо процедура експертного опитування передбачає безпосереднє спілкування, то необхідно враховувати їх соціально-психологічні якості.
Необхідно підкреслити, що підбір експертів є однією з основних функцій РГ, й ніякі методи підбору не знімають з неї відповідальність за якість підбору експертів. Остаточне рішення за ОПР, який може включити в список окремих експертів, або викреслити деяких з них із списку.
При розробці регламенту проведення збору та аналізу експертних думок. Існує велика кількість методів отримання експертних оцінок. В одних з них з кожним експертом працюють окремо, він навіть не знає, хто ще є експертом, а тому висловлює свою думку незалежно від авторитетів, «кланів» й окремих колег. Інших експертів збирають разом для підготовки матеріалів для ОПР, при цьому експерти обговорюють проблему один з одним, приймають або відкидають аргументи один одного, вчаться один у одного, й помилковіабо недостатньо обґрунтовані думки відкидаються. В одних методах число експертів зростає в процесі проведення експертизи, в інших – воно фіксовано.
У теперішній час не існує загальноприйнятої науково обґрунтованої класифікації експертних оцінок й тим більше – однозначних рекомендацій щодо їх застосування.
Між тим є деяка робоча класифікація, яка дозволяє показати різноманітність експертних оцінок.
Одно з основних запитань – що повинна надати експертна комісія у результаті своєї роботи – інформацію для прийняття рішення ОПР або саме рішення? Від відповіді на це методологічне запитання залежить організація роботи ЕК, й воно служить першим підґрунтям для розподілу методів.
Мета – збір інформації для ОПР. Тоді РГ повинна зібрати можливо більше інформації, яка відноситься до справи аргументів «за» й «проти» визначених варіантів рішень. Корисним є такий підхід поступового збільшення числа експертів. Спочатку перший експерт надає свої міркування щодо питання, яке розглядається. Складений ним матеріал передається другому експерту, який додає свої аргументи. Накопичений матеріал надходить до наступного - третього, четвертого експерта. Процедура закінчується, коли вичерпується потік нових думок.
Відмітимо, що експерти у цьому методі тільки надають інформацію, аргументи «за» і «проти», але не виробляють узгодженого проекту рішення. Нема ніякої необхідності прагнути до того, щоб експертні думки були узгоджені між собою. Більше того найбільшу користь приносять експерти з мисленням, що відхиляється від масового, від них і треба очікувати найбільш оригінальних аргументів.
Мета – підготовка проекту рішення для ОПР. Математичні методи в експертних оцінках застосовуються звичайно для вирішення задач, пов’язаних з підготовкою проекту рішення. При цьому часто некритично приймаються догми узгодженості та їх одномірності. Такі догми «кочують» з однієї публікації до іншої, тому доцільно їх обміркувати.
Догма узгодженості. Часто без усяких підстав рахується, що рішення може бути прийняте лише на основі узгодження думок експертів. Тому виключають з експертної групи тих, чия думка відрізняється від думки більшості. При цьому виключаються як некваліфіковані експерти, так і найбільш оригінальні мислителі, які глибше проникнули в проблему, чим більшість. Необхідно б було вияснити їх аргументи, замість цього їх думками зневажають.
Буває й так, що експерти розділяються на дві або більше групи, які мають групові точки зору, наприклад, «теоретики» і «практики». Іноді заявляють, що у випадку виявлення двох або кількох груп експертів (замість однієї узгодженої у думках) опитування не досягло мети. Це не так! Мета досягнута – встановлено, що єдиної думки нема. ОПР при прийнятті рішення повинен це враховувати.
Думки дисидентів. З метою штучного досягнення узгодженості експертів намагаються зменшити вплив думок експертів – дисидентів. Жорсткий спосіб боротьби з дисидентами міститься в ігноруванні їх думок, тобто у фактичному виключенні їх із складу ЕК. Відбракування експертів, як і відбракування результатів, що різко виділяються (викидів), призводить до процедур, що мають погані або невідомі статистичні властивості.
М’ягкий спосіб боротьби з дисидентами міститься у застосуванні робастих (стійких) статистичних процедур. Простіший приклад: якщо відповідь експерта – дисидента – дійсне число, то думка дисидента, яка різко виділяється, сильно впливає на середнє арифметичне відповідей експертів й не впливає на їх медіану. Тому розумно, у якості узгодженої думки, розглядати медіану. Але при цьому ігноруються (не досягають ОПР) аргументи дисидентів.
У будь-якому з двох способів боротьби з дисидентами ОПР не отримують інформації від дисидентів, а тому може бути прийняте необґрунтоване рішення, яке може в майбутньому призвести до негативних наслідків. З іншого боку, надання ОПР усього набору думок знімає частину відповідальності й труда щодо підготовки остаточного рішення з комісії експертів й РГ й переглядає ці відповідальність та труд на ОПР.
Догма одномірності. В застосуванні, а іноді й у сучасній науково-технологічній літературі розповсюдженим є досить спірний підхід до так званої «кваліметрії», згідно якому об’єкт експертизи завжди можна оцінити одним числом. Практично усі реальні об’єкти досить складні, а тому скільки-небудь точно описати їх можна описати лише за допомогою багатьох й багатьох чисел, а також математичних об’єктів нечислової природи.
Разом з тим не можна повністю відкидати саму ідею пошуку узагальнених показників якості, технічного рівня й аналогічних. Так, кожний об’єкт можна оцінити за багатьма показниками. Й у різних ситуаціях оцінювання переважають ті, чи інші показники.
Таким чином, важлива конкретна (вузька) постановка задачі перед експертами. Але такої постанови часто нема. А тоді «ігри» з розробки узагальненого показника якості – наприклад, у вигляді лінійної функції від багатьох змінних не можуть дати об’єктивних висновків. Альтернативою єдиному узагальненому показнику є математичний апарат типу багатокритеріальної оптимізації - множини Парето й т. д.
У деяких випадках все не можна глобально порівняти об’єкти – наприклад, за допомогою тих же експертів отримати упорядкування об’єктів, що розглядаються, виробів або проектів.
Тоді можна підібрати коефіцієнти при окремих показниках так, щоб упорядкування за допомогою лінійної функції можливо точніше відповідало б глобальному упорядкуванню (наприклад, знайти ці коефіцієнти методом найменших квадратів). Навпаки, у подібних випадках не треба оцінювати такі коефіцієнти за допомогою експертів. Ця проста ідея до сих пір не стала очевидною для окремих складачів методик щодо проведення експертних опитувань й аналізу їх результатів. Вони намагаються примушувати експертів робити те, що вони виконувати не можуть – вказати ваги з якими окремі показники якості повинні входити у звітний узагальнений показник.
Експерти звичайно можуть порівнювати об’єкти або проекти в цілому, але не можуть відокремити внесок окремих факторів. Якщо організатори опитування запитують, то експерти відповідають, але ці відповіді не несуть у собі інформацію про реальність.
Друга основа класифікації експертних процедур – число турів. Експертизи можуть складатися з одного тура, деяку фіксовану кількість турів (два, три, …) або невизначену кількість турів. Чим більше турів, тим більш ретельним є аналіз ситуації, бо експерти при цьому звичайно багато разів повертаються до розглядання предмету експертизи. Але одночасно збільшується час на експертизу та її вартість. Можна зменшити витрати, вводячи в експертизу не усіх експертів одночасно, а поступово. Найбільшу складність викликають процедури із завчасно невизначеною кількістю турів. Часто задають максимально-можливе число турів, й тоді невизначеність зводиться до того, чи буде необхідним проведення цього максимального числа турів, чи вдасться обмежитися меншим числом.
Третя основа класифікації експертних процедур – організація спілкування експертів. Розглянемо переваги та недоліки з кожного з елементів шкали: відсутність спілкування – заочне анонімне спілкування – заочне спілкування без анонімності – очне спілкування з обмеженнями – очне спілкування без обмежень. При відсутності спілкування експерт висловлює свою думку, нічого не знаючи про думки інших експертів. Він повністю незалежний, що добре та погано. Звичайно така ситуація відповідає одно туровій експертизі. Заочне анонімне спілкування, наприклад, з у методі Дельфі, означає, що експерт знайомиться з думками і аргументами інших експертів, але не знає, хто саме висловив те чи інше положення. Тобто в експертизі повинно бути передбачене хоча б два тури. Заочне спілкування без анонімності відповідає, наприклад, спілкуванню по Інтернету. Усі варіанти заочної експертизи позитивні тим, що нема необхідності збирати експертів разом, тобто знаходити для цього зручні час і місце.
При очних експертизах експерти розмовляють, а не пишуть, як при заочних, й тому встигають за той же час сказати більше. Очна експертиза з обмеженнями дуже розповсюджена. Це зібрання, яке проходить по фіксованому регламенту. Очна експертиза без обмежень – це вільна дискусія. Усі очні експертизи мають недоліки, які пов’язані з можливостями негативного впливу на їх проведення соціально - психологічних властивостей і кланових (партійних) пристрастів учасників, а також нерівностей їх професійного, посадового та наукового статусів.
Комбінація різних видів експертизи. Реальні експертизи часто являють собою комбінації різних видів експертиз, що описані вище. Як приклад розглянемо захист дипломного проекту студентом. Спочатку йде багатотурова очна експертиза, яку проводять науковий керівник і консультанти, в результаті студент готує проект до захисту. Потім два експерти працюють заочно – автори відгуку сторонньої організації і завідувач кафедри, який допускає роботу до захисту. Наприкінці – очна експертиза без обмежень членів ДАК. Дипломний проект оцінюється колегіально, більшістю голосів, при цьому один з експертів (науковий керівник) знає роботу докладно, а інші – в основному лише за доповіддю. Відмітимо, що думки експертів враховуються з вагами, думки членів ДАК – з вагою 1, думки інших – з вагою О (дорадчий голос). Таким чином, маємо сполучення багатотурової з одно туровою, заочних і очних експертиз. Такі сполучення характерні для багатьох реальних експертиз.