Поскольку K > 0,6, то дополнительный тур опроса можно не проводить

Использование метода экспертных оценок при разработке программных систем

Цель работы: изучить основные положения метода экспертных оценок, отработать методику проведения опроса и обработки его результатов.

 

Введение

В процессе разработки программных систем многие предварительные оценки (вероятность тех или иных рисков, стоимость проекта, очередность реализации задач и др.) не могут быть получены на основе строгих формализованных процедур в силу их отсутствия или высокой трудоемкости использования. В этом случае широко используется знания и опыт экспертов - специалистов в данной области.

В зависимости от того, принимается во внимание мнение одного эксперта или группы, различают индивидуальные и коллективные методы экспертных оценок. Коллективные методы предпочтительнее из-за большей точности и конкретности результатов эксперимента. Они делятся на три группы:

метод комиссий - проведение группой экспертов дискуссии с целью выработки общего мнения о характере исследуемого объекта;

метод отнесенной оценки - многоэтапный процесс, заключающийся в чередовании свободных творческих дискуссий с индивидуальными критическими оценками каждым экспертом результатов работы комиссии;

дельфийский метод - заочный опрос по специальным анкетам и обработка ответов методами математической статистики.

Наибольшее распространение на практике получил именно дельфийский метод.

Методика организации опроса и анализа его результатов по данному методу предполагает:

1. Определить количество и состав групп экспертов;

2. Сформулировать основной вопрос таким образом, чтобы эксперт интерпретировал его однозначно и мог дать ответ в численном виде;

3. Составить анкету, включающую основной и дополнительный вопросы, ответы на которые разъясняют существо основного вопроса;

4. Провести первый тур опроса;

5. Проанализировать ответы на согласованность мнений, выявить дополнительные факторы, которые необходимо учесть экспертам, определить экспертов, имеющих максимальное расхождение с общим мнением группы;

6. Познакомить экспертов с ответами других членов группы, сформулировать дополнительные вопросы;

7. Провести второй, третий и т.д. туры опросов до получения согласованного мнения экспертов;

8. Обобщить результаты опроса и выявить рекомендации по исследуемой проблеме.

В данной лабораторной работе рассматривается только процесс математической обработки результатов опроса.

№ задачи Эксперты
Qi
t1i
t2i
t3i  
t4i      
t5i            
Ti

 

 
 
Таблица 1

 

№ задачи Эксперты Sj bj Очередность решения задач
9,5 3,5 3,5 7,5 7,5 64,5 -6
9,5 10,5 11,5 11,5 10,5 11,5 -34,5
11,5 11,5 10,5 11,5 9,5 10,5 11,5 99,5 -41
11,5 11,5 10,5 11,5 10,5 7,5 -34,5
5,5 3,5 5,5 7,5 10,5
7,5 7,5 2,5 7,5 -0,5
7,5 7,5 7,5 68,5 -10
1,5 3,5 2,5 1,5 39,5
10,5 9,5 10,5 4,5 -7,5
3,5 3,5 2,5 4,5 1,5 26,5
5,5 3,5 5,5 40,5
1,5 3,5 2,5 24,5
702    

Таблица 2

Суммы столбцов в нормированной матрице должны быть равны между собой и равняться значению , где - нормированный ранг j-го фактора, назначенный i-ым экспертом; n - число факторов.

 

 

 

Далее для нормированной матрицы определяется сумма рангов Sj, назначенных j-му фактору, по формуле , где m - число факторов. Очевидно, что в рассматриваемом примере S1=9+9,5+3,5+3,5+5+7,5+8+7,5+11 = 64,5. Для остальных факторов значения Sj рассчитываются аналогично.

При этом предполагается, что чем меньше величина Sj, тем больше важность j-го фактора, т.е. в данном случае данный параметр определяет очередность выполнения задач (эксперты рекомендуют начать с задачи 8, затем выполнить 12 задачу и т.д.).

На следующем шаге определяется средний ранг совокупности факторов по формуле

.

Для рассматриваемого примера он составляет

.

Средний ранг позволяет найти отклонения bj суммарных рангов Sj от среднего значения S, т.е. bj = S - Sj. Результаты расчетов смотри в табл. 2.

Определяется количество групп одинаковых рангов Qi, назначенных каждым экспертом, и количество рангов в каждой группе tji (см. табл. 1), а также для каждого эксперта значение показателя .

T1i = 24+6+24+24 = 78.

T2i = 6+6+24+6+24 = 66.

T3i = 6+24+6+6+6 = 48.

T4i = 210+60 = 270.

T5i = 24+6+24+24 = 78.

T6i = 6+6+6+6+60 = 84.

T7i = 60+24+24 = 108.

T8i = 60+6+24+6 = 96.

T9i = 24+120+6 = 150.

Последним шагом обработки является нахождение коэффициента конкордации (согласованности мнения экспертов) по формуле

.

Максимальным значением коэффициента конкордации является 1 (все мнения экспертов максимально согласованны), а минимальным 0. Пороговым значением является 0,6: значение коэффициента конкордации выше этого значения предполагает, что эксперты достаточно единодушны в своих оценках и можно их мнение использовать как руководство к действию. При коэффициенте конкордации меньше 0,6 мнения экспертов существенно расходятся и требуется повторный тур опроса.

Для рассматриваемого примера коэффициент конкордации определится как

.

 

Поскольку K > 0,6, то дополнительный тур опроса можно не проводить.