ОЦЕНКА СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ

Цель работы: оценка согласованности мнений экспертов.

 

 

Теоретическая часть

 

Лицо, участвующее в экспертном анализе по оценке качества, называют экспертом.

Квалификационную оценку экспертов проводят по таким показателям, как компетентность, деловитость, объективность, психофизиологические возможности. Анкета самооценки компетентности эксперта приведена в таблице 1.

 

Таблица 1. Анкета самооценки компетентности эксперта.

 

Коэффициент значимости вопроса Вопрос Ответы и их оценки по категориям
1,0-0,9 0,8-0,6 0,5-0,3 0,2-0,1
0,8 Сколько лет Вы работаете в области квалиметрии? Более 10 От 6 до 9 От 2 до 5 Менее 2
0,6 Сколько лет Вы работаете в области экспертного анализа? Более 10 От 6 до 9 От 2 до 5 Менее 2
0,4 Ученая степень или ученое звание по научной специальности? Доктор наук и (или) профессор Доцент Кандидат наук без ученого звания Не имею степени
0,9 Какую научно-организационную работу Вы проводите в области квалиметрии? Руководи-тель лаборато-рии Руководитель темы Исполни-тель темы Не участвую
1,0 Участие в международ-ном сотрудничестве по проблемам экспертизы качества товаров Число лекций за рубежом Докладчик на международ-ных симпо-зиумах Участник междуна-родных конференций Не участвую
0,7 Участие в семинарах и конференциях по обсуждаемым проблемам Регулярно, с докладами или организа-тор семинара От случая к случаю с докла-дами Изредка, участник Не участво-вал
0,8 Публикации в области квалиметрии Моногра-фии Статья Отчеты Не имею

 

Достоверность результатов в экспертном анализе в значительной степени зависит от уровней конформности экспертов.

Конформность характеризует способность эксперта поступиться своим мнением в пользу другого эксперта или большинства. Понятие конформизм означает приспособленчество, пассивное принятие господствующих мнений. Различают четыре уровня конформности: низкий (эксперт не отказывается от своего мнения), средний (допускается от одной до трех уступок), значительный (четыре-пять уступок), высокий (шесть-восемь уступок). При формировании экспертных групп и дегустационных комиссий предпочтение отдают лицам с низкой и средней конформностью.

Соотносительную значимость качественных признаков эксперта оценивают следующим образом: психофизиологические возможности - 40%, объективность, воспроизводимость и конформность - 30%, компетентность - 20%, деловитость и другие признаки - 10%.

Показатель "воспроизводимость" характеризует способность эксперта восстанавливать в памяти оценки образцов аналогичного качества по истечении некоторого промежутка времени.

К другим специфическим особенностям можно отнести наблюдательность, склонность эксперта к завышению или занижению оценок по сравнению с большинством оценок.

Для получения суждений экспертов используют методы и процедуру опроса (табл. 2 и 3). Опрос экспертов состоит в получении от них количественных и качественных характеристик свойств продукции или услуг, а также другой информации, необходимой для оценки качества объектов.

 

Таблица 2.Методы опроса экспертов

 

Индивидуальные Групповые
Очный Заочный Опрос с взаимодействием Опрос без взаимодействия
Эксперт высказывает свои суждения Эксперт заполняет карту опроса Проводится обсуждение мнений экспертов Мнения экспертов не обсуждаются

 

Эксперту в одном сеансе не рекомендуется ставить более семи вопросов. В каждом вопросе может быть сформулировано до трех (четырех) подвопросов. Одновременно с вопросами эксперту обычно предлагают варианты возможных ответов с числом альтернатив не более семи.

 

Таблица 3. Процедура опроса экспертов

 

Процедура опроса экспертов
Интервьюирование Анкетирование Смешанное анкетирование
Мнение эксперта выявляется в процессе беседы Эксперт заполняет карту опроса или дегустационный лист, отвечая на вопросы Интервьюирование + анкетирование

 

Карты, анкеты, дегустационные листы, разрабатываемые для опроса экспертов, должны содержать примерный перечень оцениваемых показателей и порядок их оценки, а также ориентировочные характеристики базовых значений показателей для каждого уровня градации оценочных шкал. Действующая нормативно-техническая документация на оцениваемую продукцию или услугу является обязательной основой при определении номенклатуры показателей, их базовых значений, коэффициентов весомости и градации уровней качества.

Практическая часть

По данным практической работы № 16 студенты оценивают степень согласованности мнений пяти экспертов.

 

Таблица 4. Степень согласованности мнений экспертов.

 

№ объекта экспертизы Сумма рангов Отклонение от среднего Квадрат отклонения
               
               
               

 

а) оценивается среднеарифметическое число рангов;

б) вычисляется сумма квадратов отклонений от среднего;

в) определяется значение коэффициента конкордации, показывающее согласованность мнений экспертов:

 

 
 

где R – сумма квадратов отклонений как оценка рангов каждого объекта экспертизы от среднего значения; m – число экспертов; n – число объектов экспертизы.

Коэффициент конкордации изменяется в диапазоне 0 < W < 1; 0 – полная несогласованность, 1 - полное единодушие.

 

Выводы

На основании полученных результатов делаются выводы о степени достоверности экспертной оценки.

 

Контрольные вопросы

 

1. Что такое коэффициент конкордации?

2. Как производится экспертная оценка качества?

3. Что такое ранг объекта экспертизы?


Практическая работа № 14