ОЦЕНКА СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ
Цель работы: оценка согласованности мнений экспертов.
Теоретическая часть
Лицо, участвующее в экспертном анализе по оценке качества, называют экспертом.
Квалификационную оценку экспертов проводят по таким показателям, как компетентность, деловитость, объективность, психофизиологические возможности. Анкета самооценки компетентности эксперта приведена в таблице 1.
Таблица 1. Анкета самооценки компетентности эксперта.
Коэффициент значимости вопроса | Вопрос | Ответы и их оценки по категориям | |||
1,0-0,9 | 0,8-0,6 | 0,5-0,3 | 0,2-0,1 | ||
0,8 | Сколько лет Вы работаете в области квалиметрии? | Более 10 | От 6 до 9 | От 2 до 5 | Менее 2 |
0,6 | Сколько лет Вы работаете в области экспертного анализа? | Более 10 | От 6 до 9 | От 2 до 5 | Менее 2 |
0,4 | Ученая степень или ученое звание по научной специальности? | Доктор наук и (или) профессор | Доцент | Кандидат наук без ученого звания | Не имею степени |
0,9 | Какую научно-организационную работу Вы проводите в области квалиметрии? | Руководи-тель лаборато-рии | Руководитель темы | Исполни-тель темы | Не участвую |
1,0 | Участие в международ-ном сотрудничестве по проблемам экспертизы качества товаров | Число лекций за рубежом | Докладчик на международ-ных симпо-зиумах | Участник междуна-родных конференций | Не участвую |
0,7 | Участие в семинарах и конференциях по обсуждаемым проблемам | Регулярно, с докладами или организа-тор семинара | От случая к случаю с докла-дами | Изредка, участник | Не участво-вал |
0,8 | Публикации в области квалиметрии | Моногра-фии | Статья | Отчеты | Не имею |
Достоверность результатов в экспертном анализе в значительной степени зависит от уровней конформности экспертов.
Конформность характеризует способность эксперта поступиться своим мнением в пользу другого эксперта или большинства. Понятие конформизм означает приспособленчество, пассивное принятие господствующих мнений. Различают четыре уровня конформности: низкий (эксперт не отказывается от своего мнения), средний (допускается от одной до трех уступок), значительный (четыре-пять уступок), высокий (шесть-восемь уступок). При формировании экспертных групп и дегустационных комиссий предпочтение отдают лицам с низкой и средней конформностью.
Соотносительную значимость качественных признаков эксперта оценивают следующим образом: психофизиологические возможности - 40%, объективность, воспроизводимость и конформность - 30%, компетентность - 20%, деловитость и другие признаки - 10%.
Показатель "воспроизводимость" характеризует способность эксперта восстанавливать в памяти оценки образцов аналогичного качества по истечении некоторого промежутка времени.
К другим специфическим особенностям можно отнести наблюдательность, склонность эксперта к завышению или занижению оценок по сравнению с большинством оценок.
Для получения суждений экспертов используют методы и процедуру опроса (табл. 2 и 3). Опрос экспертов состоит в получении от них количественных и качественных характеристик свойств продукции или услуг, а также другой информации, необходимой для оценки качества объектов.
Таблица 2.Методы опроса экспертов
Индивидуальные | Групповые | ||
Очный | Заочный | Опрос с взаимодействием | Опрос без взаимодействия |
Эксперт высказывает свои суждения | Эксперт заполняет карту опроса | Проводится обсуждение мнений экспертов | Мнения экспертов не обсуждаются |
Эксперту в одном сеансе не рекомендуется ставить более семи вопросов. В каждом вопросе может быть сформулировано до трех (четырех) подвопросов. Одновременно с вопросами эксперту обычно предлагают варианты возможных ответов с числом альтернатив не более семи.
Таблица 3. Процедура опроса экспертов
Процедура опроса экспертов | ||
Интервьюирование | Анкетирование | Смешанное анкетирование |
Мнение эксперта выявляется в процессе беседы | Эксперт заполняет карту опроса или дегустационный лист, отвечая на вопросы | Интервьюирование + анкетирование |
Карты, анкеты, дегустационные листы, разрабатываемые для опроса экспертов, должны содержать примерный перечень оцениваемых показателей и порядок их оценки, а также ориентировочные характеристики базовых значений показателей для каждого уровня градации оценочных шкал. Действующая нормативно-техническая документация на оцениваемую продукцию или услугу является обязательной основой при определении номенклатуры показателей, их базовых значений, коэффициентов весомости и градации уровней качества.
Практическая часть
По данным практической работы № 16 студенты оценивают степень согласованности мнений пяти экспертов.
Таблица 4. Степень согласованности мнений экспертов.
№ объекта экспертизы | Сумма рангов | Отклонение от среднего | Квадрат отклонения | |||||
а) оценивается среднеарифметическое число рангов;
б) вычисляется сумма квадратов отклонений от среднего;
в) определяется значение коэффициента конкордации, показывающее согласованность мнений экспертов:
![]() |
где R – сумма квадратов отклонений как оценка рангов каждого объекта экспертизы от среднего значения; m – число экспертов; n – число объектов экспертизы.
Коэффициент конкордации изменяется в диапазоне 0 < W < 1; 0 – полная несогласованность, 1 - полное единодушие.
Выводы
На основании полученных результатов делаются выводы о степени достоверности экспертной оценки.
Контрольные вопросы
1. Что такое коэффициент конкордации?
2. Как производится экспертная оценка качества?
3. Что такое ранг объекта экспертизы?
Практическая работа № 14