Лекция № 4. Квалиметрия, или методы количественной оценки качества показателей

План лекции:

Основные понятие квалиметрии.

Метод экспертных оценок

Метод анкетирования

Основные понятие квалиметрии

Квалиметрия — это совокупность статистических методов, при­годных для оценки исходных данных, выраженных атрибутивно, т. е. не числом.

Идея квалиметрических методов состоит в том, что исходные данные выражаются через определенные числа, с которыми впо­следствии и производятся расчеты.

В практике ФКС часто возникают ситуации, связанные с рабо­той подобных данных. Следует сказать, что основное понятие те­ории ФКС — тренированность — является атрибутивным. Многие педагогические понятия, например «эффективность выполнения двигательного задания», «технико-тактическое мастерство спорт­смена», «красота представления спортивных упражнений» и др., являются атрибутивными понятиями.

Существует два принципиальных подхода к оценке атрибу­тивных явлений:

квалиметрические методы — по определенным правилам наде­ляются некоторым численным выражением, с которым впослед­ствии происходят преобразования;

тестирование — оценивается качеством выполнения опреде­ленных заданий.

В данном учебном пособии рассматриваются пять квалиметри­ческих методов. Эти методы весьма разноплановы. Задача исследо­вателя состоит в том, чтобы располагать общим объемом квали­метрических методов, а в конкретной исследовательской ситуа­ции уметь применить адекватный метод.

Метод экспертных оценок

Экспертной называется оценка, получаемая путем выяснения мнений специалистов. Эксперт "(от лат. expertus - опытный) - сведущее лицо, приглашаемое для решения вопроса, требующего специальных знаний. Этот метод позволяет с помощью специально выбранной шкалы произвести требуемые измерения субъективными оценками специалистов-экспертов. Такие оценки - случайные величи­ны, они могут быть обработаны некоторыми методами много­мерного статистического анализа.

Как правило, экспертное оценивание, или экспертиза, проводится в виде опроса, или анкетирования, группы экспер­тов. Анкетой называется опросный лист, содержащий вопросы, на которые нужно ответить письменно. Техника экспертизы и анкетирования — это сбор и обобщение мнений отдельных лю­дей. Девиз экспертизы — «Ум хорошо, а два лучше!» Характер­ные примеры экспертизы: судейство в гимнастике и фигурном катании на коньках, конкурс на звание лучшего по профессии или лучшую научную работу и т. п.

К мнению специалистов обращаются всякий раз, когда осу­ществить измерения более точными методами невозможно или очень трудно. Порой лучше получить приблизительное реше­ние немедленно, нежели долго искать пути точного решения. Но субъективная оценка значительно зависит от индивиду­альных особенностей эксперта: квалификации, эрудиции, опы­та, личных вкусов, состояния здоровья и т.п. Поэтому инди­видуальные мнения рассматриваются как случайные величины и обрабатываются статистическими методами. Таким образом, современная экспертиза — это система организационных, ло­гических и математико-статистических процедур, направлен­ных на получение от специалистов информации, и ее анализ с целью выработки оптимальных решений. И лучший тренер (педагог, руководитель и т.п.) тот, который опирается одно­временно на собственный опыт, на данные науки, на знания других людей.

Методика групповой экспертизы включает в себя: 1) фор­мулировку задач; 2) отбор и комплектование группы экспер­тов; 3) составление плана экспертизы; 4) проведение опроса экспертов; 5) анализ и обработку полученной информации.

Подбор экспертов - важный этап экспертизы, так как до­стоверные данные можно получить не от всякого специалиста. Экспертом может быть человек: 1) обладающий высоким уров­нем профессиональной подготовки; 2) способный к крити­ческому анализу прошлого и настоящего и к прогнозирова­нию будущего; 3) психологически устойчивый, не склонный к соглашательству.

Есть и другие важные качества экспертов, но указанные выше должны быть обязательно. Так, например, профессио­нальная компетентность эксперта определяется: а) по степени близости его оценки к среднегрупповой; б) по показателям решения тестовых задач.

Для объективной оценки компетентности экспертов могут (быть составлены специальные анкеты, отвечая на вопросы которых в течение строго определенного времени кандидаты в эксперты должны продемонстрировать свои знания. Кроме того, полезно предложить им заполнить анкету самооценки своих Знаний. Опыт показывает, что люди с высокой самооценкой ошибаются меньше других.

Другой подход к отбору экспертов основан на определении эффективности их деятельности. Абсолютная эффективность деятельности эксперта определяется отношением числа случаев, когда эксперт верно предсказал дальнейший ход событий, к, общему числу экспертиз, проведенных данным специалистом. Например, если эксперт участвовал в 10 экспертизах и 6 раз его точка зрения подтвердилась, то эффективность деятельности такого эксперта равна 0,6. Относительная эффек­тивность деятельности эксперта — это отношение абсолютной эффективности его деятельности к средней абсолютной эффективности деятельности группы экспертов. Объективная оценка пригодности эксперта определяется по формуле: М=(М-Мист),

где Мист — истинная оценка; М — оценка эксперта. Желательно иметь однородную группу экспертов, но если это не удается, то для каждого из них вводится ранг. Очевидно, что эксперт представляет тем большую ценность, чем выше показатели его деятельности. Для повышения качества экспертизы стараются повысить квалификацию экспертов путем специаль­ного обучения, тренировок и ознакомления с возможно более обширной объективной информацией по анализируемой проблеме. Судей во многих видах спорта можно рассматривать как своеобразных экспертов, оценивающих мастерство спортсмена (например, в гимнастике) или ход поединка (например, в боксе).

Метод анкетирования

Анкетирование относится к статистическому методу, который Позволяет выявить мнение множества людей об изучаемом объекте. Метод называется статистическим, так как исследователь набирает большое количество ответов: чем больше ответов, тем на­дежнее полученный результат. Идея метода заключается в том что испытуемые, называемые респондентами, заполняют анке­ту, по результатам которой и происходит выявление их мне­ния.

Анкета представляет собой опросный лист, в который вносит­ся ответы респондента на поставленные вопросы. Вопросы в анке­те должны быть краткими, понятными респонденту и иметь точ­ное представление о цели исследования. Анкета состоит из двух частей: демографической и основной.

Демографическая часть анкеты содержит вопросы, характеризую­щие личность респондента: имя, возраст, пол, социальное положе­ние, адрес и т.д. Основная часть анкеты содержит вопросы, ответы на которые позволяют решить основную задачу исследования.

Характер вопросов определяет вид анкетирования.

Прямое анкетирование включает такие вопросы, которые тре­буют прямых ответов от респондента об объекте исследований, например: «Что вы думаете о методе вашей тренировки?», «Нра­вится ли вам программа наших занятий?», «Любите ли вы баскет­бол?» и т.д.

Косвенное анкетирование предполагает вопросы, ответы на ко­торые может выбрать респондент, например: «Улучшит или ухуд­шит программу введение новых упражнений?», «Какой, по ваше­му мнению, будет эффект от увеличения объема нагрузки: поло­жительный или отрицательный?», «Как вы оцениваете новый ком­плекс упражнений: а) эффективный, б) неэффективный или в) малозначимый?» и т.д.

Безусловное анкетирование содержит вопросы, предполагающие прямые ответы без каких-либо условий, например: «Проводили ли вы тестирование своих учеников?», «Работаете ли вы по собствен­ной программе?», «Делаете ли вы утреннюю зарядку?» и т.д.

Условное анкетирование включает вопросы, предполагающие ответы респондента при соблюдении определенных условий, на­пример: «Следует ли изменить характер занятий, если тестирова­ние покажет существенное изменение в уровне выносливости?», «Следует ли проводить спортивные соревнования в начале учеб­ного года, если ученики еще не занимались в секциях?» и т.д.

Открытое анкетирование предполагает такие вопросы, ответы
на которые не имеют никаких ограничений, например: «Что вы
думаете о спорте?», «Каково ваше мнение о последнем футбольном матче?» и т.д.

Закрытое анкетирование содержит такие вопросы, которые пе­речисляют возможные ответы. Респондент должен подчеркнуть нуж­ные вопросы, т.е. выбрать из предлагаемого, например: «Какой вид спорта вам нравится больше всего: футбол, плавание, легкая атлетика?», «Какие виды спортивной работы вы предпочитаете:

спортивные игры, занятия на тренажерах, единоборства?», «Лю­бите ли вы заниматься спортом: индивидуально, в малой группе, в коллективе?» и т. д.

Очное анкетирование — способ заполнения анкеты респонден­том в присутствии исследователя. В этом случае исследуемый име­ет возможность проконсультироваться по вопросам заполнения анкеты, выяснить мнение других респондентов и т.д.

Заочное анкетирование — способ заполнения анкеты по усмот­рению респондента. Анкета отправляется по почте.

Индивидуальное анкетирование ~ способ работы респондента, когда анкета заполняется одним лицом.

Групповое анкетирование — способ работы респондентов, когда анкета заполняется группой лиц.

Персональное анкетирование предполагает заполнение анкеты, когда в ее демографической части требуются паспортные данные респондента.

Анонимное анкетирование проводится без записи паспортных данных, что позволяет респонденту быть полностью откровен­ным в ответах на любые вопросы.

После проведения анкетирования происходит подсчет голосов респондентов, т.е. подводится итог анкетирования, на базе кото­рого определяется изучаемый объект. Подсчитанные голоса долж­ны быть занесены в специальную таблицу — матрицу, размер ко­торой полностью зависит от демографической и основной частей.

Пример 3.6. Анкета состоит из двух частей: демографическая часть— «Ваш возраст», основная часть — «Хотите ли вы зани­маться футболом?» Анкету заполнили 130 респондентов (табл. 3.8). Постройте матрицу.

По данным, приведенным в табл. 3.8, видно, что демографи­ческая часть формирует столбцы, а основная — строки. В целом образуется матрица, сложность которой полностью зависит от воли исследователя.

Матрица практически всегда сопровождается графическим изоб­ражением. Например, для примера 3.6 ответы нагляднее всего мож­но представить в виде гистограммы по ответам (рис. 3.6).


 

Таблица 4.1

Анализ анкетных данных

 

Основная часть Демографическая часть
15... 16, лет 16... 18, лет 18...20, лет Всего рес­пондентов
Респонденты
Да Нет Затрудняюсь ответить
Итого

 

   

Гистограмма может быть построена по возрастам (рис. 3.7). Более сложные матрицы отражаются полигоном.

 

Контрольные вопросы:

1. Что такое квалиметрия?

2. Что такое экспертиза, эксперт, экспертная оценка?

3. Как оценивается эффективность работы экспертов?

4. Разновидности экспертной оценки

5. В чем заключается метод анкетирования?