Системы количественных показателей на базе стандарта

Так как по своей природе отбор персонала часто несет в себе элемент состязательности, лица, производящие отбор, практически всегда хотят знать, насколько кандидаты соответствуют друг другу. Интерпретация показателей выполнения теста одного кандидата по отношению к другим лучше всего достигается с помощью системы, основанной на нормах выполнения. Например базирующийся на результатах выборки, состоящей из 1417 респондентов, Job Choice Exercise (Stahl, 1983) показывает, что для менеджеров с высокой мотивацией нормой являются показатели свыше 3,14 по шкале NPow (Потребность Власти) и 4,64 по шкале NAch (Потребность Успеха). Кандидаты с более низкими показателями имеют более низкую управленческую мотивацию.

Первый тип системы количественных показателей на базе стандарта, важной для отбора персонала, — это позиционная система количественных показателей, ранжирующая кандидата по отношению к другим. Для ранжирования кандидатов обычно используется таблица норм, содержащая предыдущие результаты этого же измерения других людей. Например компания, проводящая набор менеджеров-стажеров, может сравнить показатели набора этого года с показателями, полученными ранее. Тем не менее разработка таблиц норм требует большой тщательности (см. Бетел — Фокс (Bethell—Fox), 1989) и довольно широкой выборки, обычно как минимум 400 человек.

Есть и некоторые другие типы позиционных систем количественных показателей, обладающие различной степенью пригодности. Основные типы просто ранжируют показатели кандидата выше или ниже среднего показателя или же в убывающем порядке от лучшего к худшему. Преимущество этих методов заключается в их простоте и быстроте; изъян — в их недостаточной продуманности и упущении из виду большого количества информации. Следовательно, их лучше использовать только как последнее средство. Например ранги не показывают уровня компетентности или способностей. Получивший первый ранг кандидат может просто оказаться лучшим из плохих. И наоборот, получение нижнего ранга может означать, что кандидат лишь немного хуже группы кандидатов, обладающих отличными показателями. Более того, ранги могут на самом деле искажать и преувеличивать любые различия между кандидатами, минимизируя крупные и утрируя незначительные. Это затрудняет анализ и интерпретацию системы рангов.

Более усовершенствованная позиционная система количественных показателей базируется на использовании процентилей. Она представляет собой попытку поместить кандидата в репрезентативный ряд относительно 99 других. Например позиция «80-й процентиль» указывает, что показатели теста кандидата равны или находятся выше, чем показатели 80 процентов других кандидатов. Процентильные показатели имеют двойное преимущество:

• кандидата можно сравнить со всеми другими кандидатами отдельного теста;

• показатели разных тестов кандидата можно легко оценить по отношению друг к другу.

Например процентильный показатель 75 в тесте на пригодность лучше, чем процентильный показатель 65 в тесте на способности. Главный недостаток процентильных показателей заключается в том, что они являются лишь методом ранжирования соответственных достижений кандидатов в рамках отдельного теста, а не средством измерения различий между показателями теста кандидатов.

В отличие от позиционных систем количественных показателей стандартизированные системы количественных показателей учитывают и ранжирование кандидатов, и различия между ними. Сами по себе они обеспечивают более точную и поддающуюся интрепретации оценку соответственных достижений кандидатов, используя стандартные показатели, не только указывающие, где находятся показатели кандидата по отношению к среднему показателю всех кандидатов отдельного теста (то есть выше или ниже среднего показателя), но и показывающие, насколько сильно их показатели отличаются от среднего показателя. Преимущества использования стандартных показателей для проведения различий между кандидатами можно назвать тройными, поскольку стандартные показатели:

• определяют, где находится кандидат по отношению к другим;

• выявляют величину различий между показателями теста;

• избегают искажения или преувеличения различий между кандидатами.

Таким образом, это упрощает до некоторой степени проведение анализа и интерпретации показателей теста. (Читатели, заинтересовавшиеся системами количественных показателей на базе стандарта, найдут более детальную информацию в Приложении А).

Практичность

Метод отбора можно считать практичным, если он измеряет и прогнозирует именно то, что, по предположениям, он должен измерять и прогнозировать. Помимо точности и способности к прогнозу, практичность метода оценивается двумя следующими составляющими: во-первых тем, насколько справедливым и адекватным своим целям он воспринимается, а во-вторых — количеством поглощаемых ресурсов компании. Обе эти характеристики являются оценочными стандартами, и, возможно, имеют отношение к последующим решениям. Если выбранный метод ограничивает пригодность и/или несправедливо дискриминирует кандидатов (например по тендерным, этническим или по признакам, связанным с образованием), или если издержки на его применение перевешивают потенциальные прибыли, то использование этого метода должно быть прекращено.

Решения о приемлемости каждого отдельного метода отбора должно приниматься на стадии планирования процедуры отбора (см. Главу 5). Сначала оценку производят специалисты отдела по работе с персоналом, так как их опыт и специальные знания обеспечивают крепкий фундамент для определения ценности метода. Однако и другие стороны, участвующие в процессе отбора, должны быть привлечены. Верхние эшелоны управления должны участвовать обязательно; частично потому, что именно они решают вопросы финансирования, и частично для того, чтобы добиться их заинтересованности и причастности. Также важно опробовать метод на текущих кандидатах до начала его широкого использования для процедур отбора. Если кандидаты испытывают неудобства из-за его применения, их ответы могут быть не совсем корректны, что исказит результаты, и таким образом понизит пригодность метода. Например выполнение упражнений «Входящая корреспонденция» в одиночестве в тихой комнате может дать совершенно другие результаты по сравнению с его выполнением в шумной комнате в присутствии других кандидатов. Аналогичным образом, восприятие политических и других влиятельных групп, оказывающих давление на политику, может сыграть свою роль, если метод подозревается в несправедливой дискриминации этнических групп или других групп меньшинств. Например Келлет и др. (Kellet et al.) (1994) описали случай, когда компания British Rail (BR) изменила практику отбора персонала после того, как предстала перед судом. Восемь начальников поездов лондонской станции Пэддингтон с помощью Комиссии расового равенства (Commission for Racial Equality) предъявили иск BR; они считали, что процедуры оценки кандидатов, принятые в компании, отрицательно влияют на представителей этнических меньшинств. Аналогичные проблемы были выявлены в лондонском метро London Underground. В результате судебного процесса компании получили не подлежащие обсуждению указания суда, и им пришлось изменить свои процедуры отбора. Этот пример наглядно показывает, как важно оценить практичность инструментов отбора с точки зрения их пригодности и потребления ресурсов еще до внедрения. Необходимость избегать негативного влияния на кандидатов из групп меньшинств стала важной проблемой для методов отбора. Например Франци (Franzee) (1996) подчеркивает, что Комиссия по обеспечению равных возможностей при приеме на работу (Equal Employment Opportunity Commission) заявляет, что когда имеются видимые различия в показателях разных подгрупп населения в отдельном тесте отбора, этот тест должен иметь доказуемую содержательную или прогнозирующую достоверность, быть способным предсказывать выполнение работы в условиях, сходных с условиями отбора, и точно предсказывать будущее выполнение работы.

Разработка тестов

Сегодня есть множество разных типов тестов отбора, самые распространенные из них: тесты на познавательные способности, вопросники личностных характеристик и пробные задания. И хотя их нетрудно приобрести у компаний, специализирующихся на разработке тестов, иногда необходимо разработать тест собственными силами. Разработка любого теста тесно связана с систематической подготовкой и следует определенной логической очередности. Основные положения процедуры разработки теста изложены ниже, но они не являются исчерпывающими, так как разработка теста может включать весьма сложные и запутанные процедуры. Тем не менее эти основные положения все-таки освещают суть процесса, и поэтому те, кто выбирает между покупкой коммерческих тестов или разработкой тестов своими силами, сможет оценить составляющие процедуры, и таким образом получить более полную информацию. Интересующийся читатель может обратиться к работе Кронбаха и Глиссера (Cronbach and Glesser, 1965), чтобы ознакомиться с более полным описанием этой процедуры.

Вопросы для любого теста должны быть выбраны и сформулированы очень тщательно. Однако хорошее привило эмпирического метода гласит: они должны быть настолько простыми и ясными, насколько это возможно. Используемая терминология должна быть подобрана в расчете на конкретную целевую аудиторию. Также нужно исключить излишние статьи или статьи, включающие два или более вопроса, так как они иногда сбивают с толку респондента и затрудняют интерпретацию. Чтобы удовлетворить всем этим требованиям, следует просмотреть весь банк вопросов — статью за статьей — и проанализировать, какой цели служит каждая из них. Например, если тест разрабатывается для измерения аналитических способностей стажеров-бухгалтеров, стоит подумать, что в этом случае означает понятие «аналитические способности». Скорее всего, большая часть работы стажера будет заключаться в извлечении информации из таблиц, графиков или секторных диаграмм. Следовательно, чтобы обеспечивать содержательную достоверность, тест должен быть разработан таким образом чтобы он измерял способность кандидата извлекать значения из таблиц и графиков, даже когда определенная информация приблизительна или упущена вовсе. Однако надо позаботиться и о том, чтобы каждая статья теста отражала только те конструкции, которые измеряются. Также следует приложить усилия, чтобы отчетливо представлять, как будет подсчитываться результат по каждому вопросу, поскольку от этого зависит, какой тип формата подсчета следует избрать.

Существует несколько типов форматов подсчета, и их выбор настолько же важен, насколько важен выбор самих статей вопросов, так как именно формат подсчета лежит в основе решения о приеме или отклонении кандидата. Их диапазон простирается от простых ответов типа «да/нет» до ранжирования по некоторому типу биполярной шкалы; и у каждого способа есть свои преимущества и недостатки. Ответы «да/нет» проще, чем многовариантные; но они обладают меньшими возможностями установления различий, хотя увеличение объема теста может компенсировать этот недостаток. Многовариантные статьи позволяют хорошо различать способности кандидатов и часто используются в тестах на познавательные способности, например тестах на проверку знаний или тестах, выявляющих собственно способности. Кроме того, многовариантные статьи дают возможность более точно подсчитать результаты, поскольку ответы могут быть только верными или неверными. Главный недостаток многовариантных статей заключается в том, что создать правдоподобные отвлекающие статьи (то есть неправильные ответы) довольно трудно. Если правильный ответ слишком очевиден, различительная способность теста резко снижается. Биполярные шкалы широко используются и выключают утверждения или характеристики, оцениваемые кандидатом с точки зрения их верности или неверности.

Когда вопросы и форматы подсчета результатов выбраны, их нужно преобразовать в удобный для пользователя Формат, с ясно написанными инструкциями и вопросами-примерами; так, чтобы выполняющие тест кандидаты полностью понимали, что от них требуется. Очень часто на этом этапе разработки в тест включают больше вопросов, чем нужно. По некоторым оценкам, в три раза больше, чем останется в окончательном тесте или системе измерения. Тогда исходной мерой станет проверка разрабатываемого теста на относительно широкой выборке из числа существующих работников, чтобы убедиться в том, что все вопросы легко понятны.

Установление отличительной ценности статей вопросов достигается путем корреляции показателя каждой отдельной статьи с показателями всего теста или субшкалы. Статьи с высокой корреляцией обычно сохраняются, а статьи с низкой корреляцией отбраковываются (см. Гилфорд и Фрухтер (Guilford and Fruchter), 1978 для получения более детального обзора анализа статей). Когда определена приемлемость статей, составляется окончательная версия теста. Тесты на определение знаний обычно начинаются с простых вопросов, постепенно усложняющихся к концу. Когда тесты предназначаются для измерения социальных установок и личностных характеристик, возможно, будет полезным чередовать негативно и позитивно сформулированные статьи, чтобы избежать непродуманных ответов.

Последний этап представляет собой применение теста на широкой репрезентативной выборке, чтобы установить нормы выполнения, достоверности и валидности еще до начала его использования в качестве инструмента отбора. Кроме того, необходимо определить справедливость теста, чтобы убедиться, что он не дискриминирует никакие подгруппы населения (например по тендерным или этническим отличиям).

Интеграция

Практически, чем выше достоверность и валидность средства измерения или метода отбора, тем выше его ценность для точности прогнозирования выполнения работы для которой нанимается кандидат. Но как тогда можно обеспечить и оценить достоверность и валидность метода отбора? Если мы возьмем структурированные интервью, первоначальные шаги включают использование анализа содержания работы для разработки ряда измерений, способностей и образов (например, межличностные взаимоотношения, деловые навыки и т.д.), чтобы ответы на интервью могли быть оценены в соответствии с ними. После разрабатываются группы стандартных вопросов, имеющих отношение к существу работы кандидата. Эти вопросы требуют ответа, каким образом повел бы себя в различных реалистических ситуациях на работе. Ответы должны быть систематически ранжированы (см. подробности в Главе 7) или классифицированы (например с помощью шкалы оценки) таким образом, чтобы интервьюер знал, какие ответы хорошие, а какие плохие. Это приведет к последовательной и объективной оценке ответов, что помогает максимизировать достоверность и валидность оценок лица, проводящего отбор, а также способствует стандартизации всего процесса. Стандартизация очень важна, поскольку позволяет сравнивать ответы кандидатов напрямую. Поэтому целесообразно обучить предполагаемых интервьюеров — провести некую форму тренировочного стандартизированного интервью, предоставляющего возможности для практики, дискуссии и обратной связи. Скорее всего, уровень согласия между интервьюерами после такого тренинга будет гораздо выше, что, безусловно, говорит о его ценности. Размышляя о стандартизации, заметим, что во время интервью каждому кандидату Должны задаваться одинаковые вопросы. Это не только помогает принимать решения по отбору, но и обеспечивает справедливость по отношению ко всем кандидатам. Если в процессе оценки отдельных кандидатов участвуют двое или более интервьюеров, можно — и даже весьма желательно — проверить достоверность оценок интервьюеров, установив степень их согласия о пригодности кандидата. В случае следования стандартизированной процедуре, обозначенной выше, достоверность интервью значительно повысится.

Совсем другое дело, когда оценивается достоверность интервью, связанная с критерием. Часто подобную оценку нужно будет проводить позже, но по своей сути она включает оценку выполнения работы отобранных кандидатов по сравнению с релевантными критериями выполнения (см. Главу 3). В определенных условиях следование «параллельному» подходу и определение валидности интервью при помощи существующих работников может стать менее затратной и практичной альтернативой. Чем выше степень совпадения между хорошим выполнением работы и его прогнозов, сделанных на основании интервью, тем выше валидность данного метода. В целом считается, что коэффициент валидности выше 0,5 — отличный; 0,4—0,49 — хороший; 0,3—0,39 — приемлемый. Коэффициенты валидности ниже 0,3 не всегда пригодны, хотя в некоторых обстоятельствах признается валидность и более низкая, чем 0,3.

В принципе, оценка достоверности и валидности других методов отбора более или менее сходна с процедурой оценки достоверности и валидности интервью. Первый этап включает определение факторов, необходимых для успешного выполнения работы; оно базируется на тщательном анализе содержания работы. Затем эти факторы используются для выведения средств измерения («с карандашом и бумагой», пробные задания или упражнение «Входящая корреспонденция») способности кандидата выполнять работу, и критерии выполнения, посредством которых впоследствии оценивают валидность. Затем оцениваются кандидаты. Выполнение работы отобранных кандидатов позже оценивается опять. Показатели, полученные на стадии отбора, потом коррелируют с оценками выполнения работы. Для определения «параллельной» валидности группу существующих работников оценивают одновременно средствами измерения, используемыми для отбора и выполнения работы. Чем выше степень совпадения между показателями отбора и оценками выполнения работы, тем выше валидность, и, следовательно, тем выше пригодность метода в точном отборе лучших кандидатов (при прочих равных условиях). На всем протяжении этой главы рассматривалось предположение, что критерием определения валидности метода отбора (установления достоверности, связанной с критерием) является выполнение работы. Но иногда релевантным критерием является не выполнение работы, а какой-то другой аспект поведения, связанный с работой, например абсентеизм или трудовой стаж. Во многих условиях представляется полезным определять валидность методов отбора, пользуясь более специфическими критериями, чем общее выполнение работы; ими могут быть управленческие навыки, способность к решению проблем или деловая хватка. Вне всякой связи с тем, какой именно критерий является релевантным, описанные в этой главе процедуры сохраняют свою пригодность. При рассмотрении результатов исследования или проведения определения валидности внутри компании, важно проверить, какой критерий используется для определения валидности метода. Менее оптимальным для измерения уровня профессионализма кандидатов представляется использование средства измерения, валидность которого определяется при помощи критерия трудового стажа.

Выводы

Если отдел по работе с персоналом должен оптимизировать процедуры принятия решения по отбору персонала, с тем чтобы гарантировать успех выбора с первой попытки, любые методы отбора должны соответствовать четырем оценочным критериям, очерченным в этой главе. Отделу по работе с персоналом потребуется время для тщательной Разработки методов и тестов, чтобы гарантировать их достоверность, точность и должную интерпретируемость и избежать дискриминации этнических меньшинств и других социальных групп. Хотя достоверность инструмента отбора может оцениваться разными способами, основной целью каждого подхода является установление того, насколько хорошо он производит согласующиеся измерения характеристик в процессе исследования. С другой стороны, валидность связана с тем, насколько точно измеряет тот или иной инструмент отбора; и оценивается с трех взаимодополняющих проекций. Однако даже если инструмент отбора отвечает необходимым критериям достоверности и валидности, он также должен соответствовать критериям интерпретации показателей кандидата, поскольку они формируют фундамент для принятия решений. Соотношение прибылей и затрат процедуры отбора также является чрезвычайно важным критерием; и ему посвящается следующая глава.