Оценочные стандарты
Когда речь заходит о достоверности, связанной с критерием, центры оценки кандидатов проявляют себя достаточно хорошо. Гоглер (Gaugler) и др. (1987) в своем мета-аналитическом обзоре отметили, что средний некорректированный коэффициент валидности составляет 0,29. С поправкой на статистические артефакты он возрастает до 0,37. Дальнейшие исследования показали, что лучшие показатели валидности достигались, когда: использовалось больше упражнений; экспертами были психологи, а не руководители; в оценочном процессе применялась оценка равных по положению; отношение представленности женщин в оцениваемых группах было выше; отношение представленности этнических меньшинств было небольшим Неожиданно выяснилось, что продолжительность обучения экспертов не влияет на валидность центров оценки; а измерить качество обучения не представлялось возможным, хотя, вероятно, оно имело большее значение, чем продолжительность. Полученные данные привели к выводу, что валидность центра оценки кандидатов может разниться от одного набора условий до другого, в зависимости от наличия или отсутствия отдельных характеристик; и что использование техник центра оценки per se[4] не гарантирует получения высокой достоверности, связанной с критерием.
Также были обнаружены некоторые проблемы, связанные с конструктивной достоверностью (см. Главу 4) центров оценки. Вслед за плодотворным исследованием Сэкетта и Дреера (Sackett and Dreher, 1982) некоторые другие исследователи (например Робертсон и др., 1987) продемонстрировали, что корреляции между всеми параметрами, якобы оценивающими одно и то же качество (например, навык лидерства), очень низки, в то время как корреляции между различными параметрами (например навыком лидерства и аналитическими навыками) в пределах одного и того же упражнения гораздо выше. В дальнейшем, когда провели факторные анализы рассматриваемых параметров (например лидерства, межличностных отношений, планирования, решения проблем и т.д.), стало ясно, что факторы представляли скорее разные упражнения (например упражнение «Входящая корреспонденция», групповая дискуссия и т.д.), чем параметры. Это противоречит тому, чего можно было бы ожидать, если бы центры оценки обеспечивали хорошую конструктивную достоверность. Есть некоторые свидетельства, что, возможно, эти результаты были получены из-за разницы в индивидуальных мнениях экспертов во время ранжирования кандидатов. Вместо того чтобы ранжировать кандидатов по установленным планировщиками AC параметрам, эксперты предпочитают использовать свои собственные индивидуальные категории. Отсюда можно делать предположение, что использование специфических поведенческих перечней во время упражнений (см. Хеннесси (Hennessy) и др., 1998 для сравнения традиционных процедур наблюдения с поведенческими контрольными перечнями и методами индексации) и ограничение числа оцениваемых параметров улучшает показатели конструктивной достоверности. Недавние исследования свидетельствуют, что следует уделять больше внимания типам параметров, оцениваемых в АС (например Тетт (Tett), 1999). Важно, чтобы упражнения в АС предоставляли кандидатам возможность продемонстрировать типы поведения, ассоциируемые с оцениваемыми параметрами. Некоторые параметры АС представляются слишком сложными или неопределенными (например параметр «лидерство»), чтобы их можно было применять для корректной оценки во многих АС (например Лоури (Lowry), 1994). Дополнительным преимуществом было бы наличие показателей отдельных упражнений; они могли бы прояснить понимание, что именно измеряется, и это, в свою очередь, привело бы к большему пониманию, почему центры оценки кандидатов прогнозируют поведение. Полный обзор конструктивной достоверности центров оценки и факторов, ее улучшающих, содержится в работе Лиевенса (Lievens, 1999). Она включает такие факторы, как способы ротации экспертов во время упражнений АС.
Установление достоверности повторного тестирования может быть проблематичным из-за трудностей, сопровождающих повторение. Лучшим способом решить эту проблему было бы оценить одну и ту же группу кандидатов в двух центрах оценки за короткий промежуток времени. Однако в большинстве случаев это неосуществимо. Даже если бы это было возможным, довольно трудно контролировать разнообразные факторы групповой динамики просто потому. что взаимоотношения «кандидат — кандидат» или «кандидат — эксперт» могли измениться во время проведения первого АС, что впоследствии могло бы повлиять как на поведение кандидата, так и на суждения эксперта во время проведения второго АС. В одном из исследований сравнили общие рейтинги кандидатов, посетивших и продолжительные, и короткие АС. Кандидатов, выполнявших похожие, но различающиеся по содержанию упражнения, оценив разные люди. Результаты продемонстрировали хорошую корреляцию между общим рейтингом и показателями отдельных упражнений, что предполагает высокую достоверность повторного тестирования.
В том, что касается полезности, свидетельства из Великобритании и США представляются довольно убедительными. АС высоко оцениваются экспертами и успешными кандидатами. Успешный кандидат воспринимает приобретенный опыт как стимул для собственного развития, поскольку такой опыт показывает сильные и слабые стороны человека. Аналогичным образом руководители, выступающие в роли экспертов, узнают о способах систематического наблюдения и оценки управленческого поведения, чего трудно достичь в беспокойной повседневной melee[5], заполняющей жизнь компании. Некоторые британские исследователи полагают, что, с точки зрения организации, центры оценки кандидатов могут играть ключевую роль в том, чтобы облегчить внедрение перемен в компании (Герриер и Рилей (Guerrier and Riley, 1992). Фокусируясь на проблемах перемен в компании при проведении упражнений АС, организация сообщает своим работникам о важности определенных управленческих навыков и стиля работы. Это может оказаться чрезвычайно полезным для организаций, применяющих инициативы управления качеством. Таким образом, помимо достаточно точного отбора персонала, все участвующие стороны могут извлечь из АС дополнительные выгоды.
Для отклоненных кандидатов картина выглядит несколько иначе. Они оценивают АС как недостаточно справедливые и предлагающие меньшие карьерные перспективы. Хотя неизвестно, как АС влияют на отклоненных кандидатов, обращавшихся для заполнения вакансии определенного уровня в организации, известно, что АС развития для существующих работников негативно влияют на самооценку, конкурентоспособность и мотивацию к работе не-успешных кандидатов. Этот эффект может происходить из-за того, что деятельность АС вызывает у таких кандидатов ощущение неопределенности перспектив карьеры (см. например Фрэнсис-Смис и Смит (Francis-Smythe and Smith 1997). Отсюда можно сделать предположение: чтобы не потерять работников, нужно осторожно обращаться с информацией обратной связи для неуспешных кандидатов; возможно, стоит даже предложить такому кандидату поддержку — совет или консультацию. Что касается обеспечения механизма обратной связи, то Фелсэм (Feltham, 1989) и другие выделяют несколько следующих важных особенностей:
• Необходимо, чтобы обратная связь фокусировалась только на типах поведения, которых наблюдались во время АС.
• Обратная связь должна быть конструктивной и хорошего качества.
• Обратная связь достигается усилиями всей команды: линейных руководителей, специалистов по управлению персоналом, и, по крайней мере, одного из экспертов.
• Предоставление информации обратной связи должно происходить лицом к лицу, а не посредством письменных материалов.
• Обратная связь должна быть связана с планом действий.
• Обратная связь должна обеспечиваться максимально быстро — в течение нескольких дней, если это исполнимо.
Если говорить о несправедливости и дискриминации, исследование предполагает, что АС относительно свободны от предубежденности в отношении пола и расы. Однако одно из исследований сообщило, что женщины-кандидаты обратившиеся для заполнения вакансии продавцов в организации, занимающейся финансовыми услугами, получили более высокие общие оценки выполнения теста, чем муж чины. Особенностью этого случая было то, что их оценивала группа экспертов, полностью состоящая из мужчин, а не смешанная группа экспертов обоих полов. Интересно, что три года спустя не обнаружилось никакого различия в вы полнении работы между успешными кандидатами мужского и женского пола. Этот случай заставляет предположить, что группы экспертов, состоящие целиком из мужчин, оценивают женщин-кандидатов более снисходительно, чем смешанные группы экспертов. Есть некоторые свидетельства дискриминации по возрастному критерию в управленческих центрах оценки (Клэпхэм и Фулфорд (Clapham and Fulford), 1997), когда кандидаты старшего возраста получают значительно более низкие оценки, чем более молодые кандидаты.
Хотя результативность центров оценки признается все больше и больше, их подготовка и работа обходятся значительно дороже других процедур отбора. Тем не менее исследования показывают, что выгоды от их применения значительно превосходят затраты. Например Бедфорд (Bedford, 1998) показал, что годовые затраты в 1985 году на АС для отбора семнадцати старших офицеров полиции на посещение курса для старшего офицерского состава в Национальном колледже полиции (National Police College) в Брэмхилле составили £100 900, или £5 860 за успешного кандидата. Подсчеты показали, что по сравнению с предыдущей системой оценки кандидатов старшими офицерами, величина чистой прибыли от процедуры АС составила около £800 000. Эта цифра представляет доход на инвестиции в размере приблизительно 700 процентов за год. Аналогичным образом, по сравнению с интервью, центр оценки служащих военно-морских сил Великобритании начального Уровня службы принес чистую прибыль в размере £ 550 000 за год (Джонс (Jones), 1988). Было представлено оценочное исследование конкретного случая, проведенное компанией Ford of Europe, показывающее возможный способ сокращения затрат на центр оценки с £788,46 до £ 187,50 за успешногокандидата (Пэйн и др., 1992). Трудно подсчитать величину чистой прибыли для этого исследования, потому что кандидаты стремились получить финансовую поддержку для обучения в машиностроительном университете. Нельзя считать какую-либо выгоду, пока студенты не закончат обучение и не будут наняты спонсирующей организацией.
Тем не менее эти примеры предполагают, что затраты на АС могут быть значительно снижены, и в то же время АС приносят значительные финансовые выгоды.
Выводы
Методы, основанные на заданиях, находятся среди наиболее валидных форм отбора, поскольку они фокусируются на умениях кандидата, а также потому, что оцениваемые специфические типы поведения имеют непосредственное отношение к работе. Кроме того, в силу своей многогранности, они могут использоваться для многих классов работ на разных уровнях организации. Методы, основанные на заданиях, включают пробные задания, тесты на способность к обучению, тесты на осведомленность и центры оценки кандидатов. И хотя разработка и применение методов отбора, основанных на заданиях, обычно требуют немалых вложений, выгоды от их применения представляются весьма существенными. Кроме того, эти методы относительно свободны от необъективности, и поэтому их применение легче защитить в суде по делу о дискриминации.