Интуиция и формулы – кто кого?


Пол Мил – удивительный и необычный человек, один из самых разносторонних психологов ХХ века. В Миннесотском университете он в разное время занимал преподавательские должности на факультетах психологии, юриспруденции, психиатрии, неврологии и философии. Его работы также касались вопросов религии, политологии и способности крыс к обучению. Он был не только исследователем, глубоко понимающим статистику и критикующим голословные утверждения клинических психологов, но и практикующим психоаналитиком. Мил написал несколько глубоких статей о философских основах психологических исследований – в годы аспирантуры я выучил их наизусть. Мы ни разу не встречались лично, но он стал одним из моих кумиров с тех пор, как я прочел его «Клинический и статистический прогнозы: теоретический анализ и фактологический обзор».
В этой небольшой работе, которую Мил позже называл своей «подрывающей основы книжечкой», он рассмотрел результаты двадцати исследований, анализирующих, что точнее: клинические прогнозы, основанные на субъективных представлениях врачей-профессионалов, или статистические прогнозы, полученные по строгой формуле, объединяющей оценки и данные. В типичном эксперименте социальные педагоги после сорокапятиминутного опроса каждого студента предсказывали оценки первокурсников к концу учебного года. Интервьюерам также предоставлялся доступ к результатам обучения в старшей школе и итогам тестов на интеллект и способности, а также к четырехстраничному эссе абитуриента, необходимому для поступления в университет. Статистическая формула использовала только часть всей этой информации, а именно отметки старшей школы и результаты одного теста на выявление способностей. Тем не менее формула оказалась точнее в прогнозах, чем 11 из 14 педагогов. Сходные результаты были получены при изучении ряда других предсказаний, в частности вероятности нарушения режима условно-досрочного освобождения, успешного прохождения программы подготовки пилотов или криминального рецидива.
Неудивительно, что «книжечка» Мила вызвала у многих психологов-клиницистов оторопь и недоверие, а начатая в ней полемика дала начало потоку исследований, который не иссякает до сих пор, спустя полвека после публикации. Число исследований, сравнивающих клинические и статистические прогнозы, возросло до двух сотен, но счет в и гре «человек против формулы» с тех пор не изменился. Примерно 60 % исследований доказали перевес в пользу формулы (то есть статистические прогнозы оказались гораздо точнее). Другие сравнения показали равные по точности результаты, но по статистическим законам ничья равносильна победе, а использовать статистику дешевле, чем нанимать экспертов. Никаких убедительных исключений из правила замечено не было.
С тех пор статистическое прогнозирование стало использоваться и в медицине – для определения продолжительности жизни раковых больных, сроков госпитализации, выявления кардиологических заболеваний и вероятности возникновения синдрома внезапной смерти новорожденных. В экономике с его помощью рассчитывают перспективы успеха новых компаний, оценивают риски кредитования в банках и возможность профессионального «выгорания». Статистические прогнозы применяются и в государственных учреждениях – для отбора кандидатов в приемные родители, определения вероятности рецидива у ма лолетних правонарушителей, а также возможности совершения ими других форм насилия. Статистические прогнозы проводятся во многих областях – с целью оценки научных презентаций, для поиска победителей в футбольном чемпионате и предсказания будущих цен на вина. Каждая из этих областей содержит значительную меру неопределенности и непредсказуемости. Мы называем их «малодостоверными областями». В каждом случае результативность экспертов не уступает или даже проигрывает точности формулы.
Как с законной гордостью заметил Мил через тридцать лет после выхода книги, «еще ни одному противоречию в общественных науках не посвящали такого множества качественно разнородных исследований, движущихся в одном направлении».
Принстонский экономист и знаток вин Орли Ашенфельтер подготовил убедительную демонстрацию превосходства простой статистики над мнением всемирно известных экспертов. Ашенфельтер хотел предсказать изменение цен на бордо по информации, доступной в год урожая. Это – важный момент, поскольку вину требуется несколько лет, чтобы созреть. К тому же цены сильно варьируют в зависимости от выдержки – цены на вина из одного и того же виноградника, разлитые с интервалом 12 месяцев, могут отличаться в десятки раз, а то и больше. Способность предсказывать эти изменения очень важна, поскольку инвесторы вкладывают средства в марочные вина как в произведения искусства, в надежде, что с годами они будут дорожать.
Общеизвестно, что на вкус марочного вина влияют только изменения погоды в период созревания винограда. Лучшие вина получают в те годы, когда лето сухое и теплое (виноделам Бордо следует воздать дань парниковому эффекту). Дождливая весна – еще один благоприятный фактор, поскольку повышает урожайность винограда, не влияя на качество. Ашенфельтер преобразовал все эти сведения в статистическую формулу, которая позволяет спрогнозировать изменение цен (на вино конкретного производителя и конкретного разлива) по трем м етеорологическим показателям: средней температуре за лето, объему осадков в период сбора урожая и за предшествующую зиму. Его формула дает точный прогноз цен на ближайшие годы и даже десятилетия. Более того, если в расчетах исходить из нынешних цен на молодое вино, прогноз будет менее точен. Этот пример «схемы Мила» бросает вызов как способностям экспертов, чье мнение формирует раннюю цену, так и всей экономической теории, согласно которой цены должны отражать всю имеющуюся информацию, включая погодные условия. Формула Ашенфельтера дает чрезвычайно точный результат – корреляция между настоящей и предсказанной ценой выше 0,90.
Так почему же эксперты проигрывают формулам? Одна причина, как предположил Мил, состоит в том, что они пытаются быть умнее, мыслить независимо и принимать во внимание сложные комбинации факторов. В иных случаях сложность помогает, но чаще всего она снижает достоверность предсказаний. Лучше исходить из простых комбинаций факторов. Исследования продемонстрировали, что люди, принимающие решения, уступают в точности формуле, даже когда им показывают результат, вычисленный посредством формулы! Им кажется, что они могут отвергнуть этот результат, поскольку обладают дополнительной информацией, но чаще всего ошибаются. По Милу, всего в нескольких случаях имеет смысл обращаться к экспертам, а не к формуле. В знаменитом мысленном эксперименте он описывает формулу, которая предсказывает, отправится ли некий человек нынешним вечером в кино. Согласно Милу, разумно игнорировать формулу, если стало известно, что днем человек сломал ногу. Так появилось «правило сломанной ноги». Смысл его в том, что перелом – событие редкое, но ключевое.
Другая причина того, что эксперты проигрывают формулам, – непростительное непостоянство человеческих обобщений при обработке сложной информации. Если предоставить экспертам один и тот же набор данных дважды, они часто дают разные ответы. Степень этого непостоянства вызывает серьезную тревогу. Опытные радиологи, оценивая рентгенограммы грудной клетки (норма или патология), противоречат себе в 20 % случаях, когда повторно видят одни и те же снимки. Опрос 101 независимого аудитора, которым предложили определить надежность внутрикорпоративных аудиторских проверок, выявил равную долю противоречий. Обзор 41 исследования о надежности суждений, высказанных аудиторами, патологами, психологами, менеджерами и прочими специалистами, позволяет предположить, что такая частота противоречий типична для всех случаев, даже если повторная оценка материала проводилась спустя всего несколько минут. Ненадежные оценки не могут привести к точным предсказаниям.
Возможно, непостоянство суждений столь широко распространено из-за крайней зависимости Системы 1 от контекста. Исследования в области прайминга показывают, что незамеченные воздействия окружающей среды сильно влияют на наши мысли и действия. Эти влияния поминутно меняются. Приятная прохлада ветерка в жаркий ден ь может настроить вас на оптимистичный лад и сказаться на вашем мнении в данный момент. Шансы преступника на досрочное освобождение сильно колеблются в соответствии с графиком работы судей (между перерывами на еду). Люди редко осознают напрямую, что происходит у них в головах, а потому не догадываются, что даже самые незначительные обстоятельства способны радикально изменить их решение. Формулы, напротив, не подвержены влиянию обстоятельств. При одних и тех же данных они всегда выдают один и тот же ответ. Когда предсказуемость низка (как в большинстве исследований, изученных Милом и его последователями), непостоянство уничтожает прогностическую значимость.
Данные исследования подводят нас к неожиданному выводу: для максимального повышения прогностической точности конечные решения следует доверить формулам, особенно в «малодостоверных» областях. Например, при поступлении в медицинские вузы последнее решение оставляется за преподавателями, проводящими собеседование с абитуриентами. Немногочисленные свидетельства позволяют предположить, что проведение собеседования, скорее всего, снижает точность процедуры отбора, поскольку интервьюеры обычно излишне уверены в собственной интуиции и слишком часто полагаются на собственные наблюдения, не обращая внимания на другие источники информации. Аналогичным образом эксперты по оценке качества незрелого вина получают данные, которые скорее ухудшают, чем улучшают точность прогноза по поводу его будущей стоимости, – им позволяют дегустировать вино. Даже отдавая себе отчет, что качество вин прежде всего зависит от погоды, эксперты не могут соперничать с формулой в постоянстве выводов.
Наиглавнейшим достижением в этой области науки после работы Мила можно считать знаменитую статью Робина Доуза «Грубая красота неточных линейных моделей, используемых в принятии решений». В общественных науках преобладает статистическая практика приписывать вес каждому из элементов предсказания (предиктору), сл едуя алгоритму, называемому множественной регрессией. В наше время этот алгоритм встраивают в типовое программное обеспечение. Логику множественной регрессии невозможно опровергнуть: она находит оптимальную формулу для совмещения взвешенной комбинации предикторов. Однако Доуз обнаружил, что сложность статистического алгоритма почти не повышает его эффективности. С равным успехом можно выбрать несколько показателей, обладающих некоторой значимостью для предсказания результата, и подогнать их значения для сравнимости по стандартным позициям. Формула, соединяющая предикторы с равными весами, была бы настолько же точна в предсказании новых случаев, как и формула множественной регрессии, оптимальная для изначальной выборки. Новейшие исследования пошли еще дальше: согласно им, формулы, придающие равный вес всем предикторам, часто превосходят другие, поскольку на них не влияют случайности, возникающие при составлении выборки.
Поразительный успех равновесных схем имеет ва жное практическое значение: стало возможно разрабатывать полезные алгоритмы без предварительных статистических исследований. Хорошо предсказывают значимые результаты простые равновесные формулы, основанные на существующей статистике или здравом смысле. В одном запоминающемся примере Доуз показал, что устойчивость брака предсказывается формулой:

частота занятий любовью минус частота ссор

Хорошо, если результат будет величиной положительной.
Важный вывод данного исследования состоит в том, что алгоритм, сочиненный «на коленке», по результативности часто соперничает с оптимально взвешенной формулой и с легкостью превосходит прогноз эксперта. Это правило применимо ко многим областям, будь то выбор акций для инвестиционного портфеля или выбор метода лечения врачами или пациентами.
Классическое применение этот подход нашел в простом алгоритме, который спас жизнь сотням тысяч новорожденных. Акушеры знают, что ребенок, у которого в первые минуты после рождения не устанавливается нормальное дыхание, впоследствии подвержен высокому риску повреждений головного мозга и гибели. До вмешательства анестезиолога Вирджинии Апгар в 1953 году врачи и повивальные бабки, оценивая состояние новорожденного, полагались на собственные клинические суждения. При этом каждый специалист искал определенные симптомы: одни изучали проблемы с дыханием, другие – когда раздастся первый крик. Без стандартизированной п роцедуры признаки опасности часто упускались из виду, и многие дети погибали в младенчестве.
Однажды за завтраком начинающий врач спросил Апгар, как проводить комплексную оценку состояния новорожденного. «Это просто, – ответила она. – Надо сделать вот так…» С этими словами Апгар наскоро записала пять параметров (пульс, дыхание, выраженность рефлексов, мышечный тонус и цвет кожных покровов) и три варианта оценки (0, 1, 2 – в зависимости от степени проявления признака). Осознав, что ее метод легко применить в любой родильной палате, Апгар начала оценивать по этой шкале младенцев через минуту после рождения. Ребенок с общим показателем от 8 и выше находился в хорошем состоянии: он дрыгался, кричал и гримасничал, имел пульс от 100 и выше, а также розовый цвет кожи. В то же время ребенок с показателем 4 и ниже – синюшного цвета, вялый, малоподвижный, со слабым пульсом – нуждался в срочной медицинской помощи. Персонал родильных палат, пользуясь шкалой Апгар, получил пос тоянные стандарты для определения того, какому ребенку грозит опасность, что в итоге значительно понизило смертность среди детей до года. Шкала Апгар до сих пор ежедневно используется в родильных домах. Хирург Атул Гаванде недавно опубликовал книгу «Манифест контрольного перечня», где приводится множество примеров полезности шкал и простых правил.

 

Нетерпимость к алгоритмам

С самого начала клинические психологи отнеслись к идеям Мила с недоверием и враждебностью. Судя по всему, они пребывали во власти иллюзии умения – особенно умения давать долгосрочные прогнозы. Если вдуматься, то легко заметить, откуда взялась иллюзия, и так же легко посочувствовать клиницистам в их неприятии трудов Мила.
Статистические доказательства несовершенства клинических предсказаний противоречат повседневному впечатлению клиницистов о качестве их собственных суждений. Практикующие психологи во время каждой терапевтической встречи неоднократно переживают наития: как пациент отреагирует на вмешательство или что произойдет в следующий момент. Многие из этих наитий подтверждаются, тем самым «доказывая» существование клинического профессионализма.
Проблема в том, что верные суждения включают краткосрочные прогнозы в контексте терапевтического опроса – умение, которое терапевты оттачивают годами. Непосильной задачей для них оказывается долгосрочный прогноз на будущее для конкретного пациента (с этим неважно справляются даже формулы). Вдобавок у клиницистов нет практической возможности приобрести навык долгосрочного прогнозирования – слишком много лет требуется для обратной связи, для получения подтверждения своим гипотезам. Граница между тем, что психологи могут делать хорошо, и тем, чего они не могут, довольно размыта и не всегда заметна им самим. Они знают о собственном профессионализме, но редко догадываются, где заканчивается граница их умений. Поэтому стоит ли удивляться, если опытному тер апевту представляется абсурдной идея о том, что механическая комбинация нескольких переменных дает лучшие результаты, чем утонченная сложность человеческого суждения?
Дискуссии по поводу достоинств и недостатков клинического и статистического методов прогнозирования всегда имели моральную подоплеку. Статистический метод, как пишет Мил, подвергался критике со стороны опытных клиницистов как «механический, сухой, атомистичный, отрывочный, искусственный, не связанный с реальностью, ущербный, произвольный, мертвый, педантичный, бессистемный, надуманный, банальный, косный, поверхностный, выхолощенный, псевдонаучный, ограниченный и слепой». С другой стороны, клинический метод восхвалялся его сторонниками как «динамичный, всеобъемлющий, глубокий, целостный, тонкий, гибкий, системный, чувствительный, сложный, продуманный, практический, истинный, живой, толковый, естественный и близкий к жизни».
Нам всем понятно такое отношение. Когда человек сопернич ает с машиной, будь то Джон Генри, долбящий гору быстрее парового молота, или Гарри Каспаров, играющий шахматную партию против компьютера, мы неизменно сочувствуем человеку. Антипатия к алгоритмам, которые принимают решения, касающиеся людей, коренится в стойком убеждении, что многие предпочтут естественное синтетическому или искусственному. Если спросить людей, какое яблоко они выберут – деревенское или с наклейкой из супермаркета, большинство проголосует за «натуральное», хотя бы их заранее предупредили, что оба плода одинаковы по вкусу, в равной степени питательны и экологически чисты. Даже производители пива обнаружили, что можно увеличить продажи, написав на этикетке «только натуральное сырье» и «без консервантов».
Упорное сопротивление демистификации профессиональных умений ярко проявилось в реакции европейских виноделов на формулу Ашенфельтера. Формула, казалось бы, стала ответом на молитвы гурманов; можно было ожидать, что те будут благодарны за шанс с точ ностью определять, какие вина будут хорошими, а какие нет. Однако все вышло иначе. Отзывы французских виноделов, по словам обозревателей New York Times, были «либо агрессивными, либо истерическими». Ашенфельтер отмечает, что один ценитель бордо назвал его открытие «смехотворным и нелепым», а другой проворчал: «Это как судить о фильмах, не посмотрев их».
Предубеждения против алгоритма усиливаются, когда решения имеют важные последствия.
«Я не знаю, как побороть тот ужас, – пишет Мил, – который испытывают некоторые клиницисты, когда излечимому, по их мнению, больному отказывают в терапии потому, что „сухая, искусственная“ формула причисляет его к другой группе». Отвечая оппонентам, Мил и его сторонники воззвали к этике – заявили, что неэтично полагаться на интуитивные суждения в важных решениях, если имеющийся алгоритм сделает меньше ошибок. Аргумент веский, но против него вырастает стена психологической реальности: для многих людей важна причи на ошибки. Рассказ о ребенке, погибшем из-за ошибки алгоритма, вызывает большее негодование, чем если бы виноват был человек; разница в эмоциональном накале быстро формирует моральное предпочтение.
К счастью, враждебное отношение к алгоритмам, вероятно, будет ослабевать по мере увеличения их роли в повседневной жизни. Когда мы ищем книги или музыку, рекомендации специальных программ нам только помогают. Мы принимаем как должное, что решения о размерах кредитования обходятся без человеческого контроля. Нам все чаще приходится следовать советам в виде простых алгоритмов (например, коэффициент соотношения «хорошего» и «плохого» холестерина в организме). Сейчас публика куда лучше понимает, что в спортивном мире в некоторых критических случаях лучше полагаться на формулу, чем на решение человека, – например, сколько следует заплатить за нового игрока профессиональной спортивной команды и так далее. С удлинением списка задач, выполняемых алгоритмами, люди, возможно, нач нут спокойнее реагировать на результаты, описанные Милом в его «подрывающей основы книжечке».

 

Учимся у Мила

В 1955 году я, лейтенант Армии обороны Израиля двадцати одного года от роду, получил приказ разработать общеармейскую процедуру проведения собеседований. Если вам любопытно, почему юнцу вроде меня доверили столь серьезное дело, не забывайте, что самому израильскому государству тогда было всего семь лет – все институты государства только создавались, и кто-то должен был этому содействовать. Как бы странно это ни прозвучало, я со своим дипломом бакалавра считался самым образованным психологом в армии (мой непосредственный начальник был блестящим исследователем-химиком).
Когда мне поручили это задание, в армии уже существовала процедура собеседований: каждый призывник проходил психометрические тесты, а тех, кого отбирали на боевые задания, опрашивали для оценки личных качеств. Все это производилось для оценки общей боевой подготовки каждого новобранца и определения, где он проявит себя наилучшим образом – в артиллерии, пехоте, бронетанковых войсках и так далее. Вели собеседования такие же молодые новобранцы, отличающиеся высокими интеллектуальными показателями и желанием общаться с людьми. Большинство интервьюеров составляли женщины, которых в то время не допускали к боевым заданиям. Две-три недели их обучали ведению собеседований продолжительностью пятнадцать-двадцать минут; требовалось обсудить ряд тем и составить впечатление о будущих успехах призывника на службе.
К сожалению, последующие аттестации доказали, что результаты собеседований можно не принимать в расчет: по ним нельзя было предсказать будущие успехи новобранцев. Мне приказали составить собеседование так, чтобы оно было более информативным, но не более длительным, и в дополнение велели оценить его точность. С точки зрения профессионала, я был подготовлен для этого задания не больше, чем для постро йки моста через Амазонку.
К счастью, годом раньше мне довелось прочесть «книжонку» Пола Мила, и меня убедил довод, что простые правила статистики превосходят интуитивные суждения экспертов. Я решил, что прежняя процедура собеседования оказалась неудачной отчасти потому, что позволяла интервьюерам-ведущим заниматься интересным (с их точки зрения) исследованием динамики психического развития респондента. Вместо этого следовало бы использовать те же пятнадцать минут собеседования, чтобы получить как можно больше сведений о жизни новобранца в привычной для него среде. Из уроков Мила я усвоил, что следует отказаться от процедуры, при которой на принятие решения влияет общая оценка новобранца. По опыту Мила, таким оценкам нельзя доверять; бо́льшую достоверность дает статистическая сводка отдельно оцененных качеств респондента.
Я склонялся к процедуре, при которой интервьюеры могли бы выделить значимые личностные характеристики и оценивать их п о отдельности. Конечная оценка боепригодности должна была вычисляться по стандартной формуле без каких-либо дополнительных вкладов со стороны оценщиков. Я составил список из шести характеристик, важных, как мне казалось, для выполнения боевых задач, – «ответственность», «коммуникабельность», «мужская гордость» и так далее. Затем были составлены вопросы по каждому пункту, в основном касающиеся жизни новобранца до призыва: места его работы, отношение к службе или учебе, частота встреч с друзьями, спортивные интересы и тому подобное. Нам необходимо было как можно объективнее определить, насколько хорошо новобранец себя проявил в каждой из областей.
Отдавая предпочтение стандартным, фактическим вопросам, я надеялся победить эффект ореола, при котором благоприятное первое впечатление влияет на последующие суждения. В дальнейшем для предотвращения этой ошибки я предлагал вести опрос в строгой последовательности по списку качеств и оценивать каждое по пятибалльной шкале, прежде чем переходить к следующему. На этом нововведения закончились. Я посоветовал интервьюерам не тревожиться о будущем призывников на новом поприще – в их задачи входил лишь поиск фактов о прошлом новобранцев и применение этих фактов для оценки личностных качеств в баллах. «Ваше дело – произвести измерения, а прогностическую оценку предоставьте мне», – сказал я своим подопечным, имея в виду, что займусь составлением формулы, которая сочетала бы данные по всем параметрам.
Интервьюеры готовы были взбунтоваться. Смышленым девушкам и парням не понравилось, когда кто-то чуть старше их велел отключить интуицию и целиком сосредоточиться на нудных опросах. «Вы превращаете нас в роботов!» – возмутился один. Я пошел им навстречу. «Проведите опрос точно как я сказал, а когда закончите, закройте глаза, представьте новобранца в качестве солдата и поставьте ему балл от одного до пяти».
Мы провели несколько сот собеседований по новому методу, а спустя н есколько месяцев собрали данные об успехах солдат от офицеров тех подразделений, к которым приписали новобранцев. Результаты нас порадовали. Как и предполагалось в работе Мила, новая процедура собеседования значительно превзошла старую в результативности. Комплексная оценка по всем шести показателям предсказывала успехи новобранца гораздо точнее, нежели прежняя. Правда, метод все же был далек от совершенства. Мы сделали «абсолютно бесполезное» «умеренно полезным», но не более.
Меня поразило, что интуитивные суждения интервьюеров по методу «закрой глаза» также хорошо себя зарекомендовали – результат был не хуже, чем при механическом суммировании шести отдельных оценок. Я получил урок, которого никогда не забуду: интуиция спасает даже в случае справедливо раскритикованного отборочного собеседования, но лишь после продуманного сбора объективных данных и продуманного же подсчета баллов по каждому параметру. Оценкам, полученным в ходе метода «закрой глаза», я придавал тот же вес, что и сумме оценок по шести параметрам. Иначе говоря, я научился не доверять интуитивным суждениям (как своим, так и чужим), но вместе с тем и не отметать их.
Примерно сорок пять лет спустя, после вручения мне Нобелевской премии по экономике, какое-то время в Израиле меня чествовали как знаменитость. В один из приездов кто-то предложил устроить мне посещение той самой военной базы, где я служил, – там до сих пор сохранился отдел собеседований с новобранцами. Меня представили новому командиру подразделения психологов, и она описала процедуру собеседования, которой они пользуются. Оказалось, мои нововведения прижились, да и многолетние исследования подтвердили их практическую пользу. В конце своего рассказа психолог добавила: «А потом мы говорим интервьюерам: „Закройте глаза…“»

 

Сделай сам

Основную мысль этой главы легко применить и для других задач – помимо набора военнослужащих. Выполнение проц едур собеседования в духе Мила и Доуза требует немногих усилий, но хорошей организации. Предположим, вам нужно нанять торгового представителя для своей фирмы. Если вы всерьез желаете найти лучшего кандидата на эту должность, поступите так. Для начала выберите несколько качеств личности, необходимых для успешного выполнения работы (например, техническую подготовленность, располагающие личные качества, надежность и прочее). Не перестарайтесь – шести качеств вполне достаточно. Следите за тем, чтобы качества не пересекались и чтобы их можно было оценить, задав несколько простых, ориентированных на факты вопросов. Составьте список таких вопросов для каждого качества и подумайте над тем, как их оценивать – скажем, по пятибалльной шкале. При этом вам следует четко представлять, что понимается под фразами «сильно выраженное» или «слабо выраженное».
Эти приготовления займут у вас около получаса, и в конечном итоге вы приобретете больше, наняв нужного вам человека. Во избеж ание эффекта ореола собирайте и обрабатывайте данные отдельно по каждому качеству, а потом переходите к следующему. Для общей оценки просуммируйте баллы по всем шести параметрам. Так как последнее решение – за вами, вам будет незачем закрывать глаза. Твердо скажите себе, что наймете того, чей конечный балл будет наивысшим, даже если другой кандидат вам понравился больше, – попытайтесь воспротивиться собственному желанию переиначить результаты. Поверьте огромному числу исследований: вы скорее найдете лучшего работника, если воспользуетесь описанной процедурой, чем если поступите как большинство людей и доверитесь голосу интуиции («Он мне сразу понравился»).