Оценка точности и мониторинг эффективности скоринговых карт

Целью скоринговой модели является прогнозирование того, какие заявки в будущем будут "плохими", а какие "хорошими". Для этого скоринговая карта должна разграничивать две величины путем присвоения высокого балла "хорошим" кредитам и низкого балла "плохим". Целью скоринговой карты является минимизация зоны перекрытия распределения "хороших" и "плохих" кредитов (см. рис. 9-2).

Это приводит к ряду практических проблем, которые вызывают интерес у риск-менеджеров. Каким образом мы можем измерить эффективность скоринговой карты? Откуда мы знаем, когда необходимо корректировать и перестраивать скоринговуто карту или изменить текущую политику?

Наиболее распространенной методикой проверки, которая используется сейчас, является кумулятивный профиль точности (cumulativ accuracy profile, САР), его краткая статистика и коэффициент точности (accyracy ratio, AR) приведены на рис. 9-3. На горизонтальной оси показаны процентили скорингового балла в наборе данных. На оси ординат располагается количество фактических дефолтов в процентах, которая получена на основе исторических данных, например предположим, что скоринговая модель прогнозирует, что в 10 % по счетам будет дефолт на протяжении следующих 12 месяцев. Если бы наша модель была совершенной, то фактическое число кредитов, по которым прекращены платежи на протяжении данного периода времени, соответствовало бы первому дсцилю распределения скорингового балла – линии совершенной модели на рисунке. И наоборот, линия под углом 45° соответствует случайной модели, которая не может разграничить "хороших" и "плохих" клиентов.

РИСУНОК 9-3. Кумулятивный профиль точности (САР) и коэффициент точности (AR)

Очевидно, что банк надеется, что результаты применения модели балльной оценки кредитоспособности относительно близки к линии совершенной модели. Область под совершенной моделью обозначена как Ар, а область под фактической рейтинговой моделью – АR. Коэффициент точности составляет AR = Ar /Ар и чем он ближе к единице, тем более точна модель.

Эффективность скоринговой модели можно отслеживать, скажем, ежеквартально, посредством кривой САР; модель заменяется, когда ее эффективность снижается. Эффективность скоринговой модели обычно не изменяется внезапно, но снижение эффективности может произойти по нескольким причинам: с течением времени могут меняться характеристики основной совокупности и (или) поведение совокупности может меняться таким образом, что будет происходить изменение переменных, связанных с высокой возможностью дефолта.

Другой причиной замены скоринговой модели может служить изменение характеристик продуктов, которые предлагаются клиентам. Если финансовая организация, которая предлагает кредит на покупку автомобиля, решила продать свой бизнес и вместо этого выпустить кредитные карты, велика вероятность того, что совокупность целевых клиентов будет существенно отличаться при создании новой скоринговой карты.