Лабораторна робота: Dummy-змінні
Освоїти загальну методику введення dummy-змінних для обліку в регресійній моделі якісних факторів.
Dummy у перекладі – макет, і деякі автори вживають словосполучення “макетні змінні”, але частіше використовується неправильна термінологія “фіктивні змінні”. Фіктивною є “змінна” Х0 º 1, яку вводять, щоб у матричній формі врахувати в моделі наявність вільного члена. На відміну від Х0, dummy-змінні дійсно варіюють і тому не повинні називатися “фіктивними”. Найбільш близьким за змістом є назва “індикаторні змінні”.
Dummy-змінні призначені для обліку в моделі якісних ознак, які вимірюються в так званій шкалі імен і не можуть бути охарактеризовані одним числом. Різні рівні якісної ознаки прийнято називати “категоріями”. Приклади: стать – чоловіча або жіноча, стан економіки – до нафтової кризи або пізніше, сезон – зимовий, весняний, літній, осінній, тощо.
Уявимо, треба врахувати якісну ознаку, що має кілька різних категорій. Вводимо таку ж кількість dummy-змінних, кожна з яких дорівнює одиниці для спостережень конкретної категорії і нулю – для всіх інших категорій. У сумі всі dummy-змінні утворять Х0 º 1, тому не можна включати в модель одразу всі dummy-змінні (або ж не треба включати в модель вільний член). Звичайно одну з категорій вибирають як еталон і у модель не включають еталонну dummy-змінну. У результаті одержують модель для еталонної категорії з виправленнями на усі інші категорії. Значимості цих виправлень за критерієм Ст’юдента є значимостями відмінностей кожної категорії від еталонної.
В розглянутому нижче прикладі (витрати на газ і електроенергію в США за 1977–1982 р.) вивчається типова ситуація, коли, бажаючи збільшити обсяг вибірки, замість середньорічних використали квартальні дані. Хоча вибірка при цьому збільшилася в чотири рази, значимість моделі різко знизилася, а коефіцієнт детермінації впав майже до нуля. Причина виявилася в тому, що при переході до квартальних даних були привнесені сезонні коливання, на інтенсивному фоні яких зовсім втратився досліджуваний ефект – часовий лінійний тренд. Тому для обліку різниці за кварталами варто ввести чотири додаткові “індикаторні” змінні: Z1 = 1 – для 1-го кварталу і Z1 = 0 – для всіх інших кварталів; Z2 = 1 – для 2-го кварталу і Z2 = 0 – для всіх інших кварталів; Z3 = 1 – для 3-го кварталу і Z3 = 0 – для всіх інших кварталів; Z4 = 1 – для 4-го кварталу і Z4 = 0 – для всіх інших кварталів. Якщо за еталон прийняти 1-й квартал, то змінну Z1 не слід включати в модель. У результаті розрахунків буде отримане рівняння регресії для еталонної категорії з виправленнями до вільного члена для інших категорій. Можна підключити в модель одразу всі dummy-змінні, але тоді з моделі треба виключити вільний член. У результаті таких розрахунків будуть отримані рівняння регресії для кожної категорії окремо, будуть правильно підраховані всі статистичні характеристики, за винятком статистики Фішера, яка буде занижена в (m+1)/m = 5/4 разів. При цих різних підходах за критерієм Ст’юдента оцінюються різні ефекти якісного фактору. За другою методикою оцінюється значимість ефекту кожної категорії, а по першою (що рекомендується) – значимість розходжень кожної категорії від еталонної.
Зараз неявно передбачається, що для кожної сукупності даних (для кожної категорії) зберігаються незмінними усі закономірності в залежностях від кількісних змінних, а вплив якісної ознаки проявляється тільки у виправленнях довільного члена. Бувають і більш складні ситуації, коли для різних категорій виявляються різними ефекти кількісних факторів. Тоді в моделі слід враховувати також члени із взаємодією.
Роботу виконуємо в наступному порядку.
а) до таблиці вихідних даних (стовпці Т та Y) додаємо стовпці індикаторних змінних Z1, Z2, Z3, Z4;
б) за допомогою функції ЛИНЕЙН розраховуємо параметри лінійної моделі
Yp = (b0 + b2*Z2 + b3*Z3 + b4*Z4) + b5*T (1-й квартал – еталон);
г) обчислюємо розрахункові значення (стовпець Yp);
д) будуємо графіки залежності спостережуваних і розрахункових значень;
е) відбіраємо з таблиці вибірки, що відносяться до різних кварталів;
ж) додаємо на графіку лінії регресії для кожного кварталу.
| A | B | C | D | E | F | G | H | I | J | K | |
| Робота № 9. Dummy – змінні 1 | |||||||||||
| T - Номер кварталу, починаючи з 1977 по 1982 включно | |||||||||||
| Y - витрати на газ і електроенергію в США, млрд доларів | |||||||||||
| Z1=1 для кварталу I, і Z1=0 для інших кварталів (еталон) | |||||||||||
| Z2=1 для кварталу II, і Z2=0 для інших кварталів | |||||||||||
| Z3=1 для кварталу III, і Z3=0 для інших кварталів | |||||||||||
| Z4=1 для кварталу IV, і Z4=0 для інших кварталів | Критерії відбору | ||||||||||
| Z1 | Z2 | Z3 | Z4 | T | Y | Yp | Z1 | Z2 | Z3 | Z4 | |
| 7,33 | 7,5141 | ||||||||||
| 4,7 | 4,7691 | ||||||||||
| 5,1 | 4,9991 | 1-й квартал | 2-й квартал | ||||||||
| 5,46 | 5,4158 | T | Yp | T | Yp | ||||||
| 7,65 | 7,6405 | 7,5141 | 4,7691 | ||||||||
| 4,92 | 4,8955 | 7,6405 | 4,8955 | ||||||||
| 5,15 | 5,1255 | 7,7668 | 5,0218 | ||||||||
| 5,55 | 5,5421 | 7,8932 | 5,1482 | ||||||||
| 7,96 | 7,7668 | 8,0195 | 5,2745 | ||||||||
| 5,01 | 5,0218 | 8,1459 | 5,4009 | ||||||||
| 5,05 | 5,2518 | 3-й квартал | 4-й квартал | ||||||||
| 5,59 | 5,6685 | T | Yp | T | Yp | ||||||
| 7,74 | 7,8932 | 4,9991 | 5,4158 | ||||||||
| 5,1 | 5,1482 | 5,1255 | 5,5421 | ||||||||
| 5,67 | 5,3782 | 5,2518 | 5,6685 | ||||||||
| 5,92 | 5,7948 | 5,3782 | 5,7948 | ||||||||
| 8,04 | 8,0195 | 5,5045 | 5,9212 | ||||||||
| 5,27 | 5,2745 | 5,6309 | 6,0476 | ||||||||
| 5,51 | 5,5045 | ||||||||||
| 6,04 | 5,9212 | ||||||||||
| 8,26 | 8,1459 | ||||||||||
| 5,51 | 5,4009 | ||||||||||
| 5,41 | 5,6309 | ||||||||||
| 5,83 | 6,0476 | ||||||||||
| b0 | b2 | b3 | b4 | b5 | |||||||
| 7,4825 | -2,777 | -2,578 | -2,193 | 0,0316 | |||||||
| b5 | b4 | b3 | b2 | b0 | T | Z4 | Z3 | Z2 | |||
| 7,2975 | -25,91 | -30,66 | -33,15 | 98,546 | tb4 | tb3 | tb2 | tb1 | tb0 | ||
| 0,0316 | -2,193 | -2,578 | -2,777 | 7,4825 | b4 | b3 | b2 | b1 | b0 | ||
| 0,0043 | 0,0846 | 0,0841 | 0,0838 | 0,0759 | Sb4 | Sb3 | Sb2 | Sb1 | Sb0 | ||
| 0,9867 | 0,1449 | #Н/Д | #Н/Д | #Н/Д | R2 | Se | |||||
| 351,16 | #Н/Д | #Н/Д | #Н/Д | F | df | ||||||
| 29,480 | 0,3988 | #Н/Д | #Н/Д | #Н/Д | SSR | SSE |
Рис. 35. Звіт до лабораторної роботи № 10
Усі розрахунки зроблені за допомогою функції ЛИНЕЙН, блок результатів якої доповнений зверху рядком статистик Ст’юдента і рядком заголовків. Поруч у блоці такого ж розміру наведені пояснення до результатів функції ЛИНЕЙН. Під таблицею даних розташований рядок заголовків b0, b2, b3, b4, b5 у потрібному порядку і нижче функцією ГПР наведені відповідні коефіцієнти регресії. Так, у клітинці А34 записана формула =ГПР(A33;$A$36:$E$39;3;0), яка далі скопійована у сусідні клітинки B34, C34, D34, E34. Тут $A$36:$E$39 – блок результатів функції ЛИНЕЙН, з якого витягується значення коефіцієнта регресії з ім'ям, записаним в А33; у діапазон цього блоку необхідно обов'язково включати рядок заголовків; адреси діапазону повинні бути абсолютними (F4), щоб ці адреси не змінювалися при копіюванні; числове значення витягується з 3-го рядка блоку (1-й рядок – заголовки, 2-й рядок – статистики Ст’юдента, 3-й рядок – коефіцієнти регресії, 4-й рядок – стандартні похибки коефіцієнтів регресії); нарешті, останній операнд формули ГПР прийнятий рівним нулю (НЕПРАВДА), що означає вимогу точної відповідності чисел зазначеному заголовку.
Розрахункові значення Yp обчислені за допомогою функції СУММПРОИЗВ. Так, для 1-го спостереження у клітинці G9 записана формула:
=$A$34+СУММПРОИЗВ($B$34:$E$34;B9:E9) .
Праворуч від таблиці даних зроблені вибірки розрахункових значень витрат на газ і електроенергію за кожним кварталом. Вибірки з таблиці можна зробити різними способами, наприклад, за допомогою розширеного фільтру. Першим рядком бази даних (таблиці, з якої витягаються дані) завжди повинен бути рядок заголовків стовпців. У блоці критеріїв відбору (у нас таких чотири блоки з адресами H8:H9, I8:I9, J8:J9, K8:K9) у першому рядку повинен бути заголовок хоча б одного стовпця бази даних, у наступних рядках блоку критеріїв записуються умови відбору (в 1-му блоці задана умова Z1=1).
Діапазон обраних записів повинен також починатися рядком заголовків стовпців таблиці, що нас цікавлять. Усі чотири діапазони відбору записів (H12:I18, J12:K18, H20:I26, J20:K26) містять однакові заголовки T і Yp. Встановлюємо табличний курсор у будь-яке місце таблиці і через меню Данные, Фильтр, Расширенный фильтр викликаємо панель розширеного фільтра, на якій поле Исходный диапазон вже заповнено за замовчуванням.
| Включаємо умову  скопировать результат на другое место, заповнюємо поля Диапазон условий і Поместить результат в діапазон;нарешті натискуємо кнопку ОК.
|
Попередження: У кожний із цих діапазонів має бути включений рядок заголовків. Не припустимі ніякі помилки при завданні діапазону умов (блоку критеріїв). Якщо виділити діапазон із зайвим рядком (порожнім), буде обрана вся таблиця, а якщо захопити зайвий стовпець – не буде обраний жодний запис. Справа в тому, що умови в декількох рядках поєднуються логічною операцією АБО, а в декількох стовпцях – операцією I.
Далі будуємо діаграму із графіками досліджуваної залежності. За допомогою графічних опцій Добавить тренд, Показать уравнение і R2 додаємо на графіку лінійний тренд, його рівняння і коефіцієнт детермінації.
Рис. 37. Помісячна динаміка витрат
Варто виділити в таблиці стовпці Т, Y, Yp разом із заголовками і викликати Майстер Діаграм, тоді в легенді автоматично будуть зазначені назви рядів Y і Yp. Після цього можна додати графіки для кожного кварталу наступним чином. Клацаємо правою кнопкою по області діаграми і у контекстному меню вибираємо Исходные данные, Ряд, Добавить.
У поле Имя заносимо I (1-й квартал); це ім'я автоматично замінюється на ="I". У поле Значения Х указуємо діапазон Т і в поле Значения Y – діапазон Yр для 1-го кварталу.
Саме так додаємо графіки для 2-го, 3-го і 4-го кварталів. Нарешті, на діаграмі до ряду Y додаємо лінійний тренд, його рівняння і коефіцієнт детермінації R2.
На фоні інтенсивних сезонних коливань значимість досліджуваного лінійного тренда виявилася заниженою практично до нуля (R2 = 0,0086), оцінка кутового коефіцієнта занижена більш ніж у два рази.
Контрольне запитання: А якої величини були коефіцієнт регресії і коефіцієнт детермінації за 6-ю середнєрічними спостереженнями?
За допомогою всього трьох додаткових dummy-змінних Z2, Z3, Z4 дуже добре описана вся залежність разом із сезонними коливаннями. Помітимо, що спроби описати ці коливання аналітичним вираженням у вигляді трьох гармонік (з періодами рік, півроку, квартал) будуть неощадливими і зажадають 6-и додаткових параметрів (по два параметра на кожну гармоніку).
З блоку результатів функції ЛИНЕЙН виписуємо рівняння регресії:
Yp = 7,4825 – 2,777*Z2 – 2,278*Z3 – 2,193*Z4 + 0,0316*T
(tb) (98,5) (33,2) (30,7) (25,9) (7,3) .
Всі члени цієї моделі значимі за критерієм Ст’юдента (всі tb > t01 = 2,9), модель значима в цілому за критерієм Фішера F = 351,2 (F > F01 = 4,5); коефіцієнт детермінації дорівнює R2 = 0,9867, тобто модель із dummy-змінними пояснює практично всю мінливість даних.
Значимості коефіцієнтів регресії перед Z2, Z3, Z4 у цій моделі показують, що витрати на газ і електроенергію в еталонному 1-му кварталі істотно відрізняються від витрат в інших кварталах.
Наводимо рівняння регресії для кожного кварталу:
Yp(I) = 7,4825 + 0,0316*T (Z1 = 1),
Yp(II) = 7,4825 – 2,777 + 0,0316*T = 4,7059 + 0,0316*T (Z2 = 1),
Yp(III) = 7,4825 – 2,278 + 0,0316*T = 4,9034 + 0,0316*T (Z3 = 1),
Yp(IV) = 7,4825 – 2,193 + 0,0316*T = 5,2894 + 0,0316*T (Z4 = 1).
Вище вже вказувалося, що можна в модель включити одразу всі dummy-змінні, але тоді модель не повинна містити вільного члена. За допомогою функції ЛИНЕЙН розраховуємо параметри лінійної моделі (рис. 39):
Yp = (b1*Z1 + b2*Z2 + b3*Z3 + b4*Z4) + b5*T (Константа – відсутня).
| T | Z4 | Z3 | Z2 | Z1 |
| 7,2975 | 62,464 | 60,075 | 59,784 | 98,546 |
| 0,0316 | 5,2894 | 4,9043 | 4,7059 | 7,4825 |
| 0,0043 | 0,0847 | 0,0816 | 0,0787 | 0,0759 |
| 0,9867 | 0,1449 | #Н/Д | #Н/Д | #Н/Д |
| 280,93 | #Н/Д | #Н/Д | #Н/Д | |
| 29,4795 | 0,3988 | #Н/Д | #Н/Д | #Н/Д |
| Рис. 39. Блок функції ЛИНЕЙН |
В результаті будуть отримані одразу всі рівняння для кожного кварталу – не потрібно перераховувати вільний член (див. блок висновків функції ЛИНЕЙН на рис. 39). Але тепер статистики Ст’юдента будуть оцінювати відхилення середнього рівня витрат у кожному кварталі від нуля, а не від обраного еталона. Всі характеристики (крім F) вийдуть тими ж самими, лише статистику Фішера треба буде збільшити в (m+1)/m = 5/4 разів: F = 280,93*5/4 = 351,16.
Контрольні запитання
1. Що таке "dummy-змінні"? З якою метою вони застосовуються? Які є пропозіції щодо найближчого перекладу назви цих змінних на українську мову?
2. В "коваріаційному аналізі", який є подальшою модіфікацією дисперсійного аналізу, крім середніх за групами спостережень оцінюється також лінійний ефект кількісної змінної. Чи не можна вважати модель коваріаціного аналізу єквівалентним частинним випадком регресійного аналізу з dummy-змінними? Для яких умов?
3. Яку роль відіграють члени взаємодій кількісних змінних з dummy-змінними?
4. В якому випадку анліз з dummy-змінними буде еквіваленим серії звичайних регресійних аналізів окремо для кожної категорії якісної змінної?
5. Як оцініти значущість членів моделі з dummy-змінними?