Доведення властивостей 1) — 5).

Доведемо спочатку властивість 1). Маємо Mb1= . При цьому (Переконайтеся у вірності останньої рівності). Враховуючи ще рівність

yi = β0 + β1xi + εі, (4.11)

одержуємо

Mb1 = =

= .

Mb0 = .

Рівності (4.6) доведено.

Аналогічним чином отримуємо:

Db1= .

Другу з нерівностей (4.7) доведено. Першу з зазначених нерівностей буде доведено трохи пізніше. Перед доказом властивості 3) нагадаємо, що для випадкових величин x,h їх коваріація Cov(x,h) обчислюється за формулою Cov(x,h) = Мxh – Мx Мh. Згадаємо також кілька властивостей коваріацій випадкових величин та коваріаційних матриць випадкових векторів.

1. Для випадкової величини x має місце рівність Cov(x,x) = Dx.

2. Для випадкових величин x, h, x1, x2, h1, h2 та сталих а1, а2 мають місце рівності

Cov(а1x 1+ а2x 2, h) = а1Cov(x1,h) + а2 Cov(x2, h),

Cov(x, а1h1 + а2h2) = а1Cov(x,h1) + а2 Cov(x,h 2).

3. Нехай D(x,h) – коваріаційна матриця випадкових векторів x, h , що мають компоненти x1, x2,… та h1, h2,… відповідно (так що на місті (i,j) матриці D(x, h) стоїть величина Cov(xi, hj)); нехай також А, В – невипадкові матриці. Тоді D(Аx,Вh) = АD(x,h) , де – транспонована до В матриця.

Повернемося до доказу властивості 3) оцінок МНК. Нехай Y = (y1, y2,...,yn)' – n-вимірний вектор-стовбець спостережень, А = , В = . Легко бачити, що = АY, b1 = ВY. При цьому DY = σ2 I, де I – одинична матриця розміру n ´ n. Отже, використовуючи властивість 3. коваріаційної матриці, одержуємо

Cov( , b1) = Cov (АY, ВY) = А (DY ) В' = = 0,

тобто рівність (4.8) доведено. Тепер, користуючись відомою властивістю дисперсії суми некорельованих випадкових величин, одержимо:

Db0 =D( – ) = D + 2D = =

= , що й доводить першу з нерівностей (4.7). Для доказу (4.9), використовуючи відомі властивості коваріацій випадкових величин, знайдемо:

Cov(b0,b1) = Cov( –b1 , b1) = Cov ( ,b1) + Cov(–b1 ,b1) = – Cov (b1, b1) = = – Db1 .

Тепер лишається скористатися другою з властивостей 2).

Нарешті, згідно з рівностями (2.10) та (4.8), маємо

D ŷ0 = D [ + (х0 – х) b1] = D + (х0 – х)2D b1.

Тепер лишається скористатися рівностями (4.5) та (4.7). Зауважимо, що дисперсія величини ŷ0 є мінімальною, коли точка х0 співпадає з і зростає при віддаленні цієї точки від .

4.2. Нормальність випадкової складової. Надалі постійно припускатиметься, що випадкова складова e регресійної моделі (2.3) є нормально розподіленою випадковою величиною з нульовим математичним сподіванням і деякою (невідомою) дисперсією s2:

e ÎN (0, s). (4.12)

Припущення, зроблені вище, зумовлюють, що вектор випадкових складових E = (e1,e2,…,eп), де ei = yi – (β0 + β1 xi), i = 1,2,…,n, є нормально розподіленим випадковим вектором з взаємно незалежними компонентами, кожна з яких має тип (4.12). Зокрема, коваріаційна матриця D(E) вектора E є діагональною з елементами s2 на головній діагоналі:

D(E) = = s2 In, (4.13)

де In – одинична матриця розміру n ´ n.

Позначимо ще Y вектор спостережень, тобто Y = ( y1,…, yn). Зауважимо, що оскільки β0 + β1 xi — є невипадковими величинами, то

D(Y) = D(E). (4.14)

З припущення (4.12) випливає дуже багато корисних наслідків. Зокрема, такими є дві наступні теореми, справедливість яких буде наведено у подальших розділах курсу як наслідок деяких більш загальних положень.

4.2.1. Теорема. Остаточна сума квадратів, поділена на s2, має розподіл c2 з

n – 2 степенями волі, коротше:

RSS / s2 Îc2 n–2,

де RSS = S( yi – ŷi)2 .

4.2.2. Зауваження. Нехай відомо, що відношення деякої випадкової величини до деякої сталої величини (параметру) q має розподіл c2 з m степенями волі. Тоді відношення / m є незсуненою оцінкою для q.

ð Дійсно, оскільки x /q має розподіл c2m, то M (x /q) = m, тому M (x /m) = q. ð

Позначимо

RSS/(n – 2) = S2 . (4.15)

4.2.3. Наслідок. Величина S2 є незсуненою оцінкою величини s2:

M S2 = s2 (4.16)

4.2.4. Зауваження. Можна довести, що рівність (4.16) є справедливою і без припущення щодо нормальності розподілу x (за виконанням інших зроблених вище припущень щодо випадкової складової моделі (2.3).

4.2.5. Наслідок. Величини

b0 = S2, b1 = S2 (4.17)

є незсуненими оцінками величин Db0 та Db1 відповідно.

4.2.6. Теорема. За умови (4.12) мають місце співвідношення

, (4.18)

, (4.19)

де tn – 2 — розподіл Стьюдента з n – 2 степенями волі.

4.2.7. Наслідок. Нехай – квантиль рівня 1 – α/2 розподілу Стьюдента

tn–2. Тоді інтервали

B0 = [(b0 – ],

B1 = [(b1 – ],

є довірчими інтервалами рівня α для параметрів b 0 та b 1 відповідно.

ð Це випливає із співвідношень (4.18), (4.19) та тією властивістю квантилів неперервних випадкових величин, що F(up) = p, де F – функція розподілу даної випадкової величини, up – її квантиль рівня p. ð

4.2.8. Зауваження про перевірку гіпотез щодо значень коефіцієнтів β0, β1.

Щойно наведені результати дають змогу перевіряти гіпотези : β0 = b00 та : β1 = b10, де b00 та b10 – фіксовані числа. Ідея перевірки є дуже простою. Якщо число b00 належить інтервалові B0, то гіпотеза приймається, у протилежному випадку – не приймається. Аналогічно перевіряється гіпотеза .

Досить часто, зокрема, в комп’ютерних реалізаціях даної процедури перевірки використовуються дещо інші (формально, але не по суті) дії. А саме, позначимо T(b0) (T(b1)) величину з правої частини (4.18) ((4.19)) при β0 = b00 (β1 = b10). Ця величина порівнюється з – квантилем рівня 1 – α/2 розподілу Стьюдента tn–2. Відповідна гіпотеза не приймається, якщо за абсолютною величиною вказана величина перевищує даний квантиль. Іншими словами, гіпотеза не приймається, якщо T(b0) (відповідно, T(b1)) попадає у двосторонню критичну множину (– ¥, – ) È ( , + ¥). За наявністю альтернативної гіпотези {bi ³ bi0} ({bi £ bi0}), i Î {0,1}, доцільніше використовувати односторонню критичну множину ( , + ¥) ((– ¥, – )

Особливо часто доводиться перевіряти гіпотезу при b10 = 0 (тобто мова йде про перевірку гіпотези {β1 = 0}. У цьому випадку називається гіпотезою про незначимість коефіцієнту регресії. Якщо вона приймається, то можна вважати, що y не залежить від x (в рамках лінійної моделі(2.3)).

4.2.9. Зауваження. Деякі поширені комп’ютерні статистичні програми, наприклад, Statgraphics 3.0, використовують дещо іншу техніку перевірки гіпотез. А саме, не фіксуються заздалегідь критичні множини, а обчислюються так звані P-значення (P-values). Зокрема, при перевірці гіпотези ( ) P-значення є ймовірністю того, що за умови справедливості даної гіпотези, статистика T(b0) (відповідно, T(b1)) буде за абсолютною величиною рівною або більшою того значення, що конкретно отримано. Малість P-значення свідчить про недоцільність довіри до цієї гіпотези. Навпаки, великі P-значення свідчать на користь гіпотез, що перевіряються. Так, малі P-значення при перевірці гіпотези з b10 = 0 свідчать про значимість коефіцієнту регресії b1. З коментарів, які містяться у відповідних роздруківках, можна зрозуміти, що вважається малим, а що – великим P-значенням у кожному конкретному випадку.