Парный линейный регрессионный анализ.

Лекция 9. Элементы регрессионного анализа

Парный линейный регрессионный анализ.

Пусть проводится наблюдение над двумерной г.с. (Х, Y).

Если фиксировать значение x случайной величины X, то можно рассмотреть условное математическое ожидание с.в. Y при X=x: M[Y/X=x]. Таким образом, M[Y/X=x] является некоторой детерминированной функцией от x: M[Y/X=x] =j(x). Эта функция называется функцией регрессии Y на X, а график функции y=j(x) кривой регрессии Y на X. Если наблюдаетя с.в. Y при определенных значениях x, то случайную величину Y можно представить в виде Y=j(x)+e, где e – с.в. Пусть наблюдения проводятся при фиксированных значениях x₁, x₂, …,x_n. При этом случайная величина Y приняла соответственно значения y₁, y₂, …, y_n. Тогда можно считать, что имеет место выборка y_i = j(x_i) + e_i, i=1, …, n. В дальнейшем будем считать, что случайные величины e_i, i=1, …, n, удовлетворяют следующим условиям.

1) e_i (i=1, …, n) распределены по нормальному закону с математическим ожиданием 0 и дисперсией s²;

2) они попарно некоррелированны.

Если функция регрессии j(x) линейна, то говорят, что имеет место линейная регрессионная модель. Рассмотрим подробно эту модель.

Пусть Y= b₀+b₁x+e, y_i= b₀+b₁x_i+e_i, (i=1, …, n) и выполняются условия 1) – 2).

Задача корреляционного и регрессионного анализа состоит в следующем.

1) Получить наилучшие точечные и интервальные оценки параметров b₀, b₁, s линейной модели;

2) Проверить значимость модели;

3) Проверить адекватность модели наблюдаемым данным.

Для нахождения точечных оценок применяется метод наименьших квадратов (сокращенно – МНК).

Обозначим искомое уравнение . По МНК коэффициенты ищут, такие, чтобы принимала минимальное значение сумма

,

где обозначено .

По необходимому условию экстремума частные производные функции S по переменным должны обратиться в нуль в точке минимума.

Итак, решаем систему

Преобразовав систему, получаем

(9.1)

По методу Крамера, получим

 

,

где – выборочный корреляционный момент, – выборочная дисперсия с.в. X.

Преобразовав далее, получим

,

где – выборочный коэффициент корреляции.

В итоге получаем формулы для оценок коэффициентов уравнения линейной регрессии:

, . (9.2)

Коэффициент называется выборочным коэффициентом регрессии. Выборочное уравнение регрессии имеет вид

Введем в рассмотрение следующие суммы.

– сумма квадратов отклонений,

– остаточная сумма квадратов,

– сумма квадратов, обусловленная регрессией,

называется остаточной дисперсией.

Теорема 9.1 .

Если параметр = 0, то линейная модель называется незначимой. Для проверки значимости линейной модели выдвигается основная гипотеза H₀: = 0 при альтернативной гипотезе H₁: ¹ 0.

Статистика имеет распределение Фишера с 1 и n–2 степенями свободы, если основная гипотеза верна. Таким образом, если выборочное значение F_в больше квантили распределения Фишера, то основная гипотеза отвергается с вероятностью a, то есть на уровне значимости a линейная модель статистически значима.

Доверительные интервалы для коэффициентов , c доверительной вероятностью 1– a имеют вид:

< < ,

< < ,

где – квантиль распределения Стьюдента порядка 1–a./2 со степенью свободы n–2.

Коэффициентом детерминации называется величина . Чем ближе значение коэффициента детерминации к 1, тем лучше линейная модель описывает наблюдаемые данные. Если имеет место линейная регрессионная модель, то выборочный коэффициент корреляции между X, Y .