Формализуйте идею метода наименьших квадратов в ситуации парной линейной регрессии (в случае центрированных иксов)

⇐ Назад

Центрирование переменных состоит в параллельном переносе системы координат по Х и/или по Y, при котором наклон (то есть ) не меняется, но упрощается нахождение этого коэффициента. При центрировании Y, дополнительно, свободный член = 0.

Центрированный X = ; EX = 0.

Формализация:

x₁, x₂ … x_n – независимые переменные (регрессоры/предикторы)

y₁, y₂ … y_n – зависимые переменные (отклики)

- общая форма парной линейной регрессии (в обычном случае), где - объясненная моделью часть, а - стандартные ошибки (та часть переменной, которую не удалось объяснить моделью). Построить регрессионную модель = оценить коэффициенты и .

В случае центрированных X мы меняем X на =>

Выведите МНК-оценки коэффициентов парной линейной регрессии (в случае центрированных иксов).

Для центрированных X: .

и = 0 => сокращаем.

38. Как получить МНК-оценки коэффициентов парной линейной регрессии в обычном случае центрированных иксов?

Пусть x_i, y_i – исходные данные, а ; - центрированные X и Y.

Для центрированных X и Y:

Тогда для исходных данных:

Выведение МНК-оценок парной линейной регрессии в общем случае (то, что было на лекции):

· | : n (разделим на n)

Подставим во второе уравнение:

; ; => подставим:

| * n

; => заменим:

39. Покажите связь между коэффициентом корреляции К.Пирсона и коэффициентом β1 парной линейной регрессии. (См рисунок в контакте)

Вопрос 40. Сформулируйте 4 условия Гаусса – Маркова.

1)E(ε1) = E(ε2) = … = E(εn) = 0, (15)

2)Var(ε1) = Var(ε2) = … = Var(εn) = σ2(16) - D(E/x) = сигма в квадрате - условная гомоскедастичность

3)Cov(xi,εj) = 0 при всех значениях i и j (18) -отсутствие эндогенности в узком смысле; распределение Е не зависит от распределения Х

4)Cov(εi, εj) = 0 при i≠j(17)

Единственно-должна отсутствовать автокорреляция

Вопрос 41. Сформулируйте теорему Гаусса – Маркова

Пусть матрица Х коэффициентов уравнений наблюдений (6) имеет полный ранг, а случайные возмущения (8) удовлетворяют четырем условиям,

В этом случае справедливы следующие утверждения:

а) наилучшая линейная процедура (13), приводящая к несмещенной и эффективной оценке (11), имеет вид:

б) линейная несмещенная эффективная оценка (19) обладает свойством наименьших квадратов:

в) ковариационная матрица оценки (19) вычисляется по правилу:

г) несмещенная оценка параметра σ2 модели (2) находится по формуле:

Короче говоря, если выполняются 4 условия Гауса-Маркова, то МНК оценки являются несмещенными, состоятельными и наиб. Эффективными среди всех линейных оценок.

Свойства точечных оценок

Несмещенность

Поскольку оценки являются случайными переменными, их значения лишь по случайному

совпадению могут в точности равняться характеристикам генеральной совокупности. Обыч-

но будет присутствовать определенная ошибка, которая может быть большой или малой, по-

ложительной или отрицательной, в зависимости от чисто случайных составляющих величин

х в выборке.

Желательно, чтобы математическое ожидание оценки равнялось бы соответствующей харак-

теристике генеральной совокупности. Если это так, то оценка называется несмещенной. Если

это не так, то оценка называется смещенной, и разница между ее математическим ожиданием

и соответствующей теоретической характеристикой генеральной совокупности называется

смещением.

Формальное определение:

Определение.Оценка qˆn параметра q называется несмещенной, если ее математическое

ожидание равно оцениваемому параметру при любом объеме выборки, т.е.

E(qˆn ) = q .

В противном случае оценка называется смещенной.

Эффективность

Несмещенность — желательное свойство оценок, но это не единственное такое свойство.

Еще одна важная их сторона— это надежность. Мы хотели бы, чтобы наша оценка с макси-

мально возможной вероятностью давала бы близкое значение к теоретической характеристи-

ке, что означает желание получить функцию плотности вероятности, как можно более «сжа-

тую» вокруг истинного значения. Другими словами, оценка должна иметь малую дисперсию. Предположим, что мы имеем две оценки теоретического среднего, рассчитанные на основе

одной и той же информации, что обе они являются несмещенными и что их функции плот-

ности вероятности показаны на рис. 1. Поскольку функция плотности вероятности для оцен-

ки В более «сжата», чем для оценки А, с ее помощью мы скорее получим более точное значе-

ние. Эта оценка более эффективна.

Важно заметить, что мы использовали здесь слово «скорее». Даже хотя оценка В более эф-

фективна, это не означает, что она всегда дает более точное значение. При определенном

стечении обстоятельств значение оценки А может быть ближе к истине. Однако вероятность

того, что оценка А окажется более точной, чем В, невелика.

Мы говорили о желании получить оценку как можно с меньшей дисперсией, и эффективная

оценка — это та, у которой дисперсия минимальна. Таким образом, можно дать следующее

определение:

Определение.Несмещенная оценка qˆn параметра q называется эффективной, если она

имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра q

при заданном объеме выборки n.

Состоятельность

Состоятельной называется такая оценка, которая дает точное значение для

большой выборки независимо от входящих в нее конкретных наблюдений.

В большинстве конкретных случаев несмещенная оценка является и состоятельной. Можно

построить контрпримеры, но они, как правило, будут носить искусственный характер.

⇐ Назад