II. Доверительный интервал для дисперсии.
войства оценок максимального правдоподобия.
- Если существует эффективная оценка, то она является оценкой, полученной по методу максимального правдоподобия (МП оценкой или ОМП).
- Если функция правдоподобия имеет единственный достижимый локальный максимум в области , то МП оценка является:
а) состоятельной,
б) асимптотически эффективной,
в) асимптотически нормальной.
ояснения.
Оценка неизвестного параметра является асимптотически нормальной, если она имеет асимптотически нормальное распределение, т.е.:
имеет распределение .
асимптотически эффективна, т.е. .
Величина – это информация Фишера, т.е. количество информации о параметре , заключенное в выборке объема .
Для всех состоятельных и несмещенных оценок параметра всегда выполняется неравенство Рао-Крамера:
, или ,
где , – оценка параметра .
Отметим, что в дискретном случае, т.е. когда выборка получена из дискретного распределения величина равна:
.
Если несмещенная оценка превращает неравенство Рао-Крамера в равенство, то она является эффективной оценкой, т.е.
.
Пример. Можно показать, что оценка математического ожидания нормально распределенной совокупности , , …, , является эффективной.
Имеем: .
Тогда , т.е. .
При этом известно (см. выше), что . Отсюда следует, что и значит оценка является эффективной оценкой математического ожидания для всех нормальных распределений. Аналогично можно показать (проделайте это сами), что оценка является эффективной оценкой для математического ожидания распределения Пуассона и параметра показательного распределения вида .
Доверительное (интервальное) оценивание
Доверительным интервалом (интервальной оценкой) числовой характеристики или параметра генеральной совокупности с доверительной вероятностью (доверительным уровнем или коэффициентом доверия) называется интервал со случайными границами , , который накрывает параметр с вероятностью , т.е.:
.
Итак, и – доверительные границы, равные некоторым статистикам , а – доверительная вероятность, и – уровень значимости. Обычно берут равным , , , .
Для параметрической функции интервальную оценку можно записать так:
.
Таким образом, задача доверительного оценивания состоит в том, чтобы определить границы и для параметрической функции .
Если известна статистика , связывающая параметр и ее точечную оценку , и закон распределения этой статистики , тогда доверительный интервал строят таким образом, чтобы дополнительные интервалы и накрывали с вероятностями . По распределению находят квантили и распределения порядков и , и тогда:
. Найдя обратную функцию для , строго возрастающую по , получим:
, т.е. , . Чем ближе к единице, тем больше длина доверительного интервала.
Здесь , .
Оценки параметров нормального распределения
Рассмотрим выборку , полученную из нормального распределения . Можно рассмотреть отдельно две нормальных модели: в первой неизвестным параметром является , а во второй – , т.е. рассмотрим отдельно модели и . Тогда, для первой модели можно использовать следующую оценку параметра : , а во второй модели оценка параметра будет: .
Если рассматривается модель , то тогда обычно используют оценки: и или .
I. Доверительный интервал для математического ожидания.
Рассмотрим два случая, когда – второй параметр распределения, известен и когда он не известен.
1. Пусть (дисперсия ), известна, т.е. рассматривается модель . Если , то , При этом, случайная величина (согласно центральной предельной теореме) имеет нормальное распределение , а отсюда случайная величина имеет нормальное распределение .
Выборочное распределение случайной величины симметрично относительно параметра , поэтому в таких случаях целесообразно рассматривать доверительный интервал симметричным относительно параметра , т.е. . Из теории вероятностей известно, что для нормально распределенной с.в.
,
где подчинена закону , – функция Лапласа. Тогда
,
где – квантиль нормального распределения уровня . Используя и выделяя в явном виде в формуле слева, получим следующий доверительный интервал для :
,
где – доверительный интервал для . Его можно переписать и так:
.
Отметим свойство квантилей нормального распределения: , т.е. или . Фактически здесь берутся две квантили порядков и , как и было указано выше. Покажем графически расположение этих квантилей на следующем рисунке.
2. Пусть неизвестна. Если распределена по нормальному закону с неизвестной дисперсией , тогда используя оценки и дисперсии (выборочная несмещенная дисперсия), то случайная величина имеет распределение Стьюдента (так называемое -распределение) с степенями свободы. Случайную величину часто называют стьюдентовской дробью.
По таблицам распределения Стьюдента при заданном коэффициенте доверия можно найти квантиль такую, что
.
Отсюда доверительный интервал для имеет вид:
.
Из свойств распределения Стьюдента известно, что уже при это распределение близко к нормальному . В этом случае вместо квантилей -распределения используют квантили нормального стандартного распределения .
Построенные доверительные интервалы для математического ожидания при конечном объеме выборки были выведены в предположении, что генеральная совокупность имеет нормальный закон распределения. При больших объемах выборки, когда , распределение случайной величины (по центральной предельной теореме) асимптотически приближается к нормальному. Тогда построенные в пунктах 1 и 2 доверительные интервалы можно приближенно применять к оценке математического ожидания генеральной совокупности , подчиняющейся произвольному закону распределения.
II. Доверительный интервал для дисперсии.
Пусть генеральная совокупность подчинена нормальному закону . Нужно рассмотреть отдельно два случая, когда (математическое ожидание ) известно и не известно.
1.Пусть известно, т.е. рассматривается нормальная модель , где параметрическая функция . Возьмем в качестве точечной оценки выборочную дисперсию ,т.е. и рассмотрим случайную величину . Имеем: . Здесь случайная величина имеет нормальное стандартное распределение . Известно, что случайная величина имеет -распределение (хи-квадрат) с степенями свободы. Отсюда следует, что статистика также подчиняется распределению хи-квадрат с степенями свободы. Построим доверительный интервал так, чтобы вероятности выхода за интервал слева и справа были бы одинаковы и равны . Тогда
или ,
где , – квантили распределения хи-квадрат с степенями свободы уровней и соответственно. Далее, из формулы выше получим:
,
где – доверительный интервал для дисперсии .
2. Пусть математическое ожидание неизвестно, т.е. рассматривается нормальная модель , где параметрическая функция , а – математическое ожидание. В этом случае в качестве точечной оценки удобно взять выборочную несмещенную дисперсию , т.е. , где . Случайная имеет распределение хи-квадрат с степенью свободы. Поэтому, при заданной доверительной вероятности имеем:
.
Преобразовав здесь неравенство в скобках, получим
,
т.е. доверительный интервал для дисперсии имеет вид:
или , где .
римеры.
1) Проанализировать выборку из нормального распределения, если , , , .
Оценим математическое ожидание :
.
2) Оценим дисперсию выборки, когда , , , , при этом считаем неизвестным, тогда
,
.
Интервальные оценки параметров распределений Бернулли и Пуассона
1. Пусть – выборка из биномиального распределения с неизвестным параметром – вероятностью успеха в одном испытании Бернулли. Здесь – число успехов в схеме Бернулли, ; . По методу максимального правдоподобия проведем поиск точечной оценки . Для функции имеем:
.
Тогда функция правдоподобия равна:
.
Пусть в испытаниях Бернулли успех наступил раз. Найдем оценку вероятности успеха в этих испытаниях. Из формул выше следует, что
– относительная частота успеха в схеме испытаний Бернулли.
По центральной предельной теореме случайная величина имеет асимптотически нормальное распределение . Тогда статистика будет иметь асимптотически нормальное распределение независимо от значения . При больших получим:
.
Отсюда придем к доверительному интервалу с коэффициентом доверия для вероятности успеха в схеме Бернулли:
.
2) Пусть – выборка из пуассоновского распределения с неизвестным параметром . Так как и в качестве точечной оценки параметра обычно берут выборочное среднее, т.е. , то рассматривая случайную величину (которая имеет асимптотически нормальное распределение ) и так как из ЦПТ получим (при больших ):
.
Выполняя преобразования в полученной формуле, придем к следующему доверительному интервалу для параметра :
.