Регулярный эксперимент. Информация Фишера. Неравенство Рао-Крамера. Эффективные по Фишеру оценки.

 

Регулярный эксперимент:

Пусть x1..xn выборкаиз P(ро)={Pθ :θ€ΘcR}-сем-во однопарам, существ мера μ доминирующая сем-во P(ро) μ>>P(ро) с плотностями Pθ условие регулярности :

Эксперимент (сем-во) наз-ся реулярным если1) Pθ непрерывно дифф-мо по θ 2) В условиях сем-ва допускаются диффер-ное под знаком ∫ :

∂\∂θ∫Pθ(x~)μ(dx)=∫∂Pθ(x~)/∂θ*μ(dx)=0 3) Существ I(θ): I(θ)€(0..∞) ; I(θ)=∫[(Pθ’(x~))2/Pθ(x)]*μ(dx)=∫(Pθ’(x)/Pθ(x))2*Pθ(x)

[pθ’(x)=pθ(x)/∂θ] ; μ(dx)=Eθ[(lnpθ(x~))’]2 ;pθ(x~)=L(x,θ)-ф-ция правдоп. I(θ)-информ Фишера[характеризует наск-ко сильно различаются плотности возле (.)-ки пар-ра θ] С ростом кол-ва наблюдений инфор-ция накапливается

 

Неравенство Рао-Крамера. Эффективные по Фишеру оценки.

 

Пусть X1…Xn – выборка из P ={Pθ: θ є Ĥ R} – семейство однопараметрическое, мера доминирующая семейство P: >> P с плотностями Pθ. Условие регулярности:

эксперимент (семейство) называется регулярным если:

Pθ непрерывно дифференцируема по

В условиях семейства допускается дифференцирование под знаком интеграла.

 

3. I( ) : I( ) (0, )

- функция правдоподобия

- информация Фишера (характеризует, насколько сильно различаются плотности возле точки параметра ).

С ростом количества наблюдений информация накапливается.

Свойства информации.

Теорема: Пусть имеются 2 независимых экспиремента:

P1 ={P1θ, θ є Ĥ} P2 ={P2θ, θ є Ĥ}

Рассмотрим экспиремент:

- т.е. 2 независимых эксперимента

Пусть оба они регулярны : и

Тогда эксперимент общий тоже регулярный, а

Док-во: Пусть исходные семейства были регулярны, тогда по св1 регулярности ρ1 и ρ2 , следовательно

Следовательно свойство 1 выполнено для ρ.

Свойство 2: Рассмотрим

Свойство 3: {сложение информации} Замечание: В условиях регулярного эксперимента ( log L =0

Неравенство Рао-Крамера (теорема).

Оценка δ – разрешенная, если .

{диф-ние под знаком интеграла}

Пусть - регулярный эксперимент, причем - информация Фишера и

- разрешенная оценка, b( ) = - -смещение оценки . Тогда и +

-дает нижнюю границу для оценки (нер-во Крамера)

Следствие: Если - несмещенная, то

Док-во:Отметим . Поскольку - разрешенная

1-е нер-во.

Т.к.

Значение информации в знаменателе характеризует информацию в исх. данных для того, чтобы оценить параметр

Когда бывает равенство в нер-ве Рао-Крамера?

Рав-во достигается в том и только в том случае

(*)

1. Рав-во Коши-Бун-ко, когда (*) пропорц-но x - const но зависит от парам-ра, принимает разные значения

(**) - однопараметрич. экспотенциальное семейство

Т.е. рав-во возможно в случае экспотенц. сем-ва

2. Из (**) берем

Пусть эксперимент регулярен и ; если это условие выполнено, тогда . Покажем

Оценка называется эффективной по Фишеру, если

a) - несмещенная {только в эксп.семействах}

b) -только для правельных пар-ров