Статистична гіпотеза і загальна схема її перевірки
Перевірка статистичних гіпотез
Принцип практичної впевненості
Принцип практичної впевненості: якщо ймовірність події А в
даному випробуванні дуже мала, то при однократному виконанні випробування можна бути впевненим у тому, що подія А не відбудеться, і в практичній діяльності вести себе так, начебто подія А взагалі неможлива.
Цей принцип підтверджується всім практичним досвідом людської діяльності. При багатократному повторенні випробувань ми вже не можемо вважати малоймовірну подію А практично неймовірною.
Статистична гіпотеза і загальна схема її перевірки
Означення 4.1Статистичною гіпотезою називається будь-яке припущення про вигляд або параметри невідомого закону розподілу.
Розрізняють просту і складну статистичні гіпотези. Проста гіпотеза, на відміну від складної, повністю визначає теоретичну функцію розподілу випадкової величини. Наприклад, гіпотези «ймовірність появи події у схемі Бернуллі дорівнює 1/2», «закон розподілу випадкової величини нормальний з параметрами а = 0, σ2 = 1» є простими, а гіпотези «ймовірність появи події у схемі Бернуллі знаходиться між 0,3 і 0,6», «закон розподілу не є нормальним» — складними.
Гіпотезу, що перевіряється, зазвичай називають нульовою (або основною) і позначають Н0. Разом з нульовою гіпотезою Н0 розглядають альтернативну, або конкуруючу, гіпотезу Н1, яка є логічним запереченням Н0. Нульова та альтернативна гіпотези представляють собою дві можливості вибору, що здійснюється в задачах перевірки статистичних гіпотез.
Суть перевірки статистичної гіпотези полягає у тому, що використовується спеціально складена вибіркова характеристика (статистика) 
, отримана по вибірці Х1,…,Хn, точний або приблизний розподіл якої відомий. Потім по цьому вибірковому розподілу визначається критичне значення 
— таке, що якщо гіпотеза Н0 вірна, то ймовірність 
мала. Таким чином, у відповідності із принципом практичної впевненості в умовах даного дослідження подію 
можна (з певним ризиком) вважати практично неможливою. Тому, якщо в даному конкретному випадку виявляється відхилення , то гіпотеза Н0 відкидається, в той час як поява значення 
вважається сумісною з гіпотезою Н0, яка тоді приймається (точніше, не відкидається). Правило, по якому гіпотеза Н0 відкидається або приймається, називається статистичним критеріємабо статистичним тестом.
Таким чином, множина можливих значень статистики критерію (критичної статистики) 
розбивається на дві підмножини, що не перетинаються: критичну область (область відкидання гіпотези) 
і область допустимих значень (область прийняття гіпотези) 
. Якщо значення статистики критерію , що фактично спостерігається, потрапляє в критичну область , то гіпотезу Н0 відкидають. При цьому можливі чотири випадки (табл. 4.1).
Означення 4.2 Ймовірність α допустити помилку 1-го роду, тобто відкинути гіпотезу Н0, коли вона вірна, називається рівнем значущості,або розміром критерію. Ймовірність (1 – α) не допустити помилку 1-го роду, тобто прийняти гіпотезу Н0, коли вона вірна, інколи називають оперативною характеристикою критерію.
Таблиця 4.1
| Гіпотеза Н0 | Приймається | Відкидається |
| Вірна | Правильне рішення | Помилка 1-го роду |
| Невірна | Помилка 2-го роду | Правильне рішення |
Ймовірність допустити помилку 2-го роду, тобто прийняти гіпотезу Н0, коли вона невірна, зазвичай позначають β.
Означення 4.3 Ймовірність (1 - β) не допустити помилку 2-го роду, тобто відкинути гіпотезу Н0, коли вона невірна, називається потужністю(або функцією потужності) критерію.
Ймовірності помилок 1-го і 2-го роду (α і β) однозначно визначаються вибором критичної області. Бажано зробити як завгодно малими α і β. Проте це суперечливі вимоги: при фіксованому об’ємі вибірки можна зробити як завгодно малою лише одну із величин — α або β, що пов’язано з неминучим зростанням іншої. Лише за рахунок збільшення об’єму вибірки можливе одночасне зменшення ймовірностей α і β.
Припустимо, що використана для перевірки (тестування) нульової гіпотези Н0 статистика критерію має нормальний закон розподілу 
. В якості критичної області, що відповідає рівню значущості α = 0,05, можна взяти множину областей — таких, що площа відповідних їм криволінійних трапецій становить 5/100 від загальної площі під кривою розподілу. Наприклад (рис. 4.1): [I] — область великих додатних відхилень (при 
); [II] — область великих від’ємних відхилень (при 
); [III] — область великих по абсолютній величині відхилень (при 
, 
); [IV] — область малих по абсолютній величині відхилень (при 
) і т.д. Якій із цих областей віддати перевагу в якості критичної? Нехай із гіпотезою Н0, що перевіряється, конкурує інша, альтернативна, гіпотеза Н1, при якій розподіл статистики критерію нормальний: 
, де a1 > a0 (рис. 4.2). Очевидно, варто віддати перевагу тій критичній області, при якій потужність критерію буде найбільшою. Якщо, наприклад, критична область типу [I], то у випадку гіпотеза Н0 приймається. Але у цьому випадку можу бути вірна конкуруюча гіпотеза Н1 із ймовірністю помилки 2-го роду β. Ймовірність β інтерпретується площею під кривою розподілу 
зліва 
, а потужність критерію (1 - β) — площею РI справа 
. Аналогічно РII, РIII, РIV інтерпретують потужність критерію при критичних областях відповідно II, III і IV типів (на рис. 4.2 площі РI–РIV заштриховані). Очевидно, що в даному випадку є сенс вибрати в якості критичної область [I], тобто правосторонню критичну область, оскільки такий вибір гарантую максимальну потужність критерію.
Вимоги до критичної області аналітично можна записати так:
(4.1)
Тобто, критичну область W варто обирати так, щоб ймовірність потра- пляння в неї статистики критерію 
була мінімальною і дорівнювала α, якщо нульова гіпотеза Н0 вірна, і максимальною в протилежному випадку. Критична область повинна бути такою, щоб при заданому рівні значущості α потужність критерію (1–β) була максимальною. Задача побудови такої критичної області W для простих гіпотез розв’язується за допомогою наступної теореми.
Рис. 4.1 Рис. 4.2
Теорема ( лема ) Неймана-Пірсона
Серед усіх критеріїв заданого рівня значущості α, що перевіряють просту гіпотезу Н0 проти альтернативної гіпотези Н1, критерій відношення правдоподібності є найбільш потужним.
Доведення. Якщо вірна проста гіпотеза Н0, то густина ймовірностей 
визначається однозначно, і функція правдоподібності 
, яка виражає густину ймовірностей сумісної появи результатів вибірки 
, має вигляд: 
.
Аналогічно, якщо вірна проста гіпотеза Н1, то функція правдоподібності 
. В теоремі Неймана-Пірсона розглядається відношення правдоподібності 
(при 
); чим правдоподібніша вибірка в умовах гіпотези Н1, тим більше відношення або його логарифм 
. А критерій цього відношення, виходячи із теореми, і є найбільш потужним серед інших можливих критеріїв.
Використовуючи даний критерій, можна знайти таку константу C
(або ln C = c), що 
.
За допомогою отриманої константи C (або c) визначається критична область W критерію та його потужність.
◄Приклад 4.1Випадкова величина Х має нормальний закон розподілу 
, де а=М(Х) не відомо, а 
=D(X) відомо. Побудувати найбільш потужний критерій перевірки гіпотези Н0: а = а0 проти альтернативної Н1: а = а1> а0. Знайти: а) потужність критерію; б) мінімальний об’єм вибірки, що забезпечує задані рівень значущості α і потужність критерію (1–β).
Розв’язання. Якщо гіпотеза Н0 вірна, тобто 
, то функція правдоподібності має вигляд:
.
Аналогічно, якщо вірна гіпотеза Н1, тобто 
, то
.
Відповідно до теореми Неймана-Пірсона найбільш потужний критерій базується на відношенні правдоподібності . Знайдемо його логарифм; отримаємо: 
.
Для побудови критерію знайдемо таку константу C (або ln C = c), що
. Отриманий вираз для рівня значущості α
можна замінити на рівносильний (враховуючи монотонність функції 
відносно 
): 
. Для визначення 
варто врахувати, що якщо випадкова величина Х розподілена нормально, тобто 
, то її середнє 
також розподілене нормально з параметрами 
і 
, тобто 
. Використовуючи вираз функції розподілу нормального закону через функцію Лапласа, отримаємо
, звідки 
або 
, і значення 
, що визначає границю критично ї області W : 
. Отже, найбільш потужним критерієм перевірки гіпотези Н0: а = а0 проти альтернативної Н1: а = а1> а0 є наступний: гіпотеза
Н0 відкидається, якщо 
; Н0 не відкидається, якщо
.
а) Для знаходження потужності критерію визначимо спочатку ймовірність β допустити помилку 2-го роду — прийняти гіпотезу Н0 коли вона не вірна, а вірна альтернативна гіпотеза Н1, тобто 
або 
: 
Таким чином, потужність критерію: 
б) При заданих ймовірностях помилок 1-го і 2-го роду α і β із виразу для β не важко знайти відповідний об’єм вибірки за формулою:
.►
В залежності від вигляду конкуруючої гіпотези Н1 вибирають правосторонню, лівосторонню або двосторонню критичну область. Так, в розглянутому прикладі ми впевнились, що при конкуруючій гіпотезі Н1: а1> а0 варто було використовувати правосторонню критичну область [I] (рис. 4.1, 4.2). Аналогічно, можна показати, що у випадку Н1: а1< а0 варто використовувати лівосторонню критичну область [II], а при гіпотезі Н1: а1 ≠ а0 — двосторонню критичну область [III].
Принцип перевірки статистичної гіпотези не дає логічного дове-
дення її вірності або невірності. Прийняття гіпотези Н0 варто розцінювати не як раз і назавжди визначений, абсолютно вірний факт, а лише як достатньо правдоподібне твердження, яке не суперечить життєвому досвіду.
В описаній вище схемі перевірка гіпотез базується на припущенні
про відомий закон розподілу генеральної сукупності, із якого випливає певний розподіл критерію. Критерії перевірки таких гіпотез називаються параметричними. Якщо закон розподілу генеральної сукупності невідомий, то відповідні критерії називаються непараметричними.
За своїм прикладним змістом статистичні гіпотези можна поділити на декілька основних типів:
· про рівність числових характеристик генеральних сукупностей;
· про числові значення параметрів;
· про закон розподілу;
· про однорідність вибірок (тобто належності їх одній і тій же генеральній сукупності);
· про стохастичну незалежність елементів вибірки.