Тема: Основы дисперсионного анализа

Методика проведения дисперсионного анализа.

Формулируем нулевую и альтернативную гипотезы:

Н₀: групповые генеральные средние равны a₁=a₂=…=a_k, а также различие выборочных средних получилось случайно, реального влияния фактор не оказывает

H₁: различие между выборочными средними не случайно и обусловлено влиянием фактора.

2. Задается уровень значимости (например, =0,05 или =0,01)

3. Вычисляются и

Если , то признается нулевая гипотеза

Если , то вычисляется функция (статистика, которая имеет распределение Фишера)

4. После вычисления находится по таблицам критических значений распределения Фишера.

должно соответствовать числам степеней свободы k-1 и k(r-1) соответственно.

5. Сравниваются и . Если < , то при заданном уровне значимости нулевая гипотеза Н₀ принимается и делают вывод, что фактор не влияет существенно на средние значения. Если > , то нулевая гипотеза отвергается и влияние фактора признается существенным.

6. Таким образом, поведение статистики F, являющейся критерием, напрямую связано с принятием или отвержением нулевой гипотезы о равенстве средних, расчитанных по выборкам. Также отметим, что критерий F называют дисперсионным отношением. Результат дисперсионного анализа сводят в таблицу.

Таблица дисперсионного анализа

Источник вариации, дисперсии	Сумма квадратов (отклонений)	Число степеней свободы	Средний квадрат MS
Межгрупповая (фактор А)		k-1
Внутригрупповая (остаточная)		k(r-1)
Общая		kr-1

В случае нескольких факторов идея дисперсионного анализа остается той же (сравнение факторных и остаточной дисперсий), но усложняется.

ОПРЕДЕЛЕНИЕ: Общей суммой квадратов отклонений называют сумму

(3)

где общая средняя для всей выборки объема n.

ОПРЕДЕЛЕНИЕ: Факторной суммой квадратов отклонений называют сумму

(4)

Сумма характеризует отклонения групповых средних.

ОПРЕДЕЛЕНИЕ: Остаточной суммой квадратов отклонений называют сумму

(5)

Сумма характеризует степень рассеяния значений внутри групп.

Смысл введенных SS:

Если фактор А на каком –то уровне оказывает влияние на признак Х, то в выборке, соответствующей этому уровню, он изменяет групповую среднюю, и эта групповая средняя будет отличаться от общей средней тем сильнее, чем больше воздействие фактора. А чем больше различие групповой средней и общей средней, тем больше и величина . Оказывается, имеет место прямая зависимость степени воздействия фактора и величины .

Для введенных сумм квадратов справедливо равенство.

(6)

Для исследования влияния фактора на групповые средние можно использовать найденные суммы квадратов отклонений, однако более удобным представляется переход от SS к средним квадратам отклонений. Средний квадрат принято обозначать MS(Mean Sqare).

-общая дисперсия (7)

где n-1 число степеней свободы, n-суммарное количество значений во всех к группах.

- факторная дисперсия (8)

где к-1 число степеней свободы, к- количество групп (количество уровней фактора)

остаточная дисперсия (9)

где к(r-1) число степеней свободы для , к-количество групп, r-количество значений в каждой группе.

Для вычисления SS формулы можно преобразовать к более простому виду.

где , (10)

(11)

(12)

Пример: Влияние курения на заболеваемость дыхательных путей.

Среди взрослого населения определенной возрастной категории фиксировалось число заболеваний дыхательных путей за два года. Цель исследования статистическое доказательство влияния курения на заболеваемость органов дыхания. Случайным образом были отобраны 3 группы по 4 человека каждая , из них: І-группа-некурящие; ІІ- стаж курильщика до 5 лет, ІІІ группа-стаж курильщика более 5 лет.

Таким образом, исследуемый фактор А-курение, уровни фактора, А₁ А₂ А₃ –стаж курильщика. Отклик на фактор курения –число заболеваний дыхательных путей. Были получены 12 значений количества заболеваний- это значения х_ij , где j-номер уровня фактора (j=1,2,3), i-номер элемента в соответствующей выборке, i=1,2,3,4:

(16)

Предполагаем, что выборка из нормальной генеральной совокупности.

Проведем дисперсионный анализ для установления влияния фактора курения на заболеваемость органов дыхания.

Формулируем гипотезы:

H₀- курение не влияет на заболеваемость органов дыхания

H₁-курение существенно влияет на заболеваемость органов дыхания

2. Для вычисления SS используем формулы (10-12). Предварительно занесем данные (16) в таблицу. Далее непосредственно вычислим и дополнительно занесем в таблицу значения, фигурирующие в формулах (10-12) (Таблица 5)

T₁=1+0+1+2=4

T₂=3+2+2+1=8

T₃=3+4+5+3=15

R₁=1²+0²+1²+2²=6

R₂=3²+2²+2²+1²=18

R₃=3²+4²+5²+3²=59

R=6+18+59=83

Тогда

Таблица 1

Номер испытания	Уровень фактора
A₁	A₂	A₃

	T₁=4 R₁=6	T₂=8 R₂=18	T₃=15 R₃=59	T=27 T²=729 R=83

Найдем число степеней свободы для каждой суммы квадратов MS по формулам (7-9).

Полученные значения занесем в таблицу дисперсионного анализа (таблица 4), в которой также кстати привести наблюдаемое и критическое значения критерия .

Число степеней свободы для : n-1=12-1=11

: k-1=2

: k(r-1)=3(4-1)=9

Составим таблицу

Таблица 2

Источник вариации	Сумма квадратов SS	Число степеней свободы df	Средний квадрат MS
Межгрупповая (фактор А) Случайные отклонения (остаточная)	15,5 6,75		7,75 0,75
Общая	22,25		-

Как видим из таблицы 6, значения критерия , оказалось большим, чем , как при уровне значимости =0,05, так и при =0,01, то есть наблюдаемое значение критерия попало в критическую область, и, следовательно,нулевую гипотезу о равенстве групповых средних нужно отвергнуть. Вывод: фактор курения значимо влияет на заболеваемость дыхательных путей.

АНАЛИЗ ВЫЖИВАЕМОСТИ

ОПРЕДЕЛЕНИЕ: Методы Анализа выживаемости – это методы, применяемые к цензурированнымили, как иногда говорят, неполным данным.

Отметим также, что в этих методах используется так называемая функция выживания.

ОПРЕДЕЛЕНИЕ: Функция выживания - это вероятность того, что объект проживет время больше t с момента начала наблюдения S(t) = P(T>t).

Как правило, вместо этой формулы используют другую S(t) = 1 - P(T<t),

где P(T<t)- это вероятность наступления события (гибели) до времени t.

Свойства функции S(t):

S(t) = 1 t=0;

S(t) = 0 t=.

Рис 4 Функция выживания а) выживаемость низкая, б) выживаемость высокая.

ОПРЕДЕЛЕНИЕ: График функции S(t) называется кривой выживаемости.

Крутой график свидетельствует о низкой выживаемости, пологий- о высокой.

Если исследование полное, т.е. нет цензурированных данных, то функция выживаемости оценивается отношением:

В тех случаях, когда есть цензурированные данные, числитель не всегда может быть определен, и эта формула дает ошибочный результат.

В таких случаях применяют моментный метод Каплана-Мейера

где d_t - число событий (умерших) в момент t, n_t - число наблюдавшихся в момент t. П (большая греческая «пи») — символ произведения.

Наиболее полная характеристика выживаемости – это кривая выживаемости. Обобщенным же показателем является медиана выживаемости.

ОПРЕДЕЛЕНИЕ: медиана выживаемости – это наименьшее время, для которого выживаемость меньше 0,5. Однако если число умерших меньше половины числа наблюдаемых, медиану определить нельзя.

ОПРЕДЕЛЕНИЕ: Описательными методами исследования цензурированных данных –являются построение таблиц времен жизни, подгонка распределения выживаемости, оценивание функции выживания с помощью процедуры Каплана-Мейера. Некоторые из предложенных методов позволяют сравнивать выживаемость в двух и более группах.

Анализ таблиц времен жизни

Наиболее естественным способом описания выживаемости в выборке является построение Таблиц времен жизни.

Техника таблиц времен жизни - один из старейших методов анализа данных о выживаемости (времен отказов). Такую таблицу можно рассматривать как "расширенную" таблицу частот. Область возможных времен наступления критических событий (смертей, отказов и др.) разбивается на некоторое число интервалов. Для каждого интервала вычисляется число и долю объектов, которые в начале рассматриваемого интервала были "живы", число и долю объектов, которые "умерли" в данном интервале, а также число и долю объектов, которые были изъяты или цензурированы в каждом интервале.

Рассмотрим два способа составления таблицы времени жизни: первый – способ Катлера –Эдерера более применим для больших наборов данных, второй – способ Каплана – Мейера для малого числа обследуемых.

Способ Катлера - Эдерера

Интервалы времени	Количество наблюдаемых объектов к началу интервала	Количество событий произошедших в данном интервале времени	Количество выбываний, произошедших в данном интервале времени	Доля наступления события в интервале	Доля выживших в интервале	Комулятивная доля выживших
i	n_i	d_i	w_i	q_i	p_i=1-q_i	S_i=p_ip_i-1…p₁

На основании этих величин вычисляются некоторые дополнительные статистики:

· Число изучаемых объектов

· Доля умерших

· Доля выживших

· Кумулятивная доля выживших (функция выживания)

· Плотность вероятности

· Функция интенсивности

· Медиана ожидаемого времени жизни

· Объем выборки

ОПРЕДЕЛЕНИЕ: Число изучаемых объектов -это число объектов, которые были "живы" в начале рассматриваемого временного интервала.

ОПРЕДЕЛЕНИЕ: Доля исследуемых,для которых событие наступило в i-ом интервале- это отношение числа объектов, для которых событие наступило в i-ом интервале, к числу объектов, изучаемых на этом интервале:

, где w_i-количество выбываний, произошедших в данном интервале.

ОПРЕДЕЛЕНИЕ: Доля выживших,т.е. тех, для которых событие не наступило в i-ом интервале - эта доля равна единице минус доля исследуемых, для которых событие наступило в i-ом интервале: .

ОПРЕДЕЛЕНИЕ: Кумулятивная доля выживших (функция выживания)- это кумулятивная доля выживших к началу соответствующего временного интервала. Поскольку вероятности выживания считаются независимыми на разных интервалах, эта доля равна произведению долей выживших объектов по всем предыдущим интервалам. Полученная доля как функция от времени называется также выживаемостью или функцией выживания [точнее, это оценка функции выживания].

Способ Каплана - Мейера

Момент времени Количество наблюдаемых объектов к моменту времени Количество событий произошедших в данный момент времени Количество выбываний, произошедших в данный момент времени Доля наступления событияе Доля выживших Комулятивная доля выживших

i n_i d_i w_i q_i p_i=1-q_i S_i=p_ip_i-1…p₁

В этом способе первый столбец не разбивается на интервалы, а в нем записываются моменты, в которые произошло хотя бы одно событие.

, , где d_i - число умерших в момент времени i, n_i - число наблюдавшихся к моменту i.

ОПРЕДЕЛЕНИЕ: Медиана ожидаемого времени жизни -это точка на временной оси, в которой кумулятивная функция выживания равна 0.5.
Объем выборки.Чтобы получить надежные оценки трех основных функций (функции выживания, плотности вероятности и функции интенсивности) и их стандартных ошибок на каждом временном интервале, рекомендуется использовать не менее 30 наблюдений.