Ошибки первого и второго рода
Всякое заключение об истинности или ложности статистической гипотезы достаточно условно. Выборка конечного объема не может отражать всю генеральную совокупность. Если наблюдаемое значение критерия, вычисленное по этой выборке, попало в область принятия нулевой гипотезы, это еще не значит, что нулевая гипотеза обязательно верна. Если число попало в критическую область, это тоже не гарантия справедливости альтернативной гипотезы. Таким образом, применяя процедуру статистической проверки гипотезы, можно совершить одну из двух ошибок.
Ошибка первого рода состоит в том, что будет отвергнута правильная гипотеза Н0. Вероятность этой ошибки равна вероятности попадания случайной величины К в критическую область, то есть равна уровню значимости 
. Наиболее часто уровень значимости принимают равным 0,05 или 0,01. Если, например, принят уровень значимости, равный 0,05, то это означает, что в пяти случаях из ста имеется риск допустить ошибку первого рода (отвергнуть правильную гипотезу).
Ошибка второго рода состоит в том, что будет принята неправильная гипотеза Н0.Чтобы найти вероятность ошибки второго рода, нужно знать закон распределения случайной величины К в предположении справедливости альтернативной гипотезы Н1. Тогда искомая вероятность равна вероятности 
попадания случайной величины К в область принятия гипотезы Н0.
Подчеркнем, что последствия этих ошибок могут оказаться весьма различными. Например, если отвергнуто правильное решение «продолжать строительство жилого дома», то эта ошибка первого рода повлечет материальный ущерб; если же принято неправильное решение «продолжать строительство», несмотря на опасность обвала стройки, то эта ошибка второго рода может повлечь гибель людей. Можно привести примеры, когда ошибка первого рода влечет более тяжелые последствия, чем ошибка второго рода.
Однако во многих случаях экспериментатору достаточно быть уверенным в том, что выдвинутая гипотеза не противоречит опытным данным. В этом случае можно заранее фиксировать вероятность совершения ошибки первого рода, т.е. .
Замечание 1. Ясно, что чем меньше вероятности ошибок первого и второго рода, тем критическая область «лучше». Однако при заданном объеме выборки уменьшить одновременно и невозможно; если уменьшить , то будет возрастать. Например, если принять = 0, то будут приниматься все гипотезы, в том числе и неправильные, т. е. возрастает вероятность ошибки второго рода.
Поэтому более целесообразно выбирать в зависимости от «тяжести последствий» ошибок для каждой конкретной задачи. Например, если ошибка первого рода повлечет большие потери, а второго рода — малые, то следует принять возможно меньшее 
.
Замечание 2. Единственный способ одновременного уменьшения вероятностей ошибок первого и второго рода состоит в увеличении объема выборок.