Традиционный подход к оценке потенциально большей эффективности нового вида лечения по сравнению с плацебо или лучшим из существующих методов лечения состоит в разработке нулевой гипотезы, предполагающей отсутствие терапевтических преимуществ у экспериментального метода лечения.
Когда в хорошо спланированном исследовании (рандомизированном, без какой-либо предвзятости) сравнивают два вида лечения, любые изменения, скорее всего, можно объяснить различием между препаратами. Оценку достоверности изменений используют для ответа на вопросы: насколько надежны доказательства реальности различий? Могут ли они быть случайными? Тесты на значимость различий позволяют определить величину р (probability - вероятность). Чем меньше значение р, тем надежнее доказательства. В качестве условной границы установлено значение р менее 0,05, определяющее статистическую значимость на уровне 5%. Вместе с тем это не доказывает, есть или отсутствует разница между видами лечения. Реальные различия могут быть не идентифицированы, например, из-за того, что число наблюдений слишком мало, чтобы быть достоверным. Оценка эффекта, полученного от лечения, иногда называемая точечной оценкой, окружена некоторой степенью неопределенности. Один из способов выражения неопределенности заключается в определении 95% доверительного интервала (95% ДИ). Например, обнаруженный относительный риск 0,33 с 95% ДИ 0,15-0,53 означает, что с вероятностью 95% значение истинного относительного риска находится в указанных пределах, и есть 5% шансов, что величина относительного риска лежит вне них. Величина доверительных пределов зависит от числа обследованных, частоты наступления исходов, выбранных в качестве маркеров для оценки эффективности лечения (например, смерть, ИМ или инсульт), и выраженности эффекта лечения. Таким образом, оценка различий между видами лечения более точна в крупных исследованиях, и чем больше группа обследованных, тем уже доверительный интервал. Увеличение размеров выборки в четыре раза приводит к уменьшению 95% ДИ вдвое: р lt;0,05 означает, что 95% ДИ для относительного риска не включает значение 1, а p gt;0,05 значит, что 95% ДИ содержит значение 1.
Размер популяции (число пациентов), включенной в исследование, устанавливают на этапе планирования и исходных предположений. Это называют подсчетом мощности. Он основан на установлении значения коэффициента а (риск ошибки I порядка, ложноположительный результат) - риска обнаружения различий при их отсутствии. Обычно при p lt;0,05 его считают равным 0,05. При риске ошибки II порядка (где р - ложноотрицательный результат; риск необнаружения достоверных отличий при их существовании) р обычно считают равным 0,1 или
2, при этом мощность соответствует 100 (1-р)=80-90%. Подсчет мощности также включает оценку уровня четкости подбора контрольной группы и степень значимости исследования препарата. Оба оцениваемых показателя должны быть реалистичны и клинически значимы, что часто предопределено доступностью данных прошлых исследований.