Формальное планирование как выбор схем сочетается с обоснованием достоверности или значимости получаемых эмпирических результатов. Выделяют следующие задачи формального планирования исследования: обеспечение валидности эксперимента, обеспечение условий для принятия решений об экспериментальном эффекте, или эффекте действия НП, и применение схем обработки данных, адекватных метрике использованных шкал и способу сбора данных. В узком смысле к «планированию эксперимента» относятся два момента, связанные с учетом последующих статистических решений.
Во-первых, обсуждение вопроса о том, как будет оцениваться экспериментальный эффект. Решение может касаться выбора между мерами связи и мерами различий. Статистические меры связи могут быть использованы для установления ковариации между НП и ЗП, а меры различий могут свидетельствовать об отсутствии различий в значениях ЗП между разными экспериментальными условиями. Соответствующие статистические гипотезы уже не включают предположений о за-конообразном действии НП, а формируются только как гипотезы о сравнении выборочных показателей ЗП (средних, дисперсий и т.д.). При одном и том же экспериментальном плане возможно использование разных планов обработки данных. Вид экспериментальной гипотезы иногда подсказывает, какой способ установления экспериментального факта по выборочным значениям ЗП следует предпочесть. Часто одни и те же данные можно обрабатывать разными способами, чтобы убедиться в преимуществах того или иного способа представления полученных зависимостей.
Во-вторых, установление минимального эффекта, достаточного для вынесения суждения о полученных различиях в экспериментальном и контрольном условиях или наблюдаемой связи между изменениями НП и ЗП. Установление минимального эффекта включает также определение вероятности ошибок первого и второго рода (?- и ?-уровень). Для ?-ошибки принимается общее правило указания процента или возможной вероятности отвергнуть нуль-гипотезу как гипотезу об отсутствии различий или отсутствии связи, когда она верна. Для ?-ошибки в силу ее связи с величиной устанавливаемого эффекта такого общего правила нет.
Для установления экспериментального эффекта не всегда требуются статистические решения. Есть эффекты, о которых говорят, что «они бьют в глаза». Иными словами, изменения в значениях ЗП при сравнении разных экспериментальных условий столь велики, что в силу их «очевидности» отпадает необходимость в использовании статистических критериев для оценки их значимости. Есть и другие эффекты, которые обнаруживаются как неочевидные, но статистически значимые сдвиги в значениях ЗП. Здравый смысл или теоретически обоснованные ожидания позволяют принять решение о том, какие изменения в значениях ЗП можно считать достаточными для вывода о результате действия НП.
Величина минимального эффекта связана с количеством опытных данных, т.е. с числом выборочных значений показателей ЗП. Увеличение выборки (числа испытуемых или числа опытов) может существенно снизить величину эффекта, достаточного для принятия решения о действии НП. Однако величина выборки связана и с решением задач содержательного планирования (контроль фактора времени в связи с утомляемостью испытуемых, контроль репрезентативности выборки по отношению к популяции и т.д.). Поэтому ссылка на статистические таблицы, в которых представлены связи величины минимального различия (значений ЗП) и ?-уровней значимости применительно к использованию конкретных статистических критериев, не может служить достаточным основанием для определения необходимого числа проб или испытуемых.
Содержательные аспекты, связанные с выбором схем, предполагающих последовательные изменения базисных процессов (применительно к тем же самым субъектам) или возможные одновременные измерения переменных в разных группах испытуемых, определяют выбор планов «параллельного» или «последовательного» экспериментирования. Обсуждение типов распределения выходит за пределы психологических знаний, но психолог так или иначе обосновывает применимость их для установления статистических закономерностей в полученных экспериментальных данных.
Последнее касается практически всех видов использования количественной оценки психологических эффектов. Психолог, переходя на уровень проверки статистических гипотез, начинает работать с выборочными значениями переменных и вероятностными моделями для оценки статистических гипотез, обсуждая или как бы вынося за скобки вопрос о применимости соответствующих моделей с точки зрения содержания переменных.
Например, вопрос о приемлемости использования модели случайного распределения применительно к показателям измерения познавательной потребности человека, измеренной с помощью той или иной психологической методики, решается положительно только для того исследователя, который считает соответствующую базисную переменную познавательной мотивации случайно варьирующей в выборке. Если выборка испытуемых такова, что можно «подозревать» более высокий уровень выраженности познавательной мотивации у всех испытуемых, то модель случайного распределения оказывается неадекватной. Психолог может не иметь предварительных данных о виде распределения измеряемых показателей, но в рамках решения вопросов о применимости тех или иных методов статистической обработки данных он становится на определенные позиции выбора статистических критериев. Формальное планирование и здесь включает оценку содержательной интерпретации данных.
Наконец, под планированием эксперимента могут понимать математическое планирование. Оно начинается с выбора математической модели, описывающей события и взаимосвязи между ними, а также включает указанные ранее моменты определения минимальных эффектов и ?-, ?-ошибок при отвержении нуль-гипотез.