Профессионалы обязаны надлежащим образом документировать свою работу с пациентами. Однозначные и понятные записи нужны службам экстренной помощи, проверяющим комиссиям и судебным органам, не говоря уже о том, что четкая документация помогает осмыслить многие проблемы и разрешить их. Хотя никаких стандартов ведения записей не предусмотрено, на принципы составления медицинской и психиатрической документации оказала сильное влияние работа Уида [Weed, 1968, 1969).
Психологи, работающие в медицинских учреждениях, как правило, имеют дело с производными или усовершенствованными версиями «Проблемно-ориентированной системы документации по Уйду» (Problem Oriented Record System, PORS). Несомненно, относящаяся к медицинской модели и ориентации на патологию, PORS обладает некоторыми недостатками, когда применяется специалистами, придерживающимися научающего, эволюционного или экологического подхода. Тем не менее PORS требует последовательных шагов и систематического контроля, являясь важным позитивным подспорьем, содействующим эффективной работе клинического предприятия.
В целом PORS можно разбить на четыре основных раздела.
База данных. В базе данных содержатся важнейшие исходные сведения: основные жалобы, имеющаяся патология, психосоциальный анамнез, семейный анамнез и сведения медицинского характера, данные психиатрического обследования, результаты психологического тестирования и т. д.
Перечень проблем. Проблемы нумеруются. Номер остается неизменным по ходу ведения записей, так что перечень проблем по сути является предметным указателем. Вот как может выглядеть перечень проблем, имеющихся у 22-летней стационарной больной: 1) шизофрения: а) неадекватный аффект; б) размытые ассоциации; в) мания величия; г) чрезмерная склонность к разговорам на религиозные темы; 2] отказ от приема лекарств; 3) не работает; 4) не имеет постоянного места жительства; 5) покидает больницу без разрешения (добавлено позже).
Планы представляют собой формулировку стратегии лечения: как будет обработана или осмыслена каждая проблема? Каковы цели лечения и критерии их достижения? Какие методы лечения будут использованы? Какая информация будет сообщаться пациенту?
Контроль. К этому разделу относятся примечания к клиническим записям. После каждого сеанса или лечебной процедуры каждая проблема должна сопровождаться примечанием, которое отражает субъективные или симптоматические данные, объективные или полученные клиницистом данные, оценку прогресса или статуса пациента и план очередного шага в лечении. Контрольные обследования могут дополняться составлением таблиц приема лекарств.
По мере стремительного развития информационных технологий и компьютеризации психологи могут продолжить разработку систем ведения документации по нескольким новым направлениям, в то же время продолжая следовать указаниям Уида, обеспечивающим подотчетность клиницистов при принятии решений и ведении и документации.
б) они должны знать, каким образом знания, полученные социальными науками, используются, а какими — не используются для оказания влияния на социальное программирование; в) они нуждаются в ясной теории ценности, чтобы уметь отличать хорошие программы от плохих; г) они, наконец, нуждаются в способах построения валидных знаний о программах. Авторы предупреждают, что представители бихевиоральных наук должны быть готовы к работе в реальном мире, где руководители программ и законодатели могут оказывать серьезное влияние на получаемые ими результаты. Вероятно, найдутся многие, кто будет рассматривать оценку всего лишь как очередную политическую акцию, которая имеет место в контексте, где власть, идеология и интересы являются более могущественными детерминантами в принятии решений, чем обратная связь, касающаяся самих программ. Наиболее актуальный на сегодняшний день вопрос звучит так: «В каких целях и в какой степени спонсоры по-настоящему хотят проведения оценочных исследований?»
Оценка процесса и оценка результатов
Как и терапевтические исследования, оценка может осуществляться в двух основных направлениях: она может касаться процесса и результата. Оценка процесса задает вопросы и собирает данные о текущих мероприятиях и характере программы, уделяя лишь незначительное внимание ее общей эффективности, и призвана отвечать на следующие вопросы: кто пользуется программой, или кто ею обслуживается? Сколько времени персонал тратит на прямой контакт с клиентами, на ведение записей, на консультирование местного сообщества и т. д.? Как принимаются решения, касающиеся тех или иных проблем? Лица, занимающиеся оценкой, получают данные для процессуальных исследований путем анализа записей, интервьюирования персонала и клиентов, обращаясь к персоналу с просьбой вести дневники, а также другими способами.
Оценка результата подразумевает исследование эффективности программы в достижении поставленных целей. В идеале схема исследования должна обеспечивать произвольное распределение клиентов между лечебными группами и группами сравнения, оценку до и после вмешательства и контрольные проверки, предпринимаемые через какое-то время после завершения участия клиентов в программе. Поскольку этические и гуманитарные соображения удерживают экспериментатора от направления нуждающихся в помощи людей в группу, не получающую лечения или получающую ее в меньшем объеме, чем другие, подлинно произвольного распределения, как правило, достичь не удается. Кроме того, лица, направляющие людей в лечебное учреждение, обычно бывают недовольны, если не знают, получит ли клиент лечение и какой характер оно будет носить. Исследования результатов лечения могут предоставить полезную информацию для практических нужд — например, при распределении клиентов по тем или иным программам. Осведомленность относительно общей эффективности программы должна способствовать и принятию решений, касающихся ее финансирования или продолжения. Процессуальные исследования важны для прояснения того, что фактически происходит в программе. Если программа оказывается очень эффективной и возникает желание повторить ее, исследование фактически осуществленных операций предоставляет необходимую для этого описательную информацию и идентифицирует проблемные области. Поэтому в оценку программы нередко включаются как исследования, посвященные процессу, так и результатам терапии.
Формирующая и суммирующая оценки
Отчасти близкое к только что рассмотренному различение проводится между формирующей и суммирующей оценками (Scriven, 1967). Суммирующая оценка аналогична только что упомянутому исследованию результатов в том отношении, что ее цель — окончательно оценить общую полезность программы. Формирующая оценка, подобно процессуальной, фокусируется на операциях, входящих в программу, но выполняет более важную миссию: она обеспечивает обратную связь по мере решения проблем клиентов, так чтобы программу можно было изменить в соответствии с намеченными целями. Поэтому формирующая оценка требует постоянного мониторинга эффективности. Как явствует из названия, она помогает сформировать, или придать форму программе. (Формирующую оценку напоминает постоянный поведенческий анализ, проводимый в некоторых разновидностях терапии.) Специалист, проводящий формирующую оценку, может работать в нескольких режимах. Разумеется, он должен работать в контакте с проводящим программу учреждением, чтобы четко уточнить ее цели. Кроме того, при мониторинге программы он должен убедиться, что запланированные мероприятия действительно выполняются, и если да, то как именно. Задачей формирующей оценки является идентификация результатов прохождения программы — как достижения поставленных целей, так и непредвиденных побочных эффектов. Как правило, исследователи получают данные непосредственно от клиентов, расспрашивая их о программе и ее эффектах. Демографические сведения о возрасте, поле и этническом составе клиентуры также помогают при описании пользователей программы и установлении того, кому она помогает, а кому — нет. Лицам, занимающимся оценкой, необходимо располагать несколькими источниками, позволяющими судить о достоинствах программы. Обратная связь, предоставляемая потребителями, прошедшими программу, далеко не всегда коррелирует с ее фактическими результатами. Так, например, осужденные за жесткое обращение с детьми могут испытывать негодование за то, что суд приговорил их к прохождению программы, и не давать о ней адекватных отчетов. Иногда в ходе формирующей оценки персонал учреждения просят вести проблемно-ориентированные записи, которые кодируются и вводятся в базы данных. К примеру, таким образом можно обеспечить непрерывное ведение записей о характере пациентов, проходящих через стационар. Формирующее исследование не преследует целью оценивать итоговую ценность всей программы в целом, как это делает суммирующее исследование, и тяготеет к использованию более субъективных суждений, однако формирующая оценка может иметь большое значение с точки зрения разработки программ. Рутман подытожил различия между этими двумя типами оценки следующим образом: «В формирующем исследовании акцент делается на открытии, тогда как оценка эффективности касается преимущественно верификации» (Rutman, 1977, р. 63).
Этапы развития оценочных исследований
Оценка программы означает осмысление системы в целом с её подсистемами и контекстами. Оценивающее лицо сначала должно рассмотреть саму возможность оценки — иными словами, проанализировать систему принятия решений, чтобы проверить, достаточно ли понятна программа, достаточно четко ли сформулированы ее цели, и в достаточной ли степени заинтересованы и настроены на сотрудничество руководство, персонал и клиентура, для того чтобы оценка стала возможной и потенциально полезной. Если перспективы проведения оценки представляются благоприятными, то оценивающее лицо должно четко определить задачи оценки. Помимо очевидных задач оценки необходимо выявлять скрытые намерения руководства и персонала — например, желание воспользоваться исследованием, чтобы «прикрыть» неуспех программы, либо аннулировать или отсрочить нежелательную программу. Затем оценивающий должен сформулировать программу, т. е. идентифицировать ее компоненты. К примеру, программа клинике по оказанию юридической помощи (legal aid clinic) должна включать в себя информирование потенциальных клиентов, предоставление юридических рекомендаций, направление клиентов в соответствующие агентства, просвещение потребителей и представление интересов клиентов в суде. Каждый из этих компонентов должен быть протестирован в процессе оценки. Важным этапом является спецификация целей и ожидаемых эффектов.
Оценивающий должен учитывать не только цели, сформулированные руководством и персоналом, но и другие возможные последствия. Проблема нередко заключается в том, чтобы гарантировать конкретизацию целей: насколько должны увеличиться заработки, на сколько процентов должна повыситься успеваемость в школе или количество оправдательных судебных приговоров. В противном случае результаты трудно измерить точно. Кроме того, помимо результатов необходимо уточнить переменные-прецеденты (входные данные) — те факторы, которые обеспечивают контекст программы и налагают на нее ограничения. Лица, проводящие оценку, выявляют определяющие особенности организации или сообщества по мере того, как те вовлекаются в программу, социальный класс клиентуры, общую атмосферу в организации и характер проблем, с которыми клиенты обращаются за услугами. Кроме того, оценивающий должен уточнить промежуточные переменные — подготовку персонала, реализующего программу, и предполагаемые взаимосвязи между различными компонентами или мероприятиями, входящими в состав программы. На всех этих этапах важную роль играет анализ программных документов и интервью с персоналом и представителями сообщества. Все эти мероприятия помогают определить предмет измерения.
Далее необходимо определить методы измерения и учесть проблемы, сопряженные с проведением измерений, которые будут использованы в оценке. Сначала нужно отобрать валидные методы измерения переменных, выделенных в ходе анализа. Так, например, социальный класс клиентов может быть одной из переменных-прецедентов, однако существует несколько способов оценки-принадлежности к социальному классу, и приходится делать обоснованный выбор между этими методами. Аналогичным образом необходимо тщательно отобрать измеряемые показатели желаемого результата, например, увеличение дохода, более активное участие в жизни сообщества, большая уверенность в себе или уменьшение числа случаев госпитализации. Как мы уже отмечали в главе, посвященной обследованию, определение критериев эффективности является решающим; многие исследования споткнулись на критериальной проблеме. Выбор критериев — нелегкое дело. Возьмем, к примеру, разницу между либеральным и консервативным политическим климатом. Архиконсервативный администратор может желать лишь доказательств того, что прохождение программы позволяет снизить расходы на выплаты людям пособий, тогда как архилиберал может быть заинтересован в счастье и социальной активности клиентов. Специалист, занимающийся оценкой, также должен учитывать надежность и валидность всех показателей. Клинические и социальные психологи разработали множество тестов, шкал установок и других методов измерения, могущих быть использованными при оценке.
По завершении всех этих этапов необходимо разработать схему исследования. Цель этого этапа заключается в том, чтобы получить надежные выводы,
позволяющие говорить о взаимосвязи программы с наблюдаемыми результатами. Как упоминалось выше, экспериментальная схема суммирующей оценки требует предварительного и итогового тестирования групп, сформированных путем#произвольного распределения. Произвольность важна для того, чтобы эксперимент удовлетворял статистическим допущениям независимости, т. е. гарантировал, что как измеряемые, так и неучтенные переменные равномерно распределены по обеим группам. Произвольному распределению во многих ситуациях препятствуют многочисленные административные и этические проблемы, а потому для таких случаев Кук и Кэмпбелл (Cook & Campbell, 1979) предусматривают квазиэкспериментальные схемы.
Как уже упоминалось выше в отношении исследований в целом, в ходе оценочных исследований приходится учитывать две основные проблемы. Кэмпбелл сформулировал их в своей классической статье, посвященной оценке и озаглавленной «Реформы как эксперименты» {Reforms as Experiments, Campbell, 1969). Внутренняя валидность связана с ответом на следующий вопрос: можем ли мы заключить, что программа действительно произвела желаемые эффекты? Единственный способ ответить на этот вопрос — максимально тщательно проанализировать иные возможные, не связанные с программой, причины полученных результатов. Например, если программа проводится в школе, то одинаков ли соци-оэкономический статус детей, участвующих в экспериментальной программе, и детей из группы сравнения? Повлияло ли на них повышенное внимание, оказанное в экспериментальной программе? Оказал ли влияние на результаты выход отдельных детей из программы? Имели ли место такие статистические феномены, как регрессия к среднему (тенденция крайних показателей приближаться к средним)? Особо важной проблемой является рассмотренный ранее эффект плацебо. Кэмпбелл приводит длинный перечень возможностей, подлежащих учету при выявлении альтернативных объяснений получаемых результатов; и оценивающий должен заблаговременно принять во внимание эти возможности и исключить как можно большее их число.
Кроме того, как упоминалось выше в связи с исследованиями в психотерапии, под внешней валидностью понимается возможность обобщения полученных дранных на различные условия, категории людей и временные периоды. Во избежание проблем состав испытуемых должен быть максимально репрезентативным по отношению к популяции, являющейся объектом генерализации.
Сам по себе эксперимент должен проводиться естественным образом в типичной обстановке, с тем чтобы можно было использовать ту же программу повсеместно. Если эксперимент удается воспроизвести в нескольких различных группах и средах, то результаты становятся еще более убедительными. Одно из критических замечаний в адрес лабораторных исследований заключается в том, что они не распространяются на полевые условия. Однако Андерсон, Линдсей и Бушман (Anderson, Lindsay & Bushman,
1999) утверждают (подкрепляя слова свидетельствами, полученными в ходе многочисленных исследований), что социально-психологические эксперименты обладают хорошей внешней валидностыо и не являются исключительно тривиальными. Безусловно, разработка схемы должна также сопровождаться тщательным планированием и консультированием, касающимся обработки и анализа данных. Так как в исследованиях результатов часто приходится оперировать многими переменными, нередко возникает необходимость в многомерном анализе (Spector, 1981); это означает, что должны быть применены статистические процедуры для определения влияния всех наиболее характерных особенностей программы на различные показатели результата.
На заключительном этапе оценки после проведения исследования и получения благоприятных результатов необходимо обеспечить утилизацию и распространение данных. К сожалению, специалисты, занимающиеся оценкой, часто бывают разочарованы весьма скромным влиянием своих напряженных усилий. Важной причиной столь низкой утилизации является неспособность привлечь к разработке исследования руководство учреждений и группы планирования. Во избежание этой проблемы оценщикам следует с самого начала задумываться над тем, как результаты их работы будут приняты организацией, и как будет осуществляться их распространение. Важно также прибегать к помощи лиц, принимающих ключевые решения, вовлекая их в процессы по планированию и интерпретации исследования. • Если программа связана со сферой законодательства и различными факторами политического давления, то проблема формулирования процессов и результатов оценки еще более усложняется. При смене политической администрации, правил или источников финансирования проект может подвергнуться изменениям в самый разгар своего осуществления. Другие проблемы связаны с сопротивлением, которое оказывают организации, не желающие перемен. Особо деликатным является обращение с данными, могущими повлечь за собой сокращение рабочих мест, найм дешевой рабочей силы взамен профессионалов или изменения, касающиеся профессиональных обязанностей сотрудников или «территориальных влияний». Мы должны отметить, что «территориальные войны» (споры о границах систем) между организациями могут быть вызваны несколькими скрытыми причинами, среди которых а) сохранение или приобретение ресурсов или контроля; б) уклонение от роста задолженностей; в) следование внешним приказам с целью создать впечатление об организации, как о более эффективной, при одновременном сдерживании или сокращении затрат.
Мероприятия, связанные с оценкой, варьируют в широких пределах по своему объему и качеству. Любое отдельно взятое оценочное исследование может не включать в себя полный набор перечисленных здесь этапов. При этом каждый из последних сам по себе может являться предметом исследования — например, можно изучать надежность и валидность того или иного критерия результата или
проследить распространение данных. С точки зрения формальных схем исследований, процедуры, которые в реальном мире именуются оценкой, также подвержены значительной вариативности. Отдельные ее разновидности вряд ли можно назвать типичным исследованием. Так, первые руководители программы с участием добровольцев из «Корпуса мира», оказывающих гуманитарную помощь в других странах, уверенно полагались на отчеты журналистов, отправлявшихся за рубеж и изучавших мнения добровольцев, а также на мнения американского и местного персонала об успехах и неудачах проектов. Руководители многих краткосрочных программ — к примеру, семинаров — просят участников лишь заполнить анкету и выразить свое отношение к происходящему. Обычные методы оценки преподавания в колледжах редко выходят за рамки изучения мнений учащихся и педагогов, хотя измерение уровня успеваемости учащихся до и после прохождения курса имело бы большее отношение к оценочным задачам. Оценка — регулярно проводимая процедура, но она редко выполняется систематически, в соответствии с последовательностью этапов, описанной в предыдущем разделе. Безусловно, многие задачи не требуют осуществления столь формализованной и дорогостоящей операции; достаточно бывает ознакомиться с мнениями участников.
На стадиях разработки и реализации проекта по оценке программы необходимо тщательно обдумать этические аспекты этого мероприятия. Как говорилось в главе 3, при оценочном исследовании программ надлежит уважать участников программы, защищать их от нанесения какого-либо ущерба и гарантировать, что исследование действительно «поможет им, не причинив вреда». Помимо защиты испытуемых, участвующих в оценке программы, исследователи должны подтвердить, что обладают уровнем образования, подготовки и опыта, необходимым для адекватной реализации оценки программы и интерпретации полученных результатов. Для дополнительной информации мы призываем читателя вернуться к главе 3 и этическим рекомендациям АПА.
Несмотря на важность оценки широкомасштабных программ, расходующих миллионы долларов на образование, здравоохранение, контроль над преступностью и на другие области деятельности и проблемы, в их отношении трудно подыскать образцовые примеры качественно проведенных исследований результатов наподобие тех, что были описаны выше. Как государственные, так и частные организации неоднозначно относятся к оценке собственной деятельности и редко выделяют достаточные средства для найма и подготовки персонала, необходимого для эффективного исследования своих программ и формулировки выводов, могущих касаться изменений в их социальной политике. Как уже упоминалось выше, в 1965 г., признавая тот факт, что первые пять лет жизни ребенка оказывают особо сильное влияние на его готовность к школьному обучению и успеваемость, правительство США учредило всестороннюю программу дошкольного образования для бедных детей и их семей, названную «Раннее развитие» («Head Start»). Федеральная поддержка в виде грантов побудила все 50 штатов учредить местные программы. Результаты исследований по оценке этой важной формы дополнительного обучения детей в возрасте 3-4 лет несколько противоречивы (Bronfenbrenner, 1975; Rivlin, 1978). В исследованиях, касавшихся детей младшего возраста и младенцев, были получены более впечатляющие результаты. Риппл, Гиллиэм, Чанана и Циглер (Ripple, Gilliam. Chanana & Zigler, 1999) предприняли обзор исследований программы «Head Start» и других дошкольных программ, проводившихся в отдельных штатах, и выявили высокую степень вариативности мероприятий, предлагавшихся различными штатами. Они заключили, что качество и доступность финансируемого государством дошкольного образования для детей из бедных семей зависят от места проживания семьи: «Если дети живут в Джорджии, то им повезло, но если они родились за чертой, отделяющей этот штат от Алабамы, им повезло уже значительно меньше» (р. 341). Тей и Реми (They & Ramey, 1999) констатируют, что качественно составленные программы хорошо зарекомендовали себя, и предлагают сочетать федеральную политику с местной, а также усовершенствовать методы сбора данных и постоянного мониторинга программ.
Любопытный пример весьма характерных результатов оценки приводит Кислер (Kiesler, 1980) — это резюме работы, проведенной Каммингсом и его коллегами (Kiesler, Cummings & VandenBos, 1979) в больницах компании Kaiser-Permanente, штат Калифорния. Эти больницы работают в структуре крупной организации здравоохранения, практикующей предварительную оплату медицинских услуг, в отличие от системы оплаты по факту — различие, которое, судя по всему, сказывается на возможности генерализации результатов. Проведенные исследования говорят о пользе учета такого показателя, как маргинальная полезность (marginal utility) психологической службы — т. е. эффекта от психологического консультирования и психотерапии,возникающего в дополнение к уже оказанным системой здравоохранения услугам. Предполагается, что добрая половина проблем, с которыми люди обращаются к лечащим врачам, имеют в основном психологическую природу, и во многих таких случаях пациентам безосновательно назначается хирургическое, медикаментозное и другие виды лечения, нацеленного на избавление от соматической патологии. Каммингс и его группа собрали базовые данные о пациентах, обращающихся за помощью в учреждения фирмы Kaiser-Peimanente. Они обнаружили, что люди, переживавшие эмоциональный стресс, очень часто прибегали к услугам врачей, и в контексте исследования часть таких людей стала направляться на краткосрочную психотерапию. Исследователи выяснили, что лишь один психотерапевтический сеанс способен сократить востребованность врачебных услуг на 50% в ближайшие пять лет. Если же сеансов было проведено от 2 до 8, то обращение за дорогостоящими врачебными услугами сокращалось на 75%. Кислер сообщает и о других исследованиях,
в ходе которых были получены аналогичные результаты. В частности, такого рода данные и подобные исследования широко использовались с целью создания прецедента и включения психологических услуг в перечень тех, что охватываются системой медицинского страхования. Поддержка таких исследований важна не только потому, что служит на благо профессиональным интересам психологов, но и поскольку их выводы способны оказывать влияние на государственную политику в сфере здравоохранения.