Педагогическое тестирование: Проблемы, заблуждения, перспективы

Джон Равен

Педагогическое тестирование: Проблемы, заблуждения, перспективы

ПРЕДИСЛОВИЕ

Известно, что для лучшего понимания собственных проблем иногда полезно посмотреть на них через призму проблем другого человека. Это утверждение является верным и по отношению к науке. С этой точки зрения книга известного британского психолога Дж. Равена предоставляет читателю прекрасную возможность познакомиться с опытом переосмысления целого ряда ключевых психологических проблем – опытом, родившимся в других культурных и социально-экономических условиях, однако поразительно сходным с характером эволюции отечественной психологии.

Мир меняется. Меняется система ценностных ориентаций и умонастроений в обществе. Меняется и роль психологии, которая вынуждена пересматривать свои базовые категории, методы исследовательской и диагностической работы.

Отличительная черта современного общества – рост интереса к психологическим ресурсам людей, лежащим в основе всех других ресурсных составляющих человеческой цивилизации. Для их описания нужны новые понятия, одним из которых является понятие компетентности. Следует сказать, что многие традиционные психологические понятия, к сожалению, не вполне соответствуют реалиям человеческой жизни. Нельзя же всерьез верить, что определения типа «личность – это совокупность психологических черт», «интеллект – это способность решать тестовые задачи», «креативность – это способность порождать оригинальные идеи» и т. п. имеют какое-либо отношение к психическим механизмам реального человеческого поведения. С этой точки зрения понятие компетентности, как мне представляется, – пример понятия, отвечающего требованиям экологического подхода в психологических исследованиях человека.

Следует подчеркнуть, что предложенная Дж. Равеном трактовка компетентности несколько отличается от привычного для нас значения этого термина. По Равену, компетентность – это специфическая способность, необходимая для эффективного выполнения конкретного действия в конкретной предметной области и включающая узкоспециальные знания, особого рода предметные навыки, способы мышления, а также понимание ответственности за свои действия. Быть компетентным фотографом, ученым, пожарником, учителем, родителем и т. д. – значит иметь набор специфических компетентностей разного уровня (наблюдать, быть глубоко осведомленным в предмете, самостоятельно ставить вопросы, писать деловые письма, доказывать собственную правоту, справляться с межличностными конфликтами и т. п.). Кроме того, Равен говорит о так называемых «высших компе-тентностях», которые – вне зависимости от того, в какой конкретной сфере они проявляются, – предполагают наличие у человека высокого уровня инициативы, способности организовать других людей для достижения поставленных целей, готовность оценивать и анализировать социальные последствия своих действий и т. п.

Природа компетентности такова, что она может проявляться только в органическом единстве с ценностями человека, то есть при условии глубокой личностной заинтересованности человека в данном виде деятельности – будь то выращивание диковинных цветов на дачном участке или исследование строго, определенной темы в области физики.

У Дж. Равена понятие компетентности выступает в качестве ведущего содержательного основания, позволяющего сформулировать четыре важнейших следствия о необходимости:

во-первых, пересмотра взглядов на возможности каждого ребенка, ибо все ученики могут стать компетентными, сделав свой выбор в широчайшем спектре занятий; соответственно учителю нужно научиться видеть каждого ребенка с точки зрения наличия у него уникального набора качеств, важных для успеха в той или иной специальной области;

во-вторых, переформулировки целей образования; на первый план выходит задача развития личности на основе индивидуализации обучения;

в-третьих, изменения методов обучения, которые должны содействовать выявлению и формированию компетентностей учеников в зависимости от их личных склонностей и интересов; в качестве основного дидактического средства предлагается использование метода проектов;

в-четвертых, радикального отказа от традиционных процедур тестирования учащихся и оценивания образовательных программ.

На четвертой позиции следует остановиться особо. В последнее время повсеместное использование отечественными практическими психологами психометрических тестов приобрело характер профессиональной эпидемии. В этом плане книга Дж. Равена, очевидно, позволит более трезво подойти к оценке возможностей тестового инструментария. И хотя Дж. Равен говорит главным образом о критериально-ориентированных тестах (или тестах учебных достижений), его критические суждения с легкостью могут быть спроецированы на традиционные тесты интеллекта. Действительно, традиционные учебные тесты по английскому языку, с точки зрения Равена, не измеряют способности эффективно общаться на этом языке, как, впрочем, и методика Векслера, с моей точки зрения, не измеряет действительных интеллектуальных ресурсов субъекта.

Критику тестирования Равен ведет в очень жесткой манере, отмечая при этом как научные, так и этические аспекты экспансии тестологии в сфере образования. По его мнению, отказ от учета профессионалами того ущерба, который практика тестирования наносит судьбам детей и интересам общества, «является крайне безнравственным» (с.63).

По сути дела речь идет не только о недостаточной валиднос-ти и прогностической надежности критериально-ориентированных тестов как таковых, а о создании психодиагностики нового типа. Новые диагностические методики, – к их числу Дж. Равен относит технику описательных заключений, событийно-поведенческое интервью, процедуру выявления ценностных ожидание-должны отвечать целому ряду принципиально иных требований сравнительно с общепринятыми тестовыми измерениями: быть чувствительными к особенностям приобретаемого опыта (набору компетентностей), который у каждого ребенка будет своим; применяться исключительно при условии создания для данного ребенка адекватной образовательной среды; учитывать его индивидуальные способности, интересы и ценности; фиксировать динамику развития индивидуальных способностей; гарантировать выявление разных типов детской одаренности.

Казалось бы, понятно, что температуру нельзя измерять с помощью циркуля и что ни один врач, измерив температуру больного термометром, не решится ставить диагноз и тем более прогнозировать течение заболевания только лишь на основе показателя количества градусов на шкале используемого им измерительного инструмента. При этом нелепо было бы предъявлять какие-либо претензии к самому термометру, этому замечательному, удобному в применении медицинскому прибору.

Аналогично обстоят дела и в психодиагностике. Обычные психометрические тесты достаточно надежно измеряют конкретные психические симптомы (в виде правильности и скорости решения искусственно сконструированных задач). Однако попытки использовать тесты для оценки интеллектуальных ресурсов личности, прогноза ее интеллектуального развития и уж тем более для селекции детей в условиях школьного обучения иначе, как профессиональным легкомыслием, назвать нельзя.

Важное место в книге Дж. Равена занимают его рассуждения об изменении идеологии системы образования, которая, по его мнению, должна быть нацелена на формирование компетентной личности. Если говорить об этой проблеме в терминах отечественной психологии, то имеется в виду необходимость реализации субъектного подхода в обучении, в рамках которого каждый ребенок наделяется безусловным правом активно выбирать и самостоятельно конструировать свою школьную жизнь. Очевидно, что при этом существеннейшим образом изменяется роль учителя: от трансляции знаний и способов деятельности он должен переходить к проектированию индивидуальной траектории интеллектуального (и личностного) развития каждого ребенка. Следует отметить, что в российской педагогике эта идея в последние годы находит свое активное воплощение в разного рода психологически ориентированных технологиях обучения (см. работы В.Б.Библера, Э.Г.Гельфман, В.В.Давыдова, Л.В.Занкова, С.Ю.Курганова, А.М.Матюшкина, И.В.Нечаевой, Н.Ф.Талызиной, М.А.Холодной, Д.Б.Эльконина, П.М.Эрдниева и др.).

Безусловно, отдельные положения книги Дж. Равена дискуссионны. Это естественно. Если бы какой-либо ученый заранее знал, что с его книгой все будут согласны, то ни писать, ни издавать ее он бы не стал в силу бессмысленности этого мероприятия.

В первую очередь встает вопрос о механизмах компетентности. По-видимому, компетентность не сводится только лишь к накоплению опыта в некоторой узкоспециальной предметной сфере (иначе, где грань между компетентностью, по Дж. Равену, и «профессиональным кретинизмом», по К.Марксу, когда человек фатально и необратимо замыкается в одном определенном виде деятельности?). Поэтому компетентность в широком смысле слова (а именно о такой компетентности говорит Дж. Равен) предполагает общее интеллектуальное развитие личности и, в частности, формирование базовых компонентов ментального (умственного) опыта человека: на уровне когнитивного опыта – механизмов эффективной переработки информации (в том числе понятийных структур), на уровне метакогнитивного опыта – механизмов непроизвольной и произвольной регуляции работы собственного интеллекта, на уровне интенционального опыта – механизмов индивидуальной избирательности интеллектуальной деятельности, позволяющих тонко сбалансировать особенности своего ума с объективными требованиями окружающей действительности. Соответственно в образовательном процессе формирование компетентности должно идти одновременно с интеллектуальным воспитанием учащихся, предполагающим обогащение ментального опыта каждого ребенка в направлении роста его интеллектуальной продуктивности и роста индивидуального своеобразия склада его ума.

Далее, нуждается в обсуждении вопрос о месте метода проектов в системе других методов обучения. Несомненно, метод проектов весьма эффективен с точки зрения формирования у учащихся того набора компетентностей, которые необходимы для успеха их будущих профессиональных занятий. Тем не менее этот метод скорее является формой организации внеучебной деятельности детей. На мой взгляд, стержневая линия психического развития ребенка в школе связана все-таки с его учебной деятельностью. При условии, конечно, что эта деятельность строится на основе реформирования содержания школьных учебных предметов, использования психологически ориентированных технологий обучения с корректной компьютерной поддержкой, изменения статуса школьного учебника и функций учителя и т. д. Дело в том, что стимулирование самостоятельности и инициативы ребенка без контроля со стороны содержания образования и педагогических технологий, ориентированных на выстраивание механизмов интеллектуального поведения, может дать горькие плоды, несмотря на изначально благие намерения сторонников метода проектов.

Наконец, последнее обстоятельство, на которое хотелось бы обратить внимание читателей. Через всю книгу Дж. Равена красной нитью проходит мысль о социальной ответственности профессиональных психологов. По-видимому, наши западные коллеги гораздо дальше нас продвинулись в понимании той деструктивной роли, которую может сыграть в обществе психология. Все, что написано о существовании социального запроса на научно-психологическое «обоснование» законности расслоения людей по признаку их социально-экономического и профессионального положения, предпосылках появления на влиятельных должностях, казалось бы, образованных, но фактически некомпетентных людей и т. п., – все это написано о Британии и ее проблемах. Но когда читаешь книгу, то кажется, что это – о России и наших проблемах. И такое положение дел внушает мне некоторый оптимизм. Ибо если у нас одни и те же проблемы, то психология в перспективе имеет объективные шансы стать не только наукой об общих закономерностях психики, но и наукой о принципах защиты психологических прав конкретного человека (ребенка – в первую очередь).

Поставленные в книге Дж. Равена вопросы, несомненно, заинтересуют самый широкий круг специалистов в области психологии, педагогики, управления образованием и, в первую очередь, в области практической психодиагностики (или, как сейчас многие предпочитают говорить, тестирования). Ибо если спроецировать идеи Дж. Равена на проблему компетентности практического психолога, то следует признать, что у каждого, кто специализируется на измерении тех или иных человеческих качеств, возможность роста его профессиональной компетентности, к счастью, безгранична.

профессор М.А.Холодная

ведущий научный сотрудник Института психологии Российской Академии наук

КРАТКОЕ ИЗЛОЖЕНИЕ

В первой главе этой книги показано, что общепринятые оценочные процедуры не позволяют справедливо судить о наиболее важных результатах любого педагогического процесса, хотя бы в какой-то степени заслуживающего этого названия. Во-первых, выполняемые разными учениками задания слишком отличаются друг от друга, чтобы эти различия могли быть выражены в баллах по любому небольшому числу «шкал». Во-вторых, эти процедуры не позволяют должным образом оценить и отметить учеников, достигших развития компетентностей высокого уровня, таких, как способность к деятельности, достойной называться академической, или научно-исследовательской, или способности общаться, руководить (лидировать), проявлять инициативу и т. п.

Одно из последствий применения подобных процедур оценивания состоит в том, что ни в процессе текущей аттестации, ни при приеме на работу учащиеся не могут получить признание за то, что обладают такими способностями, а учителя – за то, что умеют содействовать их развитию. Другим последствием оказывается невнимание школы к деятельности, необходимой для формирования таких компетентностей. Еще одно последствие состоит в том, что повсеместное применение этих процедур блокирует разработку диагностических и методических средств, необходимых учителям для осуществления тех программ обучения, которые требуются при формировании компетентностей высокого уровня.

Отсутствие адекватных методов оценки привело также к ряду выводов, дезориентирующих образовательную политику и неплодотворных для исследований в этой сфере.

Поскольку наиболее важные результаты педагогических программ – как позитивные, так и негативные – не выявляются с помощью общепринятых способов оценивания, исследования, подобные тем, которые защищает Объединенный комитет по стандартам в сфере образования, не способны определить ни вред, который наносят учащимся многие школы и колледжи, ни преимущества альтернативных подходов.

Тем не менее автор не выступает принципиально против тестирования и оценивания как таковых. Напротив, он подчеркивает, что учителям необходимо уметь выявлять интересы, способности и достижения своих учеников, а руководителям образования – определять, должным ли образом расходуются общественные средства; учащимся же нужна оценка того, чему же они научились в результате учебы. Однако для получения такой информации нужны новые средства измерения и оценки в системе образования.

Во второй главе представлен ряд дополнительных аргументов в пользу жизненной необходимости внедрения новых подходов к этой проблеме. В частности, показано, что без этого мы будем продолжать управлять системой образования, используя тесты, которые не обладают ни конструктной, ни прогностической валидностью и только отвлекают школу от ее главных задач. Так мы никогда не сможем изменить существующую практику, когда непропорционально большое число неподходящих людей занимает влиятельное положение в обществе.

В третьей главе автор раскрывает свое представление о ком-петентностях высокого уровня как о мотивационных диспозициях. Это означает, что такие качества базируются на ценностных приоритетах личности (а не существуют независимо от них). Компетентности высокого уровня включают ряд взаимопроникающих, взаимоусиливающих и взаимозаменяющих компонентов. Для их оценки предлагается двухступенчатая (а не двух-факторная) модель: сначала необходимо выяснить, какого рода деятельностью люди хотят заниматься, а затем – какие компоненты компетентности они в этой деятельности проявляют.

Эти же соображения, но в более формализованном виде представлены в четвертой главе. Они в конечном счете приводят к выводу, что мы должны отказаться от любых попыток различать людей на основании баллов, которые они получают по небольшому числу внутренне связанных «параметров», и, наоборот, принять описательный подход (концептуально имеющий немало общего с химическими формулами), при котором мы различали бы людей по приоритетным для них ценностям, по компетентностям, проявляющимся в деятельности, которая их действительно интересует; а также по тем ценностям, которые подавляет или стимулирует их окружение, по тем интересам и компетентностям, к развитию которых ведет выполняемая ими деятельность.

Пятая глава раскрывает опыт применения этой модели как при оценке обучающих программ, так и при индивидуальной диагностике. Показано, что суждения о ценностях и компетентности людей, основанные на формальных достижениях, содержат менее глубокую и качественную информацию, чем можно получить, если удается проникнуть, что называется, в «головы» людей, то есть выявить их мотивы, представления и переживания. Это можно сделать с помощью полуструктурированных интервью или на основе методики ценностных ожиданий. (Обе методики представлены в данной главе. – Примеч. переводчиков.)

В шестой главе подтверждается валидность полученной таким образом информации: использование предложенных методов позволило зафиксировать, например, различия в эффективности разных программ обучения, которые прежде считались вообще неуловимыми. Эти методы помогли нам показать, что экономический спад в Америке и особенно в Британии (по сравнению, скажем, со странами Тихоокеанского региона) в гораздо большей мере связан с изменением ценностей и способностей реагировать на новую информацию, чем с «провалами» системы образования, на которые с готовностью пеняют отчеты типа «Нация в опасности» и которые так неуклюже и неэффективно пытаются преодолеть с помощью централизованно навязываемых учебных планов и общенациональных программ тестирования.

В седьмой главе показано, что препятствия, которые до сих пор мешают проведению соответствующих исследований и разработок, заслуживают самого серьезного внимания и что реформу следует начинать с университетов. Необходимо, в частности, чтобы университетские преподаватели пересмотрели свои взгляды на природу науки и пути ее развития, а также на способы обучения студентов. Однако, чтобы перестроить свою деятельность в этом направлении, сотрудникам университетов самим понадобятся новые формы компетентности, называемые автором «социально-политическими». Это только подтверждает один из главных выводов автора, а именно: общая компетентность человека в современном обществе в первую очередь зависит от его политической компетентности.

Поскольку сказанное в этой книге в равной мере касается как педагогической практики, так и проблемы оценивания, в нескольких последних абзацах седьмой главы автор попытался собрать воедино концы оборванных по ходу изложения рассуждений и дать читателю ссылки на публикации, в которых эти вопросы обсуждаются более подробно.

ГЛАВА 1

ОГРАНИЧЕННОСТЬ СЛОЖИВШЕЙСЯ ПАРАДИГМЫ ТЕСТИРОВАНИЯ И ПОСЛЕДСТВИЯ ЕЕ ПРИМЕНЕНИЯ

Общепринятые методы измерения достижений учащихся не позволяют оценить результаты передовой педагогической практики

Я начну с того, что на примере одного школьного класса, работа которого наблюдалась в процессе специально организованного исследования, покажу ограниченность общепринятых средств измерения и оценки результатов обучения. Нас попросили провести это исследование, поскольку Инспекция школ Ее Величества – орган, отвечающий за контроль качества обучения в Шотландии, – обнаружила, что, несмотря на все изданные ею приказы и постановления, за последние сорок лет в школах мало что изменилось.[1] Перед нами были поставлены следующие задачи:

• найти несколько примеров новаторской работы педагогов;

• описать работу этих педагогов так, чтобы и другие могли воспользоваться их опытом;

• выявить и описать преимущества используемых ими способов организации учебной работы, чтобы как можно больше родителей, педагогов, учащихся и политиков смогли понять их принципиальную важность и перспективность;

• выявить препятствия, стоящие на пути подобных педагогических нововведений;

• предложить пути их преодоления.

Результаты выполнения этого проекта описаны в книге «Открытая начальная школа» («Opening the Primary Qassroom»[2]). Приведенный ниже пример представляет собой фрагмент этого исследования, но с равным успехом оно могло бы быть проведено в любой из средних школ, работу которых мы изучали в предыдущем проекте, приведшем к появлению моей книги «Образование, ценности и общество: Цели образования, природа и развитие компетентности» («Education, Values and Society. The objectives of Education and the Nature and Development of Competences»[3]).

Учебная деятельность в классе, работу которого я здесь описываю, была необычной во многих отношениях. Но особое значение имеет не сама по себе необычность этой работы, а то, что это один из немногих классов, где обучение действительно было построено в полном соответствии с рекомендациями авторитетных педагогов – от Паркера и Дьюи до современных – и в соответствии с многочисленными правительственными документами.

Работа учащихся была организована в основном в форме междисциплинарных проектов. Эти проекты носили многосторонний и углубленный характер. Учащиеся, объединившись в группы, проводили оригинальные исследования в районе, где расположена их школа. Их работа непосредственно в классе составляла завершающий этап такого исследования. Внутри этих общих проектов многие учащиеся имели персональные задания, свои области специализации и выполняли определенные роли.

Необычной в этом подходе была направленность забот и усилий преподавателя. В отличие от большинства своих коллег учительница, которая вела этот класс, не была сверх меры озабочена выполнением программы (и по содержанию, и по срокам). Вместо этого ее внимание было сосредоточено на компетентно-стях, которые учащиеся могли приобрести, выполняя ту или иную работу. Эти компетентности включали стандартные школьные навыки: чтение, письмо, орфографию и счет. Но при этом они включали также поиск информации, необходимой для достижения цели (такую информацию чаще приходилось добывать в процессе непосредственного наблюдения или общения с людьми, чем путем чтения книг), изобретательность, умение убеждать, руководить (лидерство) и др.

Обсуждение проблем, встающих перед внешней экспертизой такого способа обучения, проще всего начать с тех его аспектов, которые ближе всего к широко обсуждаемым и традиционно оцениваемым целям обучения.

В процессе работы над проектом по изучению окружающей среды один ученик стал специалистом в вопросах распространенности различных видов бабочек в данной местности, их жизненных циклов и взаимоотношений с другими видами. Другой ознакомился с историей определенного типа сельскохозяйственного оборудования: он связал изменения оборудования с последовательным – и относительно автономным – улучшением конструкции этих орудий и технологии обработки стали, с одной стороны, и способами ведения сельскохозяйственных работ – с другой. Третий ученик изучал вопрос о взаимосвязи изменений в сельскохозяйственной технике, способов обработки земли, к которым они привели, и изменений в социальной структуре общества. Четвертый специализировался по проблемам современной социальной структуры района – кто кого знает и о чем они разговаривают. Другие учащиеся изучали изменения в архитектуре и планировке деревни и в занятиях ее обитателей.

Проблемы, которые ставят перед традиционным способом оценивания результаты такого обучения, практически непреодолимы. Усвоенное учащимися специальное знание попросту не может быть выявлено традиционными тестами достижений: конечно, эти учащиеся покажут более низкие результаты, поскольку время, которое другие ученики потратили на отработку навыков, контролируемых этими тестами, они посвятили совершенно другим занятиям. Для справедливой оценки достижений этих учащихся придется разработать совокупность индивидуальных тестов, ориентированных на предмет деятельности каждого из них.

Однако это еще не самая большая проблема, которую такой метод обучения ставит перед современной измерительной парадигмой, доминирующей в образовании и психологии. Например, для первого из упоминавшихся выше учеников более важным приобретением был не сам по себе уникальный запас специальных знаний, а то, что он сформировал некоторые компетентности, необходимые для ученого, исследователя. Среди прочего он научился отмечать признаки, указывающие на то, что он имеет дело с нерешенной проблемой; он развил способность эксплицировать свои догадки и озарения (он даже просыпался по ночам, пытаясь это сделать); он стал изобретать способы наблюдения; он научился замечать то, что раньше никто не замечал; он узнал не только, как добывать необходимую информацию из научных журналов, но и как использовать ее практически; он научился принимать во внимание и оценивать идеи своих одноклассников и даже самых невежественных людей и извлекать из них пользу; он научился писать письма, звонить по телефону, посещать университетских преподавателей, интересующихся той же проблемой; он разговаривал с ними на равных; он оттачивал свои идеи в этих беседах; он узнал, что имеет право сам ставить новые вопросы и отвечать на них, а не только отвечать на вопросы других людей; он научился справляться с огорчениями, вызванными неудачными попытками найти наилучшие способы решения задачи; он научился придумывать способы организации и обобщения полученных данных для сообщения их другим людям – и не только в письменном виде.