Что делает тестовое задание хорошим или плохим?

Что делает задание хорошим или плохим? На этот вопрос можно ответить теоретически либо эмпирически; предпочтительно и тем и другим образом.

На теоретическом уровне у нас имеется спирменовский принцип ноегенезиса. (Ноегенезис, если вы помните, представляет собой стимуляцию новых мыслительных операций.) Хорошее задание будет воплощать принцип ноегенезиса, плохое — нет. Так, задание типа «Кармен» относится к «Богеме», как Бизе относится к: Верди/Пуччини/Вагнеру/Штраусу плохое, поскольку оно почти полностью зависит от приобретенных знаний, а не от какой-либо разновидности ноегенезиса; вы либо знаете, что Бизе написал «Кармен», а Пуччини «Богему», либо нет. Разумеется, более вероятно, что это будет знать человек с высоким интеллектом, нежели с низким; но это знание было бы крайним примером кристаллизованного интеллекта и совершенно непригодно для измерения общей интеллектуальной способности. Этот теоретический критерий должен быть подкреплен критерием эмпирическим.

На эмпирическом уровне у нас есть общепризнанное положение Спирмена о том, что, хотя все когнитивные задачи задействуют интеллект для своего решения, делают они это в неодинаковой степени. Одни тесты в большей степени, нежели другие, задействуют для своего решения общие когнитивные способности. Можем ли мы обнаружить эту степень? Разумеется, да. Если все когнитивные тесты измеряют фактор g, но в разной степени, тогда хорошие тесты должны более существенно коррелировать со всеми другими тестами, нежели плохие тесты. Изучение количества коррелирующих между собой тестов или тестовых заданий, за которым следует более технический вид анализа, называемый факторным анализом, должно объективно показывать нам, какие задания хорошие, а какие плохие. В идеале должны допускаться только такие задания, которые отвечают и теоретическому и эмпирическому принципам, однако не все создатели тестов следовали этим принципам, а потому некоторые тесты низкого технического стандарта.

Другие требования

При конструировании правильного теста интеллекта должно выполняться еще несколько условий. Например, тест должен включать задания разного уровня сложности; ясно, что тесты, составленные только из простых или только из сложных заданий, неспособны выявить различия между испытуемыми. Уровень сложности задания может быть измерен путем предъявления его большим группам людей и выяснения процента тех, кто способен правильно решить задачу за отведенный период времени.

Здесь не место обсуждать все остальные требования, предъявляемые к тестам IQ; отметим просто, что выбор тестовых заданий не оставляется на личное усмотрение экспериментатора. Если он желает, чтобы его тест был широко принят, он обязан придерживаться определенных объективных методов, которые гарантируют, что тестовые оценки будут практически теми же независимо от социальной принадлежности или цвета кожи испытуемого.

Таким образом, тесты IQ составляются из большого числа отдельных заданий, различающихся по уровню сложности, различающихся с точки зрения специальных способностей, необходимых для их решения и требующих достаточную степень фактора g для успешного их выполнения. Что измеряют эти тесты? По сути, есть два способа ответа на этот вопрос. Первый связан с внутренней валидностью тестов — их согласованностью друг с другом, — второй — с внешней валидностью. Внутреннюю валидность мы обсудим в этой главе, а внешнюю валидность в следующей.

Внутренняя валидность

Интеллект – это то, что измеряется тестами IQ

Когда психологов спрашивают, что такое интеллект, они иногда говорят (и только отчасти в ироническом смысле), что интеллект — это то, что измеряется тестами интеллекта. Это часто вызывает улыбки на лицах далеких от науки слушателей, поскольку кажется не более, чем тавтологией. Однако в науке определения такого типа — так называемые операциональные определения — встречаются довольно часто; в действительности многие ученые считают, что это единственно приемлемый тип научного определения. Вы определяете понятие в терминах используемых вами способов его измерения и полученных измерений. Такое определение не тавтологично, поскольку полученные измерения имеют своим истоком теорию и могут использоваться для того, чтобы подтвердить или опровергнуть ее. Утверждение, что интеллект — это то, что измеряется тестами IQ, не образует замкнутого круга, так как имеет все шансы быть опровергнутым самими измерениями IQ. Так, если бы мы обнаружили, что тесты интеллекта не коррелируют положительно между собой, мы были бы вынуждены прийти к заключению, что они не измеряют интеллект. Мы сказали бы, что они лишены внутренней валидности.

Если мы намерены определять понятие посредством тестов, которые измеряют его, то, безусловно, необходимо, чтобы тесты обладали внутренней валидностью — чтобы они согласовывались друг с другом. Когда мы говорим, что тест обладает внутренней валидностью, мы имеем в виду, что он измеряет фактор объективно, со степенью погрешности, которая сама может быть измерена, и что он положительно коррелирует с другими тестами, измеряющими тот же фактор. Фактор g относится как раз к таким факторам, хотя на этом этапе мы не можем сказать, что фактор g представляет собой то же самое, что и интеллект в том значении, в каком он понимается обывателем.

Аналогия с теплом

В рамках вопроса об операциональном определении полезно провести сравнение между интеллектом и теплом. С тех пор, как примерно 300 лет тому назад Торричелли сконструировал первый термоскоп, тепло поддается измерению. Но имеется ли у нас адекватное определение тепла, не считая того, что тепло — это то, что измеряется термометрами? Изучение физики показывает, что у нас нет такого определения. Нет одной-единственной теории тепла, но имеется две довольно отличающихся теории — термодинамическая и кинетическая.

Термодинамика имеет дело с абстрактными понятиями чисто количественного типа — температурой, измеряемой термометром, давлением, измеряемым как действие силы на единицу площади, и объемом, измеряемым размерами ёмкости. Ничего в законах термодинамики не сказано о природе тепла. С другой стороны, кинетическая теория тепла, восходящая к Бернулли и его знаменитому трактату по гидравлике, объясняет различия в тепле движением крошечных частиц, из которых состоят все тела и жидкости; чем быстрее движутся эти частицы, тем больше разогревается тело. Это наглядная теория, рисующая картину, которую легко представить. Но даже сегодня многие явления, которые хорошо согласуются с термодинамической теорий, не поддаются объяснению кинетической теорией. Единой теории тепла не существует, и в конечном счете тепло определяется в терминах используемых измерительных инструментов, во многом так же, как и интеллект.

Разные инструменты для разных целей

Конечно, читатель может возразить, что разные типы тестов интеллекта используются для разных целей; можно ли говорить, что все они измеряют одну и ту же характеристику? Но ведь то же самое справедливо и в отношении термометров. Разные типы термометров используются для разных диапазонов температур. Ртуть замерзает при температуре –39°С и кипит (при атмосферном давлении) при температуре 357°С, правда, можно расширить диапазон до 550°С, заполнив пространство над ртутью азотом, который сжимается, когда расширяется ртуть, и поднимает точку кипения. Спиртовые термометры могут использоваться при низких температурах; этиловый спирт кипит при температуре 78°С и замерзает при –115°С, а потому его предпочитают использовать для измерений в полярных регионах.

Высокие температуры обычно измеряются путем измерения лучистой энергии, испускаемой нагретым телом — метод, называемый пирометрией. Пирометры (как радиационного, так и полностью оптического типа) измеряют диапазон температур, отличный от тех, которые измеряются другими инструментами. Термометры сопротивления, использующие уже совсем другие физические свойства, имеют свои недостатки. Существуют еще и газовые термометры постоянного объема, которые зависят от реактивного сопротивления места соединения (спая) двух тонких проволочек, а также многие другие.

Кроме того, разные способы измерения температуры не дают одни и те же результаты. Когда ртутный стеклянный термометр будет показывать 3ОО°С, платиновый термометр сопротивления в том же месте и в то же время будет показывать 291°С! Как написано в учебнике физики для уровня повышенной сложности: «Ни один из них не более «точен», чем другой, и наш выбор измерительного прибора в данном случае произволен, хотя может определяться соображениями удобства».

Большинство людей, принимающих как само собой разумеющееся то, что температуру можно измерить очень легко, точно и объективно, не подозревают об этих сложностях, которые сходны с затруднениями, возникающими при измерении интеллекта. Разные типы тестов адаптированы для разных целей и разных популяций, и они не всегда дают идентичные результаты, точно так же как и разные типы термометров. Это не доказывает, что интеллект нельзя измерить или что наше измерение необъективно или ненаучно; это всего лишь означает, что при измерении интеллекта мы сталкиваемся с теми же проблемами и трудностями, что и при измерении тепла или любой другой физической характеристики.

Дисциплина в своем младенчестве

Можем ли мы идти дальше операционального определения интеллекта или простого утверждения о том, что интеллект — это «общая когнитивная способность»? Если в настоящий момент у нас нет общепринятого определения, это никоим образом не означает необъяснимость самого понятия; то же самое справедливо в отношении практически всех научных утверждений. К примеру, существует три разные теории и определения гравитации. Первая — изначальная теория «действия на расстоянии» Ньютона. Вторая — «полевая» теория Эйнштейна, Третья теория, основанная на квантовой механике, рассматривает взаимодействие физических тел как аналогичное другим фундаментальным силам природы (сильное ядро, слабое ядро и электромагнитная сила) и объясняет тяготение на основе элементарной (а возможно, воображаемой) частицы, гравитона.

То, что у физиков нет окончательной, всеми признанной теории гравитации, не означает, что попытки измерить силу тяготения не были научными и успешными в практическом смысле. Всеми признанные определения появляются в конце, а не в начале научных исследований; даже после 300 лет исследований в области гравитации, проводимых одними из самых блистательных ученых всех времен, простой ответ по-прежнему ускользает от нас. Должны ли мы ожидать большего от ученых, работающих в области психологии (возможно, гораздо более трудной области науки), и к тому же за столь короткий срок? Мы вернемся к определению интеллекта позже и попытаемся уточнить его. Пока же просто сделаем вывод, что абстрактная характеристика g может быть идентифицирована, и мало людей станет оспаривать, что она может быть измерена надежным и объективным образом посредством традиционных тестов интеллекта. Теперь мы должны снова обратиться к вопросу о том, можно ли идентифицировать фактор g с интеллектом в обычном понимании этого слова.