Тестирование как способ контроля. Научно-методическая работа

61

Управление образования Брянской городской администрации

Муниципальное бюджетное общеобразовательное учреждение

«Вечерняя (сменная) общеобразовательная школа №12»

при федеральном казённом учреждении

«Исправительная колония №1 УФСИН России по Брянской области»

НАУЧНО-МЕТОДИЧЕСКАЯ РАБОТА:

«ТЕСТИРОВАНИЕ

КАК СПОСОБ КОНТРОЛЯ»

Брянск, 2012

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

В последние годы в российском обществе резко усилилось внимание к проблемам об­разования детей и молодежи. Родителей, учащихся и педагогов интересует не только срок обучения (сколько лет надо будет учиться), но и предлагаемые новации по повышению качества образования (чтобы не надо было думать о репетиторах и платных курсах), по изменению управления школой, по созданию нужного ук­лада жизни детей в школах (ибо практически все школы стали собирать средства с родите­лей) и т. п. В связи с этим появляется множество интерпретаций и домыслов о том, что пред­полагается изменять в жизни школы.

В этих условиях необходимо знать, что же на самом деле, каким образом и когда планируется изменить в нашем образовании.

Прежде всего хочется напомнить, что проект концепции модернизации российского образо­вания рассмотрен и в основном одобрен 29 августа 2001 года на заседании Государственного Совета Российской Федерации под председательством Президента России В.В. Путина. В дальнейшем Концепция модернизации российского образования обсуждалась на заседа­нии Правительства Российской Федерации и утверждена 29 декабря 2001 года Председате­лем Правительства М.М. Касьяновым. В этой концепции определены три основные цели модерниза­ции российского образования:

1. Расширение доступности образования: не­обходимо реализовать комплекс мер, чтобы сделать доступным качественное школьное образование для всех учащихся (с учетом их способностей, а не с учетом финансовых воз­можностей их родителей), в частности, в гим­назиях и лицеях. Это планируется обеспе­чить в том числе путем введения на старшей ступени школы профильного обучения — бес­платного, за счет бюджета.

Расширение доступности высшего образо­вания — это и введение взамен выпускных экзаменов в школе и вступительных экзаме­нов в вузы системы единых государствен­ных экзаменов, которые позволят выпускни­кам школы по более объективным критери­ям поступать в высшие учебные заведения. Процедуры единого государственного экза­мена (ЕГЭ) обеспечивают организационно равные возможности поступления в вузы де­тей из семей с разными доходами, из разных регионов страны; ЕГЭ устраняет разрыв меж­ду школьной программой и требованиями ву­зов; при этом полностью ликвидируется воз­можность коррупции и необъективность ра­боты приемных комиссий вузов.

2. Повышение качества образования. Планиру­ется обеспечить повышение качества школь­ного образования, в частности, разработкой и введением новых стандартов и нового содер­жания школьного образования, путем введе­ния профильного обучения в 9—11 классах средней школы.

Предстоит осуществить также комплекс ме­роприятий по повышению качества высшего образования, которое снизилось в последнее десятилетие в связи с появлением негосудар­ственных (частных) вузов и введением плат­ного образования в государственных вузах, в связи с созданием многочисленных филиа­лов вузов по всей стране с недостаточно ква­лифицированными педагогическими кадра­ми и отсутствием необходимой учебно-мате­риальной базы.

3. Повышение эффективности образования. Это многомерная проблема. С одной стороны, образование — это не только обучение, но и (прежде всего) воспитание. Школа должна в большей мере, чем сейчас, готовить сво­их выпускников к жизни в семье, обществе. Школьные знания должны быть значительно более практико-ориентированными — нужно преодолеть сложившийся на сегодня одно­сторонний, фактологический, подход в ре­ализации школьной программы, когда от школьника требуется в основном запомина­ние фактов, правил, а не освоение возмож­ностей их использования в жизни.

С другой стороны, повышение эффектив­ности образования — это также более эф­фективное планирование структуры прие­ма выпускников 9 и 11 классов школы в учреждения профессионального образова­ния — начального (ПТУ, профлицеи), сред­него (техникумы, колледжи), высшего (ву­зы). Нельзя допустить такое положение, когда 100% выпускников 11 класса школы смогут поступать (на платной или бюджет­ной основе) в высшие учебные заведения, а по окончании половина из них не найдет работы по специальности, ибо обществу по-прежнему будут нужны (и будут высокооп­лачиваемы) кадры квалифицированных ра­бочих, техников¹.

В данной концепции нам следует обратить внимание на изменение формы контроля и учета знаний и навыков учащихся — тестировании.

Данное исследование состоит из двух частей: теоретической и практической.

В теоретической части мы ставим перед собой следующие цели:

— дать определение и выявить особенности тестов;

— проследить общие подходы в разработки тестов;

— подробно рассмотреть и выявить состав тестовых заданий, выделить виды и типы.

В практической части мы ставим перед собой следующие цели:

провести эксперимент по применению тестов на практике;

проанализировать и выявить тенденции в применении тестовых заданий;

выявить достоинства и недостатки данной формы контроля знаний и умений;

проанализировать полученные результаты и дать прогноз об эффективности применения тестирования при контроле и закреплении полученных знаний.

Гипотеза исследования: использование тестирования при проверке и контроле степени усвоения знаний и умений способствует более качественным результатам и направлена на личностно-ориентированное развитие, образование и воспитание учащегося, способствует раскрытию разными типами заданий творческого потенциала тестируемого, выявлению доминирующих черт личности, направленности и интересам ребенка.

Новизна исследования заключается в том, чтобы:

— теоретически обосновать системно-структурный подход в разработке и использовании тестового контроля в соответствии с требованиями государственных образовательных стандартов;

— разработать теоретические основы применения тестовых способов контроля с ведущей функцией обучения и развития, а не контроля;

— раскрыть организационно-педагогические и дидактические условия использования тестовых способов контроля в работе начальных специальных учебных заведений на основе их комплексного применения.

Практическая значимость исследования состоит в разработке рекомендаций, тестовых дидактических материалов и методики их применения с целью обучения и развития учащихся, которые могут быть использованы в работе учебных заведений различного типа для повышения эффективности учебно-воспитательного процесса и обеспечения требований государственных образовательных стандартов.

1. ТЕСТЫ И ИХ ОСОБЕННОСТИ

1.1. Проблематика исследований и методологических разработок

в области проверки знаний

Проблема проверки знаний и умений учащихся очень многогранна. От ее решения во многом зависит успех всего процесса обучения. Эта проблема решалась педагогической наукой в различных аспектах. Ее общедидактические вопросы (функции, принципы, методы, формы устной, письменной, практической, графической проверки знаний, текущего, тематического, итогового контроля) рассматривались в работах С.И. Архангельского, Ш.К.Бабанского, Б.П. Есипова, Т.И. Ильиной, И.И. Кулибабы, Е.И. Перовского, Л.С. Рысс, Г.И. Щукиной и других.

В исследованиях были отмечены контролирующая, обучающая, развивающая, воспитательная функции проверки. Особо выделялись повторительная, закрепляющая и обобщающая функции. Основным достижением дидактики по проблеме проверки знаний и умений учащихся следует считать всестороннее выяснение сущности каждой функции.

Проблеме проверки знаний применительно к методике преподавания общественных дисциплин уделяли внимание многие методисты: А.А. Вагин, Н.Г. Дайри, Б.Г. Карцов, Ф.П. Коровник, П.С. Лейбенгруб, А.И. Страхев, В.И. Ус и другие. Уже в этих работах есть упоминание о возможности применения стандартизированного контроля в процессе проверки знаний по истории. Авторы подчеркивают, что эффективность проверки зависит от использования в системе контроля всего многообразия его приемов. Из этого вытекает недопустимость преувеличения значимости какого-то одного приема проверки.

Вопросам проверки знаний и умений учащихся по обществоведению посвящены специальные главы в общих работах. Этим вопросам уделяли внимание А.В. Дружкова, М.П. Овчинникова, В.И. Загвязинский и другие. Большая роль в формировании и проверке различных умений учащихся по обществоведению в методической литературе придается проблемному обучению (Г.В. Артемьева) и урокам-семинарам (О.Е. Вайнер и В.И. Назуренко, Д.Й. Гурвич, И.Н. Канторович и В.А. Орлов, А.В. Дружкова и М.П. Овчинникова).

Таким образом, вопросам проверки знаний и умений учащихся посвящено значительное количество исследований как в дидактике, так и в методике преподавания истории и обществознания. Но, несмотря на большое число работ разных уровней, это звено процесса обучения имеет все еще нерешенные проблемы. Среди них следует отметить неопределенность в отборе содержания учебного материала, обязательного для контроля, отсутствие четкого определения его целей, структурных элементов знаний и умений учащихся, подлежащих проверке на различных этапах обучения. Требует дополнительных исследований, вопрос о взаимозависимости содержания и средств контроля и проблема сочетания различных приемов проверки.

Традиционные средства и приемы контроля в практике их применения страдают серьезными недостатками, среди которых субъективизм в оценке знаний и умений учащихся, большие затраты урочного времени на проверку в ущерб изучению нового материала и развитию учащихся, трудоемкость проверки. В числе слабых сторон этого звена учебного процесса отмечаются слабая реализация обучающей функции проверки, пассивность большинства учащихся, перегрузка школьников при подготовке к письменным контрольным работай, большой расход времени и сил учителя на их проверку, длительная задержка разбора ошибок после выполнения учащимися письменных работ. К недостаткам относится необходимость оценивать знания учащихся на основании небольшого количества отметок. Отсутствие полкой информации о степени усвоения учебного материала каждым учеником, наблюдающееся при обычной устной проверке, заставляет учителя вести урок, опираясь на выборочные данные, результаты общего наблюдения и свою интуицию.

В 80-90-е годы XX века внимание исследователей и учителей практиков вновь было привлечено к тестовой методике проверки знаний и умений, применявшейся в СССР в 20-30-х годах XX века и используемой широко в современной зарубежной школе.

Основоположником педагогических тестов принято считать Р.Торндайка, так как под его руководством были созданы первые настоящие школьные тесты.

В нашей стране начало составления и применения тестов относится к 1925 году. Первые тесты по обществоведению были выпущены весной 1926 года, тогда же вышла «Дополнительная инструкция к проведению теста обществоведения». Вопросы ставились самые простые, а ответы подбирались не всегда удачно. Вероятность простого угадывания правильного ответа была очень велика.

В этот период времени свои исследования по проблеме тестов стали проводить крупные советские психологи и педагоги М.С. Бернштейн, П.П.Блонский, А.П. Болтунов, Е.В. Гурьянов, Г.С. Костюк и другие. Характерной особенностью этого периода является высокая степень общности подходов к проведению тестовых исследований в психологии, педагогике и социологии. Появились первые работы, посвященные обзору зарубежной литературы о тестах (Н.А. Бухгольц, А.М. Шуберт).

В 1927 году вышла книга А.Н. Дурикина «Метод тестов в применении к обществоведению и современности», которая внесла существенный вклад в теорию тестов и методику их применения в преподавании общественных дисциплин. Автор классифицирует тесты по их форме, комментирует методические трудности, возникающие при составлении тестовых заданий по обществоведению, освещает преимущества тестов, их роль среди других средств контроля. А.Н. Дурикин предложил свою систему тестовых заданий.

Вместе с тем, в работах педагогов и методистов имелась существенная переоценка значения тестов. Чрезмерное увлечение ими в ряде школ привело к отрицанию других средств контроля. Некритически использовался американский опыт составления и применения тестов. Вследствие этого 4 июля 1936 года было принято постановление ЦК ВКП (б) «О педологических извращениях в системе Наркомпросов», в результате которого не только психологические тесты интеллекта, но и предметные надолго были полностью исключены из практики работы школы.

Наши экспериментальные задания ближе к понятию «задание в тестовой форме», чем к понятию «педагогический тест». Они в основном соответствуют требованиям, предъявляемым к заданиям в тестовой форме, но не предназначены для массового тестирования. Создание тестов относится к области высоких научных технологий и требует работы по нескольким направлениям научно-практической деятельности.

Большое внимание в литературе уделяется классификациям тестов, в основе которых лежат различные основания. Предложены классификации по уровню усвоения знаний (В.П. Беспалько); по характеру действий, которые учащиеся должны совершить при анализе вариантов ответов (Т.А. Ильина); по характеру ответа (В.С. Аванесов, И.А. Данилов, В.В. Хубулашвили) и другие.

Анализ имеющихся в литературе типологий, классификаций, в рамках которых создаются системы заданий в тестовой форме, позволяет соотнести их с возможностями и потребностями обществоведческого курса, преобразовать в соответствии с его целями и дидактическими задачами.

Актуальной проблемой является определение критериев качества тестов, главными из которых являются содержательная валидность, надежность, простота и однозначность (В.П. Беспалько, Н.М. Розенберг, В.Л. Рысс).

В конце 60-х - начале 70-х годов XX века в рамках теории программированного обучения появляются работы, которые затрагивали вопросы тестовой проверки знаний учащихся по истории (Г.М. Донской, Н.Ц. Драйцель, А.И. Купцов, М.С. Черный). Несколько позже тестовые задания стали использоваться не только в рамках программированного обучения, но и как самостоятельное средство проверки знаний и умений учащихся.

В 80-90-е годы XX века работа по проблеме составления тестовых заданий и их применения в практике преподавания общественных наук значительно активизировалась. Вышли переводные и отечественные сборники тестовых заданий для различных типов учебных заведений по многим общественным дисциплинам: истории, политологии, экономике. При соответствующей адаптации отдельные задания этих сборников могут использоваться в преподавании школьного обществоведения. Однако качественный уровень многих заданий требует серьезного совершенствования, так как при их использовании недостатки тестовой методики проверки проявляются особенно резко. Составление тестовых заданий в настоящее время носит, как правило, субъективный характер, их предварительная экспериментальная качественная проверка в большинстве случаев не проводится. Таким образом, школа, имея интерес и потребность в применении тестовых средств проверки, на практике часто сталкивается с определенными трудностями в использовании этого средства контроля. Наше исследование — определенный шаг на пути преодоления вышеуказанной проблемы.

1.2. Тесты учебных достижений

Предметом нашего рассмотрения будут тесты, на не все и не всякие, а в первую очередь тесты учебных достижений (другие названия: тесты школьных достижений, педагогические, дидактические и т.д.).

Попробуем определить, что же все-таки представляют собой тесты и тестирование. В одной из работ дается расширенное понимание тестирования, которое, вероятно, является попыткой перенесения прямого перевода с английского языка: «В узком смысле тестирование в педагогике означает использование стандартизованных педагогических тестов для измерения и оценки результатов обуче­ния. В широком же смысле тестирование - это любое испытание с целью выявления и измерения школьных достижений. С этой точки зрения любой школьный экзамен или контрольная по предмету есть тестирование, а совокупность средств и методов, используемых в этом случае, можно охарактеризовать как «системы тестирования» или «тестовые системы». С такой трактовкой трудно согласиться, поскольку, когда разговор идет об устном или письменном традици­онном способе аттестации учащихся, мы говорим: «Устный или письменный экзамен», спрашиваем: «Как ты сдал экзамен?» и даже в том случае, когда испытание проводилось с использованием тестов, мы говорим об экзамене как синониме испытания.

Лексические особенности отмечает B.C. Аванесов: «Понятие «педагогический тест» нужно рассматривать в двух существенных смыслах:

— как метод педагогического измерения;

— как результат применения теста, как метода измерения, со­стоящего из ограниченного множества заданий. Удивительно, что тексты на русском языке тяготеют к первому смыслу, в то время как в большинстве работ западных авторов понятие тест чаще рассмат­ривается во втором смысле»².

Приведем несколько современных словарных определений тес­тов для психолого-педагогической области:

Тест — это объективное и стандартизированное измерение, легко поддающееся количественной оценке, статистической обработке и сравнительному анализу.

Тест — стандартизированные задания, по результатам выполне­ния которых судят о психофизиологических и личностных характери­стиках, а также знаниях, умениях и навыках испытуемого.

Тест — это система заданий, позволяющих измерить уровень разви­тия определенного психологического качества (свойства) личности.

Тест — это специфический инструмент, состоящий из совокупно­сти заданий или вопросов и проводимый в стандартных условиях, по­зволяющий выявить типы поведения, уровень владения какими-либо видами деятельности и т.п.

Тест – стандартизованное, часто ограниченное во времени ис­пытание, предназначенное для установления количественных и каче­ственных индивидуально-психологических особенностей³.

При кажущемся разнообразии эти определения близки между собой. Наиболее существенным для нас представляется то, что тест в психолого-педагогическом понимании этого слова означает провер­ку. испытание, но это не простое установление факта наличия или отсутствия какого-либо качества или свойства. Из приведенных оп­ределений следует, что в состав теста входят тестовые задания, что тест должен быть стандартизирован и что назначение теста — это вы­явление личностных особенностей или приращений.

По мнению B.C. Аванесова «Тест состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекоменда­ций по интерпретации тестовых результатов».

Данное определение представляется вполне корректным, однако, несколько мелким и не совсем точным. Поскольку пра­вила применения должны быть распространены не только на за­дания, но и на весь тест целиком. Если мы включаем в определе­ние «рекомендации по интерпретации тестовых результатов», то мы должны включить и рекомендации по обработке тестовых ре­зультатов.

Мы будем придерживаться несколько иного определения, ав­торство которого принадлежит достаточно большой группе специалистов из различных регионов России, которые в 1997-98 гг. прини­мали участие в работах по согласованию понятийного аппарата тестологии:

Тест – это инструмент, состоящий из квалиметрически выве­ренной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, изменение которых возможно в процессе систе­матического обучения.

Нам кажется, что данное определение достаточно кратко и вме­сте с тем полно отражает состав теста и его целевое назначение.

Вероятно, в начале целесообразно отделить тесты от не тестов. Тест не является аналогией отдельным заданиям, экзаменационным вопросам, анкетам, головоломкам и пр. В его основе лежит специ­ально подготовленный и испытанный набор заданий, позволяющих объективно и надежно оценить исследуемые качества и свойства на основе использования статистических методов, но как это следует из определения не только это.

Формально отделить тесты от не тестов достаточно просто, ис­пользуя приведенное определение: тест в качестве составляющих должен иметь, по крайней мере, три элемента – систему заданий, зафиксированную документально технологию предъявления и отра­ботанную систему проверки обработки и анализа результатов, кото­рые должны составлять единство.

Наше утверждение базируется на достаточно значительном ко­личестве доводов, основные из которых мы приведем.

Тесты как измерительный инструмент используются в боль­шинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными эмпирическими исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельно­сти, включая образование. Тесты не являются универсальным сред­ством, границы использования тестирования достаточно хорошо известны, и это знание дает уверенность в том, что качественно подготовленный и использованный тестовый инструмент даст каче­ственную и надежную информацию, соответствующую реальному положению дел.

Критики недостатков традиционных способов аттестации уча­щихся приведено достаточно много. Основной недостаток — низкая объективность оценивания, о которой говориться уже много лет. Приведем еще несколько доводов. По сведениям А.Н. Кимберга в 1994 году в Москве из 50 тысяч выпускников получили золо­тые медали 110, а в Новосибирске из 8 тысяч - 55. Вполне резонно принять обучение и процедуру проверки работ как одинаковые, а разной только объективность оценивания. Коэффициент объектив­ности, рассчитанный в этой работе для этих городов, составляет 1:0,3.⁴

Подтверждением низкой объективности служит и не умень­шающееся количество обращений родителей в апелляционную (медальную) комиссию. Основанием для этих обращений является необъективность и неоднозначность средств аттестации.

По результатам перепроверки письменных экзаменационных работ (Результаты итоговой аттестации учащихся образовательных учреждений Санкт-Петербурга. 1994/95 учебный год) отмечается, что в школе комиссия выставила 13 двоек, в то время как учитель не выставил ни одной... Средний балл учащихся по части образователь­ных учреждений был подтвержден, по части понижен максимально с 3,59 до 2,76. Эти факты дают основания говорить о крайней необъ­ективности итоговой аттестации выпускников.

Тестирование по­зволяет сделать процедуру оценивания одинаковой для всех учащихся вне зависимо­сти от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Во-первых, тесты оказываются значительно более качественным и объективным способом оценивания, объективность тестирования достигается путем стандартизации процедуры проведения (на всех этапах проведения тестирования невозможно внести субъективную составляющую в оценку) и путем стандартизации и проверки показателей качества заданий и тестов целиком.

Во вторых, тесты – более емкий инструмент — показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, на­выков и пр., а не на констатацию наличия у учащихся определенной совокупности усвоенных знаний. Стандартизированная форма оценки, используемая в тестах достижений, позволяет соотнести уровень достижений учащегося по предмету в целом и по отдельным разделам со средним уровнем достижений учащихся в классе и уровнями достижений каждого из них.

В-третьих, тесты – более объемный инструмент — выполняя тестовую работу, каждый ученик выполняет задания, используя знания по всем темам, изучение которых предусматривала программа. На устный экзамен обычно выносится 2-4 темы, на письменный не­сколько больше.

Четвертым существенным отличием тестов от традиционных методов аттестации работ является то, что это более мягкий инстру­мент, они ставят всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

Тест (и может быть это наиболее важно) — широкий инстру­мент — и с точки зрения интервала оценивания. Если провести ана­логию с прыжками в высоту, то традиционная контрольная работа представит собой не линейку, а палочку, на которой нанесены три риски: 5, 4 и 3. В случае выполнения учеником всех заданий он по­лучает отметку отлично. При этом совершенно не ясно, перепрыгнул он нашу палочку с запасом в два раза или пролетел прямо над ней. То же можно сказать и про нижнюю отметку. Сравнение тестирова­ния и традиционного оценивания можно проиллюстрировать сле­дующим рисунком.

Означает ли тот факт, что если ученик не выполнил ни одного задания, то он ничего не знает? Скорее всего, нет. А означает ли, что ученики, выполнившие верно все задания контрольной работы, имеют одинаковый уровень подготовки — вероятно, что то же нет.

Можно отметить и гуманизм тестирования, который заключает­ся в том, что всем предоставляются равные возможности, а широта теста дает возможность ученику показать свои достижения на широ­ком поле материала. Таким образом, ученик получает некоторое право на ошибку, которого он при традиционном способе оценива­ния не имеет.

Привлекательными оказываются тесты и с точки зрения задач управления. Они дают широкую возможность для варьирования сложности измерительного материала, широты охвата, целевой на­правленности, включения в тест нескольких компонентов структуры знаний, что позволяет создать инструмент, учитывающий самые взыскательные требования управленца. Система показателей качест­ва теста дает возможность оценить то, насколько реально созданный инструмент соответствует этим требованиям, и использовать его строго в соответствии с этими требованиями.

Кроме этого, тесты эффективны с экономической точки зрения.

При тестировании основные затраты приходятся на составление качественного инструментария, то есть носят разовый характер. При увеличении количества аттестуемых эти затраты распределяются на них пропорционально, что приводит к снижению общих затрат.

В основе тестирования лежат достаточно простые, логичные, не противоречащие здравому смыслу правила и законы, которые позво­ляют найти полноценный непротиворечивый ответ на те «почему?», которые возникают у пользователей.

Однако тесты достижений не являются инструментом для опре­деления всего спектра школьных достижений. Определение достиже­ний, например, в социальной сфере необходимо проводить не теста­ми достижений, а специальным инструментом, на решение такой задачи рассчитанным и для этих целей разрабатываемым.

Одним из существенных ограничений применения тестирова­ния школьных достижений являются ограничения, которые накла­дываются на ответы. В силу чего анализ способов решения задач, мыслительных операций, которые использует ученик при решении задач, в большинстве случаев оказываются затруднены, но не невоз­можны.

Однако в рамках существующих ограничений на сегодняшний день метод тестирования является как наиболее мощным, надежным и объективным при решении широкого спектра педагогических за­дач средством, так и наименее теоретически и практически разрабо­танным в нашей стране.

Представляется так же целесообразным отделить инструмент педагогический от психологического. Сделать это можно с доста­точной степенью условности. Можно считать, что педагогические тесты направлены на выявление тех личностных новообразова­ний и приращений, которые получены в результате систематиче­ского обучения, в то время как близкие им психологические – на выявление особенностей, полученных в результате всей жизне­деятельности.

С другими подходами к разделению инструмента, заданий на тестовые и нетестовые мы поговорим, когда будем обсуждать типо­логию тестов и тестовых заданий.

Тесты многообразны, велики по номенклатуре и назначению. Какие из них нам подходят в большей мере? Чтобы ответить на этот вопрос, посмотрим, а какие тесты бывают вообще. Для этого рас­смотрим классификации тестов.

1.3. Классификация тестов

Первое, на чем надо остановиться, рассматривая классифика­цию тестов — это два подхода, которые в настоящее время сложились в тестировании — тесты, ориентированные на критерий (критериально-ориетированные) и тесты, ориентированные на нор­му (нормативно-ориентированные). Появившись как разные подхо­ды к анализу результатов тестирования, отражающие разные осно­вания для сравнения, сейчас эти два подхода определяют, как мы увидим позже, разницу на большинстве этапов создания теста.

Понимание критериальный и нормативной ориентированности как разных подходов к интерпретации результатов мы находим у B.C. Аванесова.

С точки зрения интерпретации результатов: «Для критериаль­но-ориентированной интерпретации вывод выстраивается вдоль логической цепочки: задания - ответы — выводы о соответствии испытуемого заданному критерию».

«Для нормативно-ориентированной ориентации вывод дост­раивается рейтингом: задания — ответы — выводы о знаниях испы­туемого — рейтинг, понимаемый как вывод о месте или ранге испы­туемого»⁵.

Описание этих двух подходов в своей схематичной форме впол­не отражает смысл разницы в интерпретации.

Ранее автор вводит и третий подход. Предметно-педагогический подход к интерпретации, где вывод выстраивается вдоль логической цепочки: содержание учебной дисциплины — гене­ральная совокупность задания для измерения знаний — тест как вы­борка заданий из этой совокупности — ответы испытуемого — веро­ятностный вывод о его знаниях учебной дисциплины.

Представляется, что этот третий подход лежит в иных класси­фикационных отношениях с первыми двумя. Сущностным основа­нием для выделения этого вида служит факт возможности оценки ученика по предъявлению части заданий генеральной совокупности тестов, в то время как у первых двух подходов сушностным основа­нием является способ интерпретации результатов. То есть вероятно­стный вывод о знаниях учебной дисциплины на основе ответов уче­ника на часть заданий теста из генеральной совокупности заданий может быть сделан как на основе соответствия заданному критерию, так и на основе ранга испытуемого.

Кроме этого непонятной является связь между языком описа­ния, личностью интерпретатора и ориентацией анализа. Почему предметно-педагогический подход к интерпретации ведется «педагогами на языке учебной дисциплины», критериально-ориентированная интерпретация ведется «преимущественно работ­никами органов управления образованием на языке учебной дисци­плины», а нормативно-ориентированная интерпретация «ведется на языке тестологии»? Вероятно, есть смысл говорить о разных языка описания для двух (критериально- и нормативно-ориентированных) подходах, когда один подразумевает использова­ние статистики, а другой нет, или о преимущественных сферах ис­пользования результатов в одном случае более ценных для педагога, а в другом для управленца. Достаточно странно выглядит предполо­жение о том, что анализ качества усвоения учебного материала и па­раметры достижения критериев в меньшей степени интересуют управленцев, нежели результаты, полученные учениками относи­тельно места в группе.

Попытаемся разобраться в данном вопросе, основываясь на ра­боте Н. Гронлунда.

В самом общем виде основанием для сравнения в тестах, ориен­тированных на норму, являются результаты, полученные при предва­рительном тестировании группы учащихся, репрезентативной для ка­кой-то общности. Например, предположим, что тест по математике для итогового тестирования учащихся 8-го класса, занимающихся по программам углубленного изучения историко-краеведческих дисцип­лин, состоит из 70 заданий. Среднее количество заданий, с которыми справились учащиеся этой выборки, составило 33. Используя этот ин­струмент, мы провели тестирование учеников класса сходного профи­ля и выяснили, что ученик Петров справился с 33 заданиями. Оцени­вая этого ученика на основе нормы, мы можем сказать, что половина учеников справляется лучше, чем он, а другая половина – хуже. Ана­логичную по подходу оценку можно дать и для остальных учащихся, которые выполнили другое количество заданий. Более подробно, ка­ким образом даются эти оценки и как возможно выставление кор­ректной оценки в школьных баллах, мы рассмотрим в разделе «Нормирование». Сейчас для нас важно, что оценка в рамках этого подхода дается на основе предварительно полученных статистически обоснованных норм. Возможен и еще один способ, когда оценка дается относительно места ученика в группе (пятый из 40 или 27 из 150 и т.д.), в этом случае нет необходимости получения предварительных норм, но и отсутствует возможность получения корректного сравнения для разных групп, поскольку результаты будут зависеть от состава группы.

Характеризуя подход, ориентированный на критерий, Н. Гронлунд пишет: «Результаты второго типа тестов обрабатывают­ся с точки зрения специальных знаний или навыков, которые сту­дент может продемонстрировать (например, «он может определить все части микроскопа и продемонстрировать их правильное использование»). Он дает возможность определить, что каждый ученик мо­жет сделать с точки зрения конкретной задачи, не соотнося его дей­ствия с действиями других членов группы»⁶. Критерий определяется на основе экспертного оценивания как по номенклатуре, так и по критическому уровню. Например, специалисты по русскому языку создают тест для оценки уровня владения определениями по теме «Части речи». Они выясняют, какие определения включить, как оценивать ответы и тот уровень, превысив который можно считать, что ученик владеет определениями в достаточной степени. Напри­мер, они определили, что достаточным является включение в тест 18 определений, при этом они также определяют, что для получения положительной оценки достаточно правильно дать ответ на 12 из них. С точки зрения оценки, этот подход дает оценку только по ди­хотомической шкале: справился – не справился, прошел – не про­шел, зачет-незачет и т.д. Этот подход имеет и еще один, может быть, не менее важный аспект, чем оценка ученика. Это – широкие воз­можности для описания тех задач, с которыми ученик справляется, тех задач, с которыми справляется меньше всего учащихся. Наличие и реализация такой возможности, с педагогической точки зрения, наиболее существенное отличие критериально-ориентированного тестирования.

Нельзя сказать, что возможность анализа того материала, с ко­торым лучше или хуже справляются ученики, невозможна в рамках подхода, ориентированного на норму. Однако, реализуя задачу мак­симального разнообразия оценок в рамках подхода, ориентирован­ного на норму, мы отбираем задания, которые дают максимальный разброс в оценках испытуемых, отбраковываем задания, с которыми справляются все учащиеся или с которыми не справляется ни один из учеников, поскольку они, с точки зрения оценивания учеников неинформативны. Однако, когда вопрос касается анализа усвоения элементов учебного материала, то задания, с которыми справляются все или не справляется никто становятся для нас чрезвычайно важ­ными. Мы можем утверждать, что данный учебный элемент не осво­ен никем, а данный освоен всеми учащимися. Таким образом, кри­териально-ориентированные тесты дают возможность реализовать широкие диагностические возможности в отличие от тестов, ориетированных на норму.

Завершая рассмотрение двух подходов к тестам, приведем сравнительную таблицу.

Таким образом, приступая к построению системы тестирования, мы должны определить те цели, которые мы преследуем и вы­брать соответственно им подходы и область применения планируемого тестового инструментария.

Вариант и способ создания тестов будут зависеть и от того, как широко мы планируем использовать создаваемый тестовый инстру­мент. Более подробно мы остановимся на этом аспекте в следующем разделе.

К настоящему времени сложилась практика организации различных видов тестирования, требующих соответственно разных тестов, попытаемся представить наиболее полную классификацию тес­тов, в которой кроме учебных достижений представлены и другие виды тестов, в частности различные психодиагностические тесты. Это сделано для того, что бы представить себе место тестов учебных достижений в общей структуре имеющихся на сегодня видов тестов, дать возможность для обогащения практики тестирования учеников за счет использования иных возможностей, которые могут появиться на стыке различных видов и типов тестового инструментария.

Таким образом, кроме приведенных подходов, тесты можно классифицировать по целому ряду оснований.

1. По процедуре создания могут быть выделены стандартизиро­ванные и не стандартизированные тесты.

Стандартизируются процедура и условия проведения тестиро­вания, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и ми­нимизировать случайные ошибки и погрешности как на этапе про­ведения, так и на этапе обработки результатов и интерпретации дан­ных.

В образовании можно выделить ряд задач, которые могут быть решены не стандартизированными тестами. Однако для целей ито­говой аттестации учащихся можно использовать только стандарти­зированный тестовый инструмент.

2. По средствам предъявления:

— бланковые (тесты «бумага и карандаш»), эти тесты в свою оче­редь можно разделить на два вида:

а) с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;

б) с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий;

— предметные – в которых необходимо манипулировать мате­риальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;

— аппаратурные — тесты с использованием устройств для изу­чения особенностей внимания, восприятия, памяти и мышления;

— практические — появившиеся относительно недавно эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.), однако снабженные соответствующими инструкциями и имеющие тестовое оснащение);

— компьютерные.

Кроме этого B.C. Аванесов предлагает в рамках компьютерного тестирования выделить еще адаптивные тесты — задания, в которых предъявляются по одному, в зависимости от ответа испытуемого на предыдущий вопрос⁸. Вероятно, в этом есть смысл, поскольку большинство тестов предполагает предъявление конечного набора во­просов испытуемому и не предполагает зависимости от ответа на предыдущие вопросы. Вероятно, можно предположить возможность использования адаптивного тестирования и вне компьютерного предъявления.

Каждый из способов предъявления имеет свои плюсы и мину­сы. Компьютерные очень быстрые, однако они провоцируют слу­чайные ошибки и не оставляют исходных результатов на случай апелляции, что ограничивает их применение для аттестации учащих­ся. Бланковые позволяют экономить на бумаге, удобны для пере­сылки, лают возможность сканирования для обработки результатов, но при этом также не дают исходных результатов и провоцируют случайные ошибки, поскольку требуют наличия навыка работы с бланком. Кроме этого, необходимость проведения черновых записей провоцирует испытуемых на использование незаконных способов выполнения работы. Наиболее качественные результаты могут быть получены с использованием тестовых тетрадей, но при этом возни­кает проблема ввода результатов для обработки и необходимость до­полнительных расходов на печать самих тетрадей.

Для нужд образования подходит любой из этих способов, при этом нужно помнить об одном – предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, полученные в результате разных способов предъявления.

3. По направленности, т.е. по тому, что именно предполагается изучать с помощью данного теста:

— тесты интеллекта, выявляющие особенности последнего;

— личностные тесты, с помощью которых изучаются особен­ности личности испытуемого, помимо его интеллекта включая тесты мотивов (то же, что и тесты динамики), предназначенные для диаг­ностики мотивационно-потребностной сферы личности, позволяю­щие определить, на что направлена активность индивидуума и ка­ким образом осуществляется им саморегуляция поведения, тесты настроений и состояний, направленные на изучение временных со­стояний, таких, например, как эмоции;

— тесты достижений.

4. По характеру действий:

— вербальные (связанные с необходимостью произведения умст­венных действий – словесно-логические тесты, вопросники на про­верку знаний, установление закономерностей и пр.);

— невербальные (практические), связанные с практическим ма­нипулированием предметами – карточками, блоками, деталями.

5. По ведущей ориентации:

— тесты скорости, содержащие простые задачи, время решения которых ограничено настолько, что ни один испытуемый не успевает решить все задачи в заданное время;

— тесты мощности или результативности, включающие труд­ные задачи, время решения которых либо вовсе не ограничено, либо мягко лимитировано. Оценке подлежит успешность и способ реше­ния задачи. Близкими к тестовым заданиям такого рода, в качестве примера можно привести задания для письменных итоговых экзаме­нов за курс школы;

— смешанные тесты, которые объединяют в себе черты двух вышеперечисленных. В таких тестах представлены задачи различ­ного уровня сложности, от самых простых до очень сложных. Время испытания в данном случае ограничено, но достаточное для реше­ния большинства предлагаемых задач определенной группой обсле­дуемых. Оценкой в данном случае служат как скорость выполнения заданий (количество выполненных заданий), так и правильность решения.

Эти тесты наиболее часто применяются на практике, к ним от­носится большинство тестов школьных достижений.

6. По степени однородности задач:

— гомогенные, имеющие, как правило, одну шкалу, которые по­зволяют оценить одно свойство или качество личности и включают задачи, сходные по характеру, но различающиеся конкретным со­держанием;

— гетерогенные (многоразмерные), имеющие несколько шкал, которые позволяют оценить разнообразные характеристики лично­сти и включают задания, отличающиеся и по характеру, и по содер­жанию⁹.

B.C. Аванесов приводит иную классификацию по данному ос­нованию. Первая часть определения (гомогенные и гетерогенные тесты) существенно не отличается от приведенной нами: гетероген­ный тест соответственно определяется как предназначенный для измерения «уровня подготовленности учащихся по нескольким учебным дисциплинам и (или) свойствам личности». Но он вводит еще один вид тестов в данном классификационном основании — «интегративный», направленный на оценку «общей подготовленно­сти выпускника образовательного учреждения». По мнению автора, он отличается от гетерогенного теста особым содержанием заданий, а коль это так, то и классификация тестов по этому основанию должна быть перенесена на классификацию тестовых заданий, по­скольку по своей сути он является обычным гетерогенным тестом¹⁰.

7. Объективные тесты - тесты, объективность оценки резуль­татов которых обусловливается тем обстоятельством, что в процессе обработки результатов тестирования не предусматривается использование их субъективных толкований тестирующим, к этой группе тестов относятся тесты школьных достижений.

C другой стороны выделяют проективные тесты — совокупность, методик, разработанных в рамках проективного подхода в психоло­гии, и характеризующихся неопределенностью, неоднозначностью используемых в ходе тестирования стимулов (стимулы тестов рас­сматриваются как экран, на который тестируемый проецирует свой­ственные ему потребности, внутренние конфликты, способы защи­ты своего «Я»), что допускает чрезвычайно большое разнообразие ответов и проявление определенной субъективности при их толко­вании тестирующим.

8. Широкоориентированные (для тестов в системе образования), позволяющие оценить эффективность процесса обучения по степе­ни реализации одной из его основных целей, то есть степени освое­ния учащимися системы знаний, умений и навыков в ходе учебного, процесса; узкоориентированные, направленные на выявление достижений | учащихся в процессе освоения отдельных предметов, отдельных тем и т. д.

9. По целям использования (только для тестов в системе образо­вания, эта классификация и пояснения к ней приведены по соответ­ствующему разделу книги Нормана Е. Гронлунда):

— знаний или поведения студента в начале обучения (определяющий тест);

— прогресса, достигнутого в процессе обучения (формирующий тест);

— трудности обучения и их источники во время процесса обуче­ния (диагностический тест) или

— основные достижения в конце обучения (суммирующий тест).

Принципы и механизмы разработки одинаковы для этих видов тестов, но содержание материала, включенного в тест, и степень сложности вопросов должны соответствовать целям тестирования.

Предварительный определяющий тест предназначен для оценки начальных способностей, обычно является несложным и охватывает очень небольшой диапазон знаний. Он может затрагивать минимум базовых знаний по теме обучения или другой ограниченный набор требуемых знаний. Он практически не отличается от суммирующего теста, даваемого в конце курса или раздела обучения.

Формирующий тест, используемый для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, например, раздел или главу, и с его помощью делается попытка оценить все важные результаты данного сегмента. Акцент делается на оценке степени владения материалом изучаемых задач и обеспечения об­ратной связи со студентом по корректировке отдельных ошибок в тех областях, в которых они не достигли успехов. Таким образом, фор­мирующий тест состоит из серии отдельных тестовых вопросов, все­сторонне охватывающих ограниченную область обучения. Он разра­батывается таким образом, что ученику даются конкретные инст­рукции для исправления обнаруженных в результате теста ошибок. В связи с тем, что данные тесты являются обучающими тестами, они обычно менее сложны, чем суммирующие тесты, даваемые в конце процесса обучения.

Диагностический тест содержит относительно большое число вопросов, имеющих отношение к конкретной тестируемой области. В связи с тем, что целью теста является определение трудностей обу­чения, внимание фокусируется на ответах учащихся на конкретный вопрос или группу вопросов, и общий балл имеет второстепенное значение. Этот тест обычно больше фокусируется на распростра­ненных ошибках, которые делают студенты, чем на попытке широ­кого отбора ожидаемых результатов обучения. В связи с тем, что данного типа тесты разработаны для тех студентов, у которых есть проблемы в обучении, они обычно имеют очень невысокий уровень сложности.

Суммирующий тест разрабатывается для оценки широкого диа­пазона результатов обучения, ожидаемого в конце учебного процес­са. Сложность и представительность выборки являются важными аспектами данного теста в связи с тем, что результаты используются для простановки баллов и определения степени достижения задач курса обучения. Для того чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест обычно содержит вопросы, которые представляют более высокий уровень сложности, чем дру­гие виды тестов.

Для нужд образования можно использовать три из приведенных видов тестов. Если нас интересует динамика подготовленности уча­щихся на начальном этапе обучения, мы должны использовать опре­деляющие тесты, если нас интересуют трудности в обучении, то мы должны использовать диагностические тесты; а если, и это наиболее вероятно и часто используемо, наш интерес состоит в оценке результатов обучения, мы применяем суммирующие тесты.

Мы должны подчеркнуть тот факт, что каждый из этих видов тес­тов имеет свои особенности. Использование одних тестов вместо других может привести к негативным и отрицательным последствиям.

10. По широте использования (только для тестов в системе об­разования).

1.5. Роль и функции фактора времени в тестировании

При создании тестов школьных достижений одним из фунда­ментальных по значимости факторов является время.

Время является фактором, который определяет качество всего инструментария и качество получаемых в процессе тестирования результатов.

Время нередко называется B.C. Аванесовым в качестве системообразующего фактора при разработке и использовании тестов¹¹. Дей­ствительно, одно из соображений, положенных в основу создания тестов, – иметь инструмент быстрого и относительно точного оце­нивания больших контингентов испытуемых. Требование экономии времени становится естественным в массовых процессах, каковым и является образование.

Каждый тест имеет оптимальное время тестирования, уменьшение или превышение которого снижает качественные показатели теста. Время в тестировании многоаспектно, учет временного фактора требу­ется на нескольких этапах создания и использования теста. Исходя из важности феномена времени, появилась необходимость рассмотреть вопрос времени в тестировании отдельным разделом.

Почему время, выделяемое на выполнение тестовой работы, должно быть ограничено? Создатели тестов стремятся включить в тест как можно больше тестовых заданий. Такое положение диктуется двумя обстоятельст­вами — чем больше количество заданий, тем:

— более надежным будет создаваемый тест;

— больший объем информации мы можем получить.

С другой стороны, чем больше количество заданий, тем более продолжительной становится процедура тестирования.

Между результатами, который может показать испытуемый и продолжительностью тестирования существует достаточно простая связь. Время тестирования не может быть бесконечно большим. Простое увеличение времени тестирования приводит к утомлению испытуемых, что в свою очередь снижает результаты тестирования.

Таким образом, необходимо найти оптимальное время, которое отражало бы баланс между временем выполнения теста (количеством заданий) и утомлением испытуемых.

Утомление — временное снижение работоспособности под влиянием длительного воздействия нагрузки. Утомление характери­зуется ухудшением продуктивности рабочих процессов, снижением темпа деятельности и ее качества, появлением характерных ошибок. Состояние утомления быстрее возникает при интенсивной или мо­нотонной работе.

Утомление может проявляться:

— на поведенческом уровне, и тогда приводит к уменьшению скорости и точности работы;

— на физиологическом уровне, и приводит к повышению инерции в динамике нервных процессов;

— на психологическом уровне, ведет к нарушению качеств внимания, процессов памяти, степени адекватности функциониро­вания интеллектуальных процессов;

— проходят сдвиги в эмоционально-мотивационной сфере.

Время продуктивного (до момента утомления) выполнения ис­пытуемыми тестовых заданий является ключевым при составлении теста.

Индикатором момента наступления утомления при тестирова­нии является появление большого числа случайных ошибок, сниже­ние скорости выполнения заданий, снижение мотивации.

Таким образом, время от начала процедуры тестирования до момента наступления утомления и можно считать оптимальным временем для выполнения данного теста.

Время наступления момента утомления зависит от целого ряда причин. Основными из этих причин являются:

— возраст детей: чем меньше возраст детей, тем раньше наступает утомление.

— мотивация: взаимосвязь мотивации и времени наступления утомления несколько сложнее. Слишком высокая мотивация, так же как и слишком низкая, приводит к уменьшению времени продуктив­ной работы испытуемого, то есть к более раннему наступлению момента утомления.

— монотонность выполняемой работы: монотонность, однообразие работы в значительной мере влияют на утомление. Чем однообразнее работа, тем раньше насту­пает утомление.

— индивидуальные особенности испытуемых, связанные с высотой порога усталости: разброс по характеристикам порога наступления утомления до­вольно большой. По разным оценкам он может составлять от 20 до 100 минут рабочего времени для детей одной возрастной группы.

Каким образом мы можем повлиять на продолжительность тестирования? Из перечисленных нами причин наступления утомления одни нам необходимо учитывать, на другие мы можем оказывать влияние, третьи мы не можем ни учесть, ни повлиять на них.

Так, мы, безусловно, учитываем возраст испытуемых при состав­лении теста. Мы можем в определенной степени влиять на эмоционально-мотивационную сферу как непосредственно (интересность, разно­образие заданий), так и опосредованно (ситуация проведения процеду­ры тестирования). При подборе форм тестовых заданий мы можем сни­зить монотонность работы. И, наконец, мы совершенно не имеем воз­можности учесть при создании тестов индивидуальные особенности испытуемых, связанные с высотой их порога усталости.

Исходя из сказанного, проектируя и разрабатывая тесты, мы должны стремиться к тому, что бы мотивация учащихся должна быть устойчивой и положительной, а работа учеников максимально раз­нообразной.

Оказать влияние на мотивацию учащихся можно изменив условия проведения тестирования, отразив их в соответствующей инструкции, Например, в том случае, если создается тест для проведения экспери­мента, в котором учащиеся принимают участие добровольно, если про­водится апробация тестового инструментария требуется усиление моти­вации. При апробации тестов можно порекомендовать выставить уча­щимся по его результатам текущую школьную оценку, инструкция для ведущею должна содержать обращение к испытуемым, в котором под­черкивается важность выполняемых работ, объяснение причин, по ко­торым ученикам следует приложить максимум усилий, иногда бывает полезной предварительная беседа с учащимися.

Однако здесь необходимо придерживаться правила, что для ап­робации всех тестовых материалов должна быть единообразная про­цедура. Если по какому-то предмету выставляются оценки, то они должны выставляться и по другим предметам или в других группах испытуемых.

В том случае, если существует опасность повышенной мотива­ции, например, при проведении итоговой аттестации учащихся, то инструкция для ведущего должна содержать слова, которые могут успокоить учащихся, снизить предэкзаменационное волнение. В некоторых случаях, для этих целей, бывает целесообразно проведе­ние предварительного пробного тестирования, чтобы убедить учащихся в адекватности и посильности задач, которые они должны решать, снять излишнюю мотивацию. Однако общее правило единобразности процедуры проведения и в этом случае должно неукос­нительно соблюдаться.

Мы можем оказать влияние на снижение порога утомления, предусмотрев максимальное разнообразие выполняемой деятельно­сти. Общее правило — сделать работу максимально разнообразной. И здесь есть две возможности, — во-первых, тест должен содержать за­дания, максимально разнообразные по форме. Во-вторых, сами за­дания должны быть максимально разнообразными по видам дея­тельности и невербальной поддержке.

Какие негативные последствия имеет нарушение оптимальности времени тестирования? Время, которое выделяется учащимся для работы над тестовы­ми заданиями, должно быть оптимальным. Слишком большое время тестирования, как и слишком малое, имеет свои негативные и пози­тивные стороны. Слишком большое время приводит к двум негатив­ным последствиям:

— к концу тестирования снижается дисциплина, ученики, кото­рые справились с тестом, имеют возможность «помочь» своим това­рищам;

— снижается дискриминативность теста, особенно для ко­ротких тестов, которые содержат задания примерно равные по сложности, то есть возрастает вероятность появления учеников с одинаковым баллом, что особенно плохо для нормативно-ориентированных тестов.

Негативные последствия несет и малое время на проведение тестирования, оно провоцирует учащихся на угадывание правильных ответов. В том случае, когда количество заданий, к которым ученики не приступили, велико, то те учащиеся, которые попытаются угадать ответы в оставшихся заданиях, могут получить достаточно весомую прибавку к собственному баллу.

Следовательно, время тестирования должно быть все-таки дос­таточно коротким для того, чтобы не провоцировать учащихся на списывание и подсказки. В подавляющем большинстве случае уча­щиеся начинают подсказывать в том случае, когда они справились со своей работой, по крайней мере, попытались выполнить все задания. Таким образом, короткое время, в том случае, если проблема угады­вания для теста не столь актуальна, является хорошим профилакти­ческим средством против подсказок и нарушений дисциплины.

Кроме этого решение вопроса нахождения оптимального вре­мени позволяет экономить ресурсы разработчика и пользователей.

Классическим вариантом борьбы со списыванием является соз­дание двух или более вариантов тестов. Как мы покажем позже, соз­дание полноценных одинаковых вариантов тестов имеет серьезные трудности в рамках классической теории тестирования, кроме того, оно требует дополнительных затрат. Как показывает опыт, в случае нахождения оптимального времени тестирования, проблема списы­вания практически не возникает.

Для возможной борьбы с угадыванием возможно использова­ние в концовке теста достаточно трудных заданий открытого типа.

Опыт говорит о том, что гораздо проще найти способы борьбы с угадыванием, нежели с нарушениями дисциплины.

Как можно найти оптимальное время для работы над тестом? Ориентиры времени, которое можно выделить на тестирование, необходимо выяснить при апробации теста, однако ориентировоч­ное время у разных авторов примерно одинаково.

Таким образом, при составлении варианта теста для апробации, можно ориентироваться на цифры для средней и старшей школы — около часа. В процессе апробации реаль­ные сроки должны быть уточнены. Для апробации следует брать не­который запас тестовых заданий и соответственно времени. Запас заданий должен обеспечить необходимое количество заданий взамен тех, что будут отбракованы, а запас времени позволит оценить верх­нюю границу приемлемого времени выполнения.

B.C. Аванесов приводит следующий алгоритм определения времени тестирования: «Оптимальное время тестирования опреде­ляется эмпирически, по показателю дисперсии тестовых данных. Если по оси абсцисс отложить время тестирования, а по оси ординат – значение дисперсии тестовых результатов, получаемое после каж­дого пробного контроля, то, соединив точки, получим представление об изменении дисперсии; максимум значения последней укажет на оптимум времени, необходимого для тестового контроля».¹² Вероятно, речь здесь идет не о максимуме дисперсии, а о точке начала ее увели­чения, которая вызвана началом периода утомления. Как мы отме­чали, наступление утомления вызывает повышение количества случайных ошибок, именно они и являются причиной увеличения дис­персии. Такой способ должен быть достаточно точным, и в том слу­чае, когда есть соответствующие технические возможности, его сле­дует использовать.

В качестве практического совета, можно привести вполне современную рекоменда­цию: время теста должно быть таким, чтобы только 5 про­центов испытуемых могли справиться со всеми заданиями.

Если существует необходимость выполнения заданий большей продолжительности, то есть еще один выход — технология проведе­ния должна предусматривать перерыв. Перерыв несколько усложня­ет процедуру проведения, делает работу ведущего более ответствен­ной, однако он дает вполне ощутимые преимущества. Отметим, что часть международных сравнительных исследований по оценке под­готовленности школьников использует процедуру проведения тести­рования с перерывом.

Почему время на заполнение тестов должно быть определено точно? От времени, выделяемого на проведение тестирования, напря­мую зависит результат. Временной разрыв для работы над тестом для учащихся даже в 1-2 минуты может существенно повысить или по­низить общий балл. Если на выполнение короткого тестового зада­ния закрытого типа требуется 10-15 секунд, то можно оценить (правда, гипотетически), какое количество баллов можно получить за дополнительную минуту.

Для тестов школьных достижений следует вести речь не о воз­расте испытуемых, а о ступени (классе) и периоде обучения. Возрас­тной подход, несмотря на то, что при международных сравнитель­ных исследованиях используется именно он, неудобен в силу доста­точно ясных причин — дети одного возраста могут обучаться в раз­ных классах.

Особое место среди факторов, влияющих на индивидуальную и групповую работоспособность испытуемых, занимает время прове­дения теста и характер деятельности учащихся до тестирования. Специальные исследования психофизиологов говорят о том, что наиболее благоприятно время с 9 до 12 или с 16 до 18 часов. По­скольку речь идет о тестах школьных достижений, то наиболее приемлемое время проведения тестирования — второй или третий урок первой смены.

Последнее, про что необходимо сказать в связи с рассматривае­мым вопросом, это вопрос о феномене контаминации критерия, ко­торый представляет собой комплекс явлений, связанных с влиянием информации о результатах тестирования испытуемого на отношение к нему других лиц. Например, если ученик неудачно справился с тес­том по отдельному предмету (что говорит о недостаточной подготов­ке по определенным темам), это в дальнейшем может сказаться на всей учебной деятельности ученика. Возникновение эффекта конта­минации после одного тестирования — явление скорее экзотическое. Оно может возникнуть только у человека, свято верящего в тестиро­вание как универсальный и безошибочный способ изучения челове­ка, а таких людей среди педагогов все меньше и меньше. Однако этот эффект, возникающий по результатам нескольких испытаний, более чем реален. К сожалению, вопросы контаминации критерия в обра­зовании изучены достаточно слабо и еще ждут своих исследователей.

2. ТЕСТОВЫЕ ЗАДАНИЯ

2.1. Состав тестовых заданий

В самом общем виде тестовые задания должны:

- соответствовать содержанию учебного материала;

- быть составлены с учетом соответствующих правил;

- быть проверены на практике (апробированы);

- быть ясными испытуемому.

Кроме этого необходимо отметить, что тестовые задания могут быть охарактеризованы показателями — трудностью и дискриминативностью.

В данном главе нами будут представлены требования к основным видам тестовых заданий, которые применяются в тестах учебных достиже­ний. Эти виды заданий носят «базовый» характер. Все многообразие существующих заданий может быть сведено к нескольким типам или их сочетанию. Например, задача с переструктурированием данных может быть представлена как совокупность задач на восстановление последовательности и соответствия; задания на нахождение ошибок - частный случай заданий на исключение лишнего и так далее.

С точки зрения разработчика минимальные требования к соста­ву тестового заданию состоят в наличии всех трех частей:

1. Инструкции

2. Текста задания (вопроса)

3. Правильного ответа

1. Инструкция должна содержать указания на то, что испытуе­мый должен сделать, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен «сделать руками», каким образом ему следует выполнять задание, где отме­чать, как дописывать и т.д.

Собственно говоря, инструкция должна сделать так, чтобы за­дание и способ его выполнения были абсолютно ясны любому из испытуемых и не приводили к ошибкам.

Например:

— ответ запишите в рамку, которая находится ниже задания, для промежуточных вычислений используйте место слева от вопроса;

— в третьем столбце, над строчками впишите цифры, соответст­вующие понятиям, обозначенным буквами в этой же строке;

— ответ запишите в бланке, в строке, соответствующей номеру вопроса, для вычислений следует использовать калькулятор...

Ученику важно понять, что от него требуется, как он должен выполнять задание. Мало понять то, что необходимо установить правильную последовательность, то есть выполнить интеллектуаль­ную операцию, но и то, как собственно ее устанавливать, что, каким образом и где надо вписать, отметить и т.д. Кроме этого, для многих заданий важно и то, в каком порядке эту правильную последователь­ность восстанавливать от раннего (большего) к более позднему (меньшему) или наоборот.

Исходя из необходимости сделать само задание и процедуру его выполнения понятными испытуемому, представляется вполне обос­нованным требовать в инструкции для испытуемого наличия именно тех операций, что он должен выполнить практически.

Как показывает опыт, подготовка инструкций для учащихся с требованием четко описать то, каким образом ученик должен вы­полнять задание, дисциплинирует разработчиков, позволяет им взглянуть на задание с точки зрения его выполнимости.

В тестах допускается делать одну инструкцию для группы одно­типных заданий, которая помещается в начале теста или данной группы заданий в тесте. Для проверки того, как испытуемые поняли инструк­цию, желательно снабдить ее несколькими примерами, которые разби­раются вместе с ведущим тестирование. Общей практикой, сложившейся в последнее время, является создание инструкции для испытуемых, которая помещается в начале тестовой тетради. В ней подробно разби­раются инструкции по заполнению всех форм тестовых заданий, кото­рые могут встретиться в Тесте. Они снабжаются примерами, которые разбираются и выполняются вместе с ведущим, правила исправления ошибочно выполненных заданий, другие сведения, необходимые уче­нику для выполнения задания.

Для разработчиков тестовых заданий подготовка инструкции для испытуемых в каждом задании является необходимой, поскольку это позволяет взглянуть на задание с точки зрения ученика, рассмотреть варианты упрощения заданий, а иногда подталкивают к поиску наиболее адекватной формы тестовых заданий.

Правила составления инструкций, требований к их составу мы разберем в главе, посвященной оснащению тестов. В примерах, дан­ных в дальнейшем, инструкции могут повторяться в краткой форме или не повторяться вовсе, однако это совершенно не означает, что при составлении тестовых заданий или оснащении теста ими следует пренебрегать.

Каким образом лучше делать отметки при выполнении заданий? Это достаточно важный вопрос. Возможно несколько вариантов: отметить крестиком, поставить галочку, обвести кружком, нарисовать стрелочку, соединить линией, отметить любым знаком и т.д.

В случае апелляции по результатам теста, можно очень долго и безрезультатно выяс­нять, к какому варианту ответа был ближе ис­пользованный испытуе­мым знак.

Иногда, особенно в начальной школе, зада­ния на восстановление соответствия содержат инструкцию «соединить стрелочкам и соответствующие элементы». Этот вариант, кроме возможной неоднозначности, достаточно трудоемок при про­верке, особенно когда количество испытуемых становится большим.

Не совсем четким представляется вариант «обведи кружком ва­риант ответа...», поскольку следую ему формально необходимо весь вариант ответа обвести в кружок, что не всегда уместно и возможно.

Как показывает опыт наиболее универсальным, четким, понят­ным и однозначным является вариант обведения кружком цифры (буквы), соответствующей правильному ответу для заданий закры­того типа, и требование вписать ответ в отведенное место для зада­ний открытого вида и заданий на восстановление соответствия (выделив в тестовой тетради и обозначив «место для ответа»).

2. Текст задания или вопроса представляет собой содержатель­но наполнение задания.

У некоторых авторов можно встретить выделенные части текста задания. Например:

Стимулирующий (стимульный) материал; материал, о котором говорится в вопросе, представлен обычно в виде текста, рисунка, таблицы или другого представления данных. Во многих случаях на­писание вопросов начинается со сбора подходящих текстов или с обдумывания ситуаций или тем, по которым можно сгруппировать. ряд вопросов.

Введение: информация, предшествующая вопросу.

Вопрос: существенная часть вопроса, например: «До каких пре­делов падает значение X?» или «Какие достоинства имеют открытые вопросы?».

Ограничения ответа: вопрос должен быть высокого качества, чтобы предотвратить нежелаемые интерпретации учеников, исполь­зуя ограничения, такие как: «По мнению автора...» или «Вычислите до 2-х десятичных знаков».

По нашему мнению, структура и состав вопроса определяется в большей степени содержанием учебного материала. Стимулирую­щий материал или, его еще могут называть - невербальная поддерж­ка, может быть представлен не для всех заданий, хотя тенденция ее подготовки для максимально большого количества заданий явно су­ществует. Ее роль и значение мы обсудим отдельно. Ограничения ответа очень важны, но только для незначительного количества тес­товых заданий, на них мы остановимся чуть позже.

3. Правильный ответ или оценочная схема - обязательный атри­бут любого тестового задания - без него задание, за исключением, пожалуй, самых тривиальных, теряет смысл, поскольку не может быть точно проанализировано и оценено.

Перечисленные три составных части тестового задания являют­ся минимально необходимыми для составления тестов.

Кроме этого, составителям тестовых заданий целесообразно указывать еще ряд необходимых сведений. Сведения разработчиков о заданиях и их целевое назначение представлены в таблице:

Тестовое задание должно иметь однозначный правильный ответ. Данное требование требует пояснения. Часто понятие одно­значности ответа трактуется как требование единственности ответа или наличия предполагаемого образца. В данном случае речь идет об однозначной, с точки зрения пользователя возможности оценки ре­зультата выполнения тестового задания, как возможность любого пользователя на основе сравнения ответа учащегося и правильного ответа (схемы анализа), предложенного разработчиком, сделать од­нозначный вывод о том, выполнил данный ученик это задание верно или нет. Поэтому правильный ответ разработчика может заключать­ся не только в эталонном ответе, но и в описании схемы анализа, содержать конструкции «и ... и», «...или...», описывать вариант не­правильного ответа, считая все остальные правильным.

Виды и типы тестовых заданий.

Их особенности, преимущества и недостатки.

Рассмотрим, типологию тестовых заданий, и выделим требова­ния к ним. Существует два типа заданий, которые объединяют шесть видов. К этим шести видам может быть сведено все многообразие существующих заданий без ущерба для их качества. Типы и виды тестовых заданий представлены на схеме:

ТЕСТОВЫЕ ЗАДАНИЯ

ДОПОЛНЕНИЯ

СВОБОДНОГО ИЗЛОЖЕНИЯ

АЛЬТЕРНАТИВНЫХ ОТВЕТОВ

ВОССТАНОВЛЕНИЯ

СООТВЕТСТВИЯ

МНОЖЕСТВЕННОГО ВЫБОРА

ВОССТАНОВЛЕНИЯ

ПОСЛЕДОВАТЕЛЬНОСТИ

К заданиям открытого типа относятся два вида — задания до­полнения и задания свободного изложения. Их отличительной осо­бенностью является то, что для их выполнения ученику необходимо самому записать одно или несколько слов (цифр, букв; возможно словосочетаний или даже предложений). Этот тип заданий не имеет дистракторов и вариантов правильных ответов.

Задания закрытого типа, к ним относятся задания четырех ви­дов: альтернативных ответов (АО), множественного выбора, восста­новления соответствия и восстановления последовательности.

Тестовые задания закрытого типа - предусматривают различ­ные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие ряда предва­рительно разработанных вариантов ответа на заданный вопрос. Иногда варианты неверных ответов называют дистракторами.

2.2. Задания закрытого типа

2.2.1. Задания альтернативных ответов

1. Задания альтернативных ответов АО (верно — неверно, пра­вильно — неправильно).

К каждой задаче альтернативных ответов дается только два ва­рианта ответов. Испытуемый должен выбрать один из них - «да — нет», «правильно — неправильно» и пр.

Инструкция для заданий альтернативных ответов: обведите кружком вариант ответа «да» или «нет», который вы считаете правиль­ным; или обведи ответ «да» или «нет». (Если ты согласен с утверждени­ем — обведи кружком «да» в клеточке таблицы ответов, а если не согла­сен — обведи «нет»).

Задания альтернативных ответов (АО) являются самыми про­стыми, но не самыми распространенными при составлении тестов. Это связано, в основном, со специфичностью того материала, кото­рому в большей степени соответствует эта форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний. Использование заданий альтернативных ответов в виде от­дельного вопроса, одиночно, приводит, как правило, к тривиально­му тестированию и используются достаточно редко. Вопросы альтернативных ответов пред­лагают только одну альтернативу, которую тестируемый либо при­нимает как правильную, либо отвергает. Таким образом, у экзаме­нуемых есть возможность на 50% отгадать правильный ответ на один вопрос. Поэтому эти задания целесообразно применять сериями к одному элементу знаний.

В индивидуальном порядке во­просы альтернативных ответов не очень эффективны, а вот длинные серии таких вопросов имеют определенные преимущества. Ответы на них обычно не занимают много времени, и есть возможность ох­ватить весь материал по предмету, задавая как можно больше вопро­сов по нему.

Таким образом, эта форма целесообразна для использования заданий этого вида в серии, когда для одного элемента знания зада­ется несколько вопросов. В такой форме задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диа­грамм, схем и т.д.

Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, по­скольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

Альтернативные задания в наибольшей степени соответст­вуют задаче выявления того, в какой степени испытуемый понимает данные. Кроме того, это задание содержит проверку форм нормаль­ного и бимодального распределений, умений работать с графиками, навыки приближенного вычисления. Любая другая форма представ­ления заданий будет гораздо более громоздкой и менее удобной.

2.2.2. Задания множественного выбора

Это основной вид заданий, применяемый в тестах достижений. Надо помнить, что он не единственный.

Задачи с множественным выбором предполагают наличие вариативности в выборе. Испытуемый должен выбрать один из пред­ложенных вариантов, среди которых чаще всего только один пра­вильный.

Инструкции для заданий с множественным выбором: обведите кружком букву, соответствующую варианту правильного ответа.

Обычный вопрос состоит из введения, самого вопроса и ряда альтернатив, каждая из которых представляет собой ответ на вопрос. Оптимальное количество альтернатив — это 3 или 4. Имея две альтернативы, экзаменуемый начнет догадываться о правильном ответе особенно, если альтернативы похожи друг на друга (менее способные экзаменуемые встретят больше трудности, чем более спо­собные при выявлении различия между этими альтернативами). Обычно трудно найти более 4 интересных и оригинальных альтерна­тив, и, к тому же, на их чтение уйдет больше времени экзаменуемо­го.

В заданиях множественного выбора количество правильных от­ветов объективными причинами не ограничивается. В том случае, если вариантов правильных ответов несколько следует видоизменить инструкцию, указав на то, что необходимо отметить буквы, соответ­ствующие правильным ответам. Или иным образом указать на то, что правильных вариантов несколько.

Однако из практических соображении минимизации возмож­ных форм заданий мы настоятельно рекомендуем придерживаться правила, согласно которому задание множественного выбора содер­жит только один правильный ответ, а в том случае, если правильных ответов несколько, то такое задание переделывается в форму заданий с альтернативными ответами. Таким образом, удается сократить на одну количество форм заданий и соответствующих им стандартных инструкций, что упрощает процедуру подготовки заданий.

Поиск правдоподобных однородных ответов составляет основ­ную трудность для разработчиков заданий множественного выбора. Решить эту проблему возможно только на основе анализа результатов решения задачи.

2.2.3. Задания на восстановление соответствия (соответствие)

Задания соответствия (восстановления соответствия), в кото­рых необходимо найти или приравнять части, элементы, понятия — конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков.

К этому же типу следует отнести и задания, в которых требуется восстановить порядок ряда, упорядочить. Эти задания могут рас­сматриваться как частный случай задания на восстановления соот­ветствия, в которых только один ряд, а другим, предполагаемым, является время.

Мы уже отмечали, что распространенной формой инструкции дли учащихся при ответе на данный вопрос данного вида является вариант с использованием стрелочек: нарисуйте стрелочки от элемен­тов первого списка ко второму..., соедините стрелками соответствую­щие понятия и т.д. Сам по себе способ использования стрелочек вполне правомерен, однако он имеет два существенных недостатка (кроме проблем неопределенности, которые мы обсуждали ранее): первый — сложность проверки, особенно когда необходимо прове­рить большое количество работ; и второй — есть опасность того, что ученики, привыкнув к способу выполнения этих заданий стрелочка­ми, встретив в дальнейшем классическую форму задания, будут к ней не готовы, воспримут ее как неизвестную, что может снизить их результаты.

Система нумерации и обозначений не имеет, какого то особого стандарта исполнения. Как правило, система обозначений должна быть единой в рамках разрабатываемого тестового инструмента.

Обычно, римскими цифрами нумеруются разделы, арабскими цифрами номера заданий, иногда вместе с нумерацией заданий ис­пользуются буквенные индексы, в которых зашифровываются предмет, класс, на который рассчитано данное задание, или иную важ­ную для разработчика или пользователя информацию. Варианты ответов обозначают русскими или латинскими заглавными буквами сточкой.

Вопросы нумерации особенно важны для заданий на восста­новление соответствия, где существуют два ряда; крайне желательно, что бы один из них был обозначен буквами, а другой цифрами, что помогает избежать путаницы при выполнении этих заданий.

Эта форма заданий достаточно разнообразна и может быть с ус­пехом использована по всем учебным предметам и предметным об­ластям. Практически в каждом предмете существует широкая воз­можность их использования. В области биологии, например, может быть использован список растений и список соответствующих со­цветий, в русском языке слова и соответствующие им части речи или орфограммы, в истории даты и события и т.д.

Задачи соответствия, требуют подбора подходящего ответа. Обычно задание соответствия состоит из трех столбцов: в первом, под заглавными буквами (или цифрами) вопросы, утверждения, факты, понятия и т.д., во втором идет пронумерованный (или в слу­чае если первый список был пронумерован, то под буквами) список утверждений или слов, которые надо поставить в соответствие, и наконец третья графа — вариант ответа. Для каждого пронумерован­ного слова или утверждения следует отобрать один признак под за­главной буквой, наиболее тесно связанный с ним.

Необходимо подчеркнуть еще один момент, касающийся аль­тернативных заданий и заданий на восстановление соответствий как тестов достижений — опасность тривиального тестирования.

Хотя и важно знать, что овес имеет соцветие метелку, а воробь­иные - это отряд птиц, однако ответы на эти вопросы не предпола­гают понимания. Знание того, что Пушкин написал «Капитанскую дочку», представляется не столь важным по сравнению со способностью выполнить анализ этого произведения или выразить отноше­ние к проблемам, в нем поднимаемым.

Главными преимуществами заданий этого вида являются: воз­можность быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

Для того чтобы задачи соответствия позволяли получить резуль­тат, не зависящий от внешних причин, при конструировании их не­обходимо учитывать требования, вытекающие из особенностей вос­приятия:

— число входных данных одного списка не должно превышать 10; если их больше, лучше составить еще одну или несколько задач;

— если длина списков не совпадает, то об этом необходимо сде­лать указание в инструкциях и ключе.

2.2.4. Задания на восстановление последовательности

Как мы уже отмечали, задания на восстановление последовательности можно рассматривать как вариант задания на восстанов­ление соответствия, когда одним из рядов является время, расстоя­ние или иной континуальный конструкт, который подразумевается в виде ряда. Поскольку эта форма заданий требует особой инструкции, мы выделили ее в отдельный подраздел.

Задания на восстановление последовательности незаслуженно редко используются в тестах. На самом деле это очень качественная форма тестовых заданий, обладающая значительными преимущест­вами: краткостью, простотой проверки. Оно подходит для любого предмета, там, где присутствует алгоритмическая деятельность или временные события. Для технологий это могут быть порядок техно­логических операций, для истории — восстановление временных по­следовательностей событий, для русского языка — этапы словообра­зования, для точных наук — алгоритмы решения задач и этот список практически бесконечен.

Если говорить о форме этого задания, то с одной стороны (если подходить строго) нельзя его отнести к закрытым заданиям, поскольку при его выполнении ученик сам записывает ответ. По форме это задание близко к заданиям на восстановление соответствия, но с другой стороны нельзя не отметить и его близость к заданиям на продолжение последо­вательности, которые мы рассмотрим в следующем разделе. Отдельно необходимо отметить и характерную для этой формы заданий низкую вероятность угадывания правильного ответа.

Преимущества заданий закрытого типа:

— задания могут быть надежны, поскольку отсутствуют факто­ры, связанные с субъективными оценками, которые снижают на­дежность;

— оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий;

— неважно, умеют ли испытуемые хорошо формулировать ответы;

— задания этого типа легко обрабатываются, тестирование бы­стро проводится;

— простой алгоритм заполнения снижает количество случайных ошибок и описок;

— эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно;

— возможна машинная обработка ответов;

— низкая вероятность угадывания правильных ответов;

— возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям ис­следования.

2.3. Задания открытого типа

К ним относятся задания двух видов:

— дополнения (другое название: задачи с ограничением на отве­ты). В этих заданиях испытуемые должны также самостоятельно да­вать ответы на вопросы, однако их возможности ограничены. Огра­ничения обеспечивают объективность оценивания результата вы­полнения задания, а формулировка ответа должна дать возможность однозначного оценивания;

— свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На отве­ты не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий дополнения: вместо каждого многоточия впишите только одно слово (символ, знак и т.д.).

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ; дополните определение, записывая ответ в бланке и т.д., то есть вме­сто многоточия можно вписать словосочетание, фразу, предложение или даже несколько предложений.

Выполнение основного требования для заданий дополнения не представляется сложным, правильным ответом будет то самое выра­жение, слово и т.д., которое необходимо вписать испытуемому.

Для заданий свободного изложения выполнение основного требо­вания к тестовым заданиям сложнее. Для выполнения этого требования необходимо формализовать сам ответ. В том случае, когда результатом выполнения задания служат цифровые выражения, структура фразы подразумевает два-три однозначных слова — это не сложно.

Трудность в применении этого вида задач заключается в слож­ности с формализацией ответов, необходимость подготовки оценоч­ных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение.

Задания данного типа рассматриваются психологами как дополнительные методы представления заданий в тестовой форме. Од­нако, какая из форм заданий лучше, определяется специфичностью тестируемой информации. Если она очень специфична, а в педаго­гической практике это не редкость, то эффективными будут задания свободного изложения, если она определена не столь четко, то лучше использовать задания дополнения.

Основными трудностями при составлении заданий открытого типа является соблюдение основного требования к тестовым задани­ям — наличия однозначного правильного ответа.

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

1) краткость и однозначность ответов;

2) необходимость воспроизведения ответа по памяти;

3) отсутствие необходимости искать несколько вариантов ответа;

4) простота формулировки вопросов;

5) простота проверки;

6) невозможность угадать ответ.

Основное преимущество этих заданий — невозможность угадать ответ, а основной недостаток - сложность формализации правильного ответа. Тем не менее, для задач на вычисление, задач с формулами в ка­честве ответа эта форма представляется оптимальной.

2.4. Оценочные схемы тестовых заданий

Существуют два подхода к оценке результатов тестирования. Первый подход говорит о том, что каждое задание должно быть оце­нено одним баллом в случае правильного выполнения и нулем бал­лов в случае его неправильного выполнения. Этот подход крайне рациональный, поскольку обработка полученных результатов стано­вится достаточно простой и, что самое важное, этот подход единст­венно объективный. В случае любой попытки присвоения какого-то количества баллов за одно задание становится невозможным полу­чение корректного ответа на вопрос: «Почему за это задание дается такое количество баллов, а за другое задание другое и чем может быть объяснен баланс оценок за задания в тесте?»

Рассмотрим аргументы сторонников присвоения заданиям разного количества баллов: «С помощью подсчета баллов Вы сможете выразить различие между коротким вопросом, ответ на который не займет много времени (единичным числом или сло­вом), или вопросом, на ответ которого уйдет много времени, а также может потребоваться ответ, состоящий из многих частей, каждая из которых должна быть оценена отдельно. Другим пре­имуществом подсчета баллов является то, что они отражают бо­лее точно значимость вопросов в общем экзамене. Идеальным является вариант, когда максимальное количество баллов за один вопрос равняется количеству важных элементов или отдельных действий в ответе. Например, когда в вопросе требуется назвать трех современных английских писателей или 3 подпункта вопро­са требуют подсчета на компьютере, то максимальное количество баллов будет 3. На практике, количество баллов также зависит от других факторов, таких как: важность вопроса или общий балл за весь экзамен. Для того чтобы облегчить процесс оценивания, лучше всего придерживаться определенного количества элемен­тов/подпунктов или их совокупности».

Таким образом, сторонники присвоения разного количества баллов признают то, что, усиливая дифференциацию по вопросам, они жертвуют объективностью оценки. Предложение сторонников присвоения разного количества баллов разным вопросам строится на двух предложениях. Во-первых, разные по трудности задания оцениваются разным количеством баллов, но ведь располагая зада­ния в тесте по мере увеличения трудности, однако мы уже учитываем трудность задания, резонно полагая, что каждый следующий балл получается с большими усилиями. Второе, что предлагают учитывать — это количество операций или элементов внутри задания. И здесь возможны два случая. Первый — когда эти операции или элементы носят одинаковую трудность, как в приведенном выше примере — назвать трех писателей или выполнить три действия на сложение. Такая ситуация представляется относительно редкой. Гораздо чаще можно встретить вариант, когда действия внутри задания являются неоднородными по сложности. Например, для большинства расчет­ных задач по химии, физике в 2-3 действия оказывается, что одно из действий является более трудным и в нем сосредоточен содержа­тельный смысл задания. Остальные действия носят преимуществен­но расчетный характер или в любом случае они оказываются легче первого.

Сравнение системы оценивания двух приведенных заданий вы­зывает еще большие вопросы. За выполнение второго задания, где ученик должен полностью провести решение уравнения и найти ошибку, дается столько же баллов, сколько за выполнение только второго действия в первом задании. Найти рациональные ответы на вопрос «Почему это так?» не представляется возможным.

В этом случае ученики оказываются в неравном положении: те. кто выполнил первое действие, получают, как правило, все возмож­ные баллы, те, кто с ним не справился, не получают баллов вовсе, хотя возможно предположить, что в том случае, если бы они справи­лись с первым действием, то они могли бы справиться и с остальны­ми. То есть фактически мы оцениваем несколькими баллами не пра­вильность выполнения всего задания, а правильность выполнения первого действия такого задания. Таким образом, субъективный фак­тор оценивания усиливается.

Если проанализировать данный вопрос с точки зрения опыта тестирования, то разные подходы реализуются примерно в одинако­вом количестве случаев. Так, при проведении международных срав­нительных исследований, промежуточной аттестации учащихся в Англии и Шотландии применяется преимущественно первый под­ход. Для итоговой аттестации используется ограниченное присвое­ние баллов в небольших интервалах (большинство заданий по I бал­лу, некоторые оцениваются в 2, максимум в 3 балла). Тесты, разраба­тываемые в Голландии, ориентированы на очень широкое варьиро­вание баллов, до 10 за одно задание.

Оба подхода сходятся в одном — когда используются задания, требующие очень развернутого ответа, большого объяснения, сочи­нения, то есть когда становится невозможным формализовать ответ, необходимо создавать более общие оценочные схемы и использовать балльные оценки.

При этом задания (например, сочинение) нельзя признать тес­товыми, в том понимании тестирования, которое сложилось в нашей стране, поскольку они не соответствуют основному требованию к тестовым заданиям и приводят к субъективным оценкам.

ЛИТЕРАТУРА

1. Аванесов В.С. Композиция тестовых заданий. — М.: Ассоциация инженеров-педагогов, 1996. — 191 с.

2. Баранов П.А. Актуальные проблемы методики преподавания истории в школе. Практическое пособие для системы постдипломного образования. — М.: Русское слово, 2002.

3. Грибов В.С. Тесты и мода // Преподавание истории и обществознания в школе. — 2000. — №2.

4. Дмитриев В.А. Тесты и учебная деятельность школьников // Преподавание истории и в школе. — 1993. — №2.

5. Иванова Е.В., Майоров А.Н., Шурухт СМ., Юрьева Н.Н. Рекомендации по составлению тестовых заданий для учителей. — СПб., 1994.

6. А.Н. Кимберг. Создание систем оценки качества знаний учащихся. Краснодар, 1994

7. Клайн Пол. Справочное руководство по конструированию тестов. — Киев, 1994.

8. Майоров А.Н. Конструирование заданий для тестов школьных дости­жений. — СПб., 1996.

9. Майоров А.Н. Требования к тестам школьных достижений. — СПб., 1996.

10. Оценка качества подготовки выпускников основной школы по истории / Сост. Л.Н. Алексашкина. — М, 2000.

11. Студеникин М.Т., Зайцева Т.В., Слуцкая Г.И. Итоги тестирования / Преподавание истории в школе. — 1997. № 5.

12. Трескина О.Е. Контрольные тесты // Преподавание истории в школе. — 1995. — № 7.

13. Филиппов В.М. Модернизация российского образования: Обновление школы. Единые государственные экзамены: Правда и домыслы. — М.: Дрофа, 2002. — 96 с.

1 Филиппов В.М. Модернизация российского образования: Обновление школы. Единые государственные экзамены: Правда и домыслы. — М., 2002.

2 Аванесов В.С. Композиция тестовых заданий. — М., 1996. — С. 32.

3 Баранов П.А. Актуальные проблемы методики преподавания истории в школе. Практическое пособие для системы постдипломного образования. — М., 2002. – С. 24.

4 А.Н. Кимберг Создание систем оценки качества знаний учащихся. – Краснодар, 1994. – С. 44.

5 Аванесов В.С. Композиция тестовых заданий. — М., 1996. — С. 52.

6 Баранов П.А. Актуальные проблемы методики преподавания истории в школе. Практическое пособие для системы постдипломного образования. — М., 2002. – С. 45.

7 Баранов П.А. Актуальные проблемы методики преподавания истории в школе. Практическое пособие для системы постдипломного образования. — М., 2002. – С. 50.

8 Аванесов В.С. Композиция тестовых заданий. — М., 1996. — С. 74.

9 Баранов П.А. Актуальные проблемы методики преподавания истории в школе. Практическое пособие для системы постдипломного образования. — М., 2002. – С. 60-62.

10 Аванесов В.С. Композиция тестовых заданий. — М., 1996. — 76.

11 Аванесов В.С. Композиция тестовых заданий. — М., 1996. — С. 80.

12 Аванесов В.С. Композиция тестовых заданий. – М., 1996. – С. 84.