К развитию технологий тестирования

Тезис о том, что поспешность, мол, необходима при ловле блох, поддерживают и развивают именно те, кому и блоху поймать лень.

Виталий КОРОТИЧ

Существующие теории тестовой оценки качества и количества пока далеки до завершения. Тем не менее, построенные на их основе технологии получили широкое распространение в мире и России.

Наблюдающееся в России бурное внедрение существующих (часто критикуемых профессионалами) технологий тестирования и сдержанное отношение к развитию теории объясняется, на наш взгляд;

• традиционным здравым недоверием педагогов к любой автоматизации учебного процесса;

• прагматичностью целей, ставящихся руководителями образовательных учреждений на первый план.

Прагматичный подход к оценке ЗУН, пришедший в Россию вместе с реформами последних лет на смену бытовавшему совсем недавно бережному отношению, снизил рейтинг российского образования в мире. Об этом говорят известные результаты международных исследований.

Качество среднего выпускника российских образовательных учреждений теперь ниже, чем два-три десятилетия назад. Среди работодателей укрепилось мнение, что на вкладыш диплома специалиста можно теперь не обращать внимания. Работодатели стали сами экзаменовать, по своему разумению, принимаемых на работу специалистов. Ответственность образовательного учреждения перед государством за качество образования постепенно подменяется личной ответственностью работодателя за правильный выбор работника.

Но не все потеряно. Ответственное, государственное отношение к развитию теории оценки и внедрению новых компьютерных технологий аттестации ЗУН помогут вернуть российской системе образования былую славу.

Человечество, смеясь, расстается со своим прошлым.

К. МАРКС

Вряд ли возможно добиться заметного повышения объективности измерений в рамках существующих технологий тестирования. В этом убеждают многие профессиональные исследования, проведенные самими создателями технологий и их коллегами. Будущие успехи в деле объективизации связывают с созданием:

• новых подходов к конструированию тестовых заданий и тестов;

• новых форм представления тестовых заданий;

• новых технологий оценивания качества и количества ЗУН.

Среди перспективных направлений развития форм тестовых заданий можно назвать т.н. грейдинг (от англ. – grading – сортировка, классификация) – методику, в которой оценка выполнения тестовых заданий является дифференцированной (ступенчатой, множественной). При применении методики grading, спектр оценки шире, чем двузначный (верно – неверно).

Применяется grading чаще при тестировании знаний по математике. Признанного русскоязычного аналога пока нет (первое известное нам упоминание об этой технологии в русскоязычной литературе принадлежит В. С. Аванесову).

… тестовое задание часто представляют в вопросной форме, в то время как к этим структурам мышления предъявляются разные требования. Известно, что вопрос не истинен и не ложен, в то время как тестовые утверждения либо истинны, либо ложны. Васильев В. И., Тягунова Т. Н.

Другим вариантом развития технологии тестирования является переход от наиболее распространенной, уже привычной и понятной линейной схемы, использующей задания закрытой формы, к другой – схеме «мягкого тестирования» (перевести этот термин можно как «Soft testing» или «Soft grading»).

Технология «мягкого тестирования» предложена и реализована в ДВГУ, реализованные варианты ее многократно представлялись и обсуждались на научных конференциях всероссийского уровня. Подробно технология «мягкого тестирования» описана ниже, здесь же мы кратко остановимся на основных ее отличиях от других технологий.

Сам термин «мягкое тестирование» означает, что из технологии устранены чересчур резкие границы оценки вариантов выполнения тестовых заданий. Вместо двухступенчатой шкалы «верно – неверно», здесь используется четырехступенчатая: «верно – неполно – неточно – неверно». Такая шкала более соответствует человеческой логике, чем двузначная.

Здесь можно использовать уже имеющиеся базы заданий закрытой и открытой формы. Однако, часто они требуют «косметических» корректив. Коррективы внести несложно, проведя в каждом задании сортировку неверных вариантов ответов на неверные, неточные и неполные. Ниже приведены примеры, как это можно делать для разных учебных дисциплин.

Изменена здесь и форма представления тестовых заданий. Испытуемому предъявляется выборка тестовых заданий закрытой формы, причем, выполняя задание, он видит на экране только один вариант ответа на вопрос. Именно этот, единственный, вариант и должен оценить испытуемый. Остальные варианты скрыты, и могут открываться испытуемым по очереди, не давая возможности воспользоваться простым логическим сравнением. Такой подход позволяет значительно повысить достоверность измерения.

Процедура предъявления заданий испытуемому оформлена здесь в виде деловой ролевой игры. Испытуемый играет роль учителя, проводящего устный опрос в виртуальном классе. Интерфейс оформлен соответственно – ученики, доска, парты. Учеников можно переспрашивать и исправлять уже выставленные оценки.

Описанный вариант сценария реализован коллективом Центра новых образовательных технологий в 1995-1996 гг. (ЦНОТ ДВГУ) в электронном тренажере «STeacher». Этот тренажер был создан для работы в среде DOS. Он долгое время эксплуатировался в ДВГУ и школах Приморья, но, с развитием компьютерной техники, потребовалась его обновление для работы в Windows.

Модернизированный тренажер, реализующий технологию «мягкого тестирования», созданный коллективом Тихоокеанского института дистанционного обучения и технологий (ТИДОТ ДВГУ) и применяемый для тестирования знаний студентов и школьников в Приморье в настоящее время, получил название «Дидактор».

В 2004 году создана версия тренажера «Дидактор-6», где реализованы мультимедийные возможности, необходимые, например, при изучении языков. «Дидактор-6» позволяет вести тестирование с использованием открытых тестовых заданий и в нетрадиционной форме, например, как диктант.

Ecce spectaculum dignum, ad quod respiciat intentus operi suo deus

- Вот зрелище, достойное того,

чтобы на него оглянулся Бог, созерцая свое творени)

СЕНЕКА Луций Аней, fraza.net.ua

Адаптивное обучение и адаптивный тестовый контроль, в своем единстве, представляют собой современный компьютерный вариант реализации принципа индивидуализации обучения. Этот принцип не мог быть реализован эффективно в условиях традиционных классно-урочных форм занятий. Начало адаптивного обучения можно отнести ко времени возникновения педагогических трудов Коменского, Песталоцци и Дистервега.

Адаптивное обучение:

• помогает отойти от классно – урочной формы обучения, открыть возможности свободного выбора траектории учения;

• потребует определения перечня учебных задач и тестовых заданий для проверки подготовленности не только по минимальным, но и по более высоким требованиям;

• основано на использовании оценок, получаемых при входном адаптивном тестовом контроле. По итогам контроля выбирается первый учебный материал, с которого и начинается адаптивное обучение. Следующий за этим контроль выявляет меру усвоения предложенного материала, и т.д.;

• позволяет обеспечить выдачу учебного материала на оптимальном уровне трудности. Известно, что легкие материалы не обладают заметным развивающим потенциалом, а трудные задания снижают учебную мотивацию у большинства учащихся;

• обеспечивает знания без привычных, для массового образования, многочисленных пробелов в индивидуальной подготовленности учащихся;

• достигает требуемой структуры и желаемого уровня знаний;

• позволяет регулировать трудоемкость и количество предъявляемых заданий в зависимости от ответа учащегося на текущее задание. В случае правильного ответа следующее задание он получит труднее, в случае неправильного – легче.

Целесообразность адаптивного контроля вытекает из соображений рационализации традиционного процесса тестирования, где всем претендентам дается одинаковый набор заданий. Знающему претенденту нет необходимости давать легкие задания, из-за высокой вероятности их правильного решения. Из-за высокой вероятности неправильного решения нет смысла давать трудные задания слабому претенденту. Использование заданий, соответствующих уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования.

Три варианта адаптивного тестирования:

1. Пирамидальное тестирование – всем претендентам дается задание средней трудности и уже затем, в зависимости от ответа, каждому дается задание легче или труднее. На каждом шаге применяется правило деления шкалы трудности заданий пополам. Например, если в тесте имеется двадцать одно упорядоченное по трудности задание, тестирование начинается с одиннадцатого. Если претендент действовал правильно, ему предъявляется шестнадцатое задание и, в случае успеха, девятнадцатое. Аналогично, слабо подготовленный претендент после неудачи на одиннадцатом задании пробует силы на шестом, и далее, по тому же принципу, до момента стабилизации на близких по трудности заданиях;

2. Flexilevel – когда контроль начинается с любого уровня трудности, а потом происходит постепенное приближение к реальному уровню подготовленности;

3. Stradaptive – когда тестирование проводится с БТЗ, где задания разделены по уровням трудности. После верного выполнения, следующее задание берется из более высокого уровня трудности, после неверного – наоборот. Это требует предварительного определения трудности всех заданий.

В адаптивном тесте заранее известны параметры трудности и дифференцирующей способности каждого ТЗ. Он создаётся в виде БТЗ, где задания упорядочены в соответствии с их характеристиками. Главная характеристика заданий адаптивного теста – это их сложность, полученная эмпирически. Это означает: каждое задание адаптивного теста прошло эмпирическую апробацию на заданной выборке, которая соответствует предполагаемым характеристикам претендента.

Адаптивный контроль позволяет рационализировать традиционное тестирование. В рамках адаптивного контроля эффективно выбираются и используются те задания БТЗ, которые соответствуют уровню подготовленности претендента. Это позволяет существенно повысить точность измерений и минимизировать время сеансов до, примерно, 5-10 минут. Литература:

1. Weiss D. J.(Ed.) New Horizons in Testing: Latent Trait. Test Theory and Computerised Adaptive Testing. N.Y., Academic Press, 1983. – 345 pp.

2. Lord P. M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N – J. Lawrence Erlbaum Ass., Publ. 1980, – 266 pp.

3. Бобков А. И., Далматов С. Б., Преснякова Г. В., Шашин Г. В. Принципы построения адаптивных аналоговых систем обучения и контроля знаний. Учебное пособие. – Л.: Лен. инст. авиац. приборостроения, 1987. – 80 с.

4. Аванесов В. С Математические модели педагогического измерения. – М.: Исследовательский центр проблем качества подготовки специалистов, 1994. – 26 с.

5. Аванесов B. C. Научные проблемы тестового контроля знаний. Моногр. – М.: Исследовательский центр проблем качества подготовки специалистов, 1994. – 135 с.

Текст настоящего параграфа основан на материале четвертой части книги: Аванесов В. С. Композиция тестовых заданий: Учебная книга. 3 изд., доп. М.: ЦТ, 2002. – 240 с.

Если учитель имеет только любовь к делу, он будет хороший учитель.

Бели учитель имеет только любовь к ученику, как отец, мать, он будет лучше того учителя,

который прочел все книги, но не имеет любви ни к делу, ни к ученикам. Если учитель соединяет в себе любовь к делу и к ученикам, он - совершенный учитель. Лев Николаевич ТОЛСТОЙ, fraza/net/ua

О, сколько нам открытий чудных…

А. С. ПУШКИН

Ниже помещен, с сокращениями, поучительный текст, попавшийся нам в новостях Интернет. Этот текст полон рекламы, поэтому мы полагаем, что ни автор, ни компания Google ни администрация CNET News.com на нас не обидятся за эту перепечатку. Для тех, кто не знает: Кремниевая долина – район США с наивысшей концентрацией программистов на единицу площади.

Google привлекает яйцеголовых при помощи таинственного рекламного щита

Стефани Олсен (Stefanie Olsen), CNET News.com , 12 июля, 2004, 11:14

На прошлой неделе в самом сердце Кремниевой долины (Маунтин-Вью, штат Калифорния) на выезде Ралстон, ведущем в Санта-Клару, появился рекламный щит с математической головоломкой. Чтобы решить ее, большинству водителей, проезжавших по хайвею No 101, пришлось прибегнуть к помощи Google.

Поисковый гигант, стоявший за анонимной вызывающе пустой рекламой с короткой черной надписью, хотел лишь привлечь внимание людей с математическим складом ума и предложить им работу. Этот рекрутский ход определенно замешан на известном афоризме математика Пола Ардоса: «Математик – это устройство для переработки кофе в теоремы».

Надпись на рекламном щите гласит: {first 10-digit prime found in consecutive digits e}.com. Ответ, 7427466391.com, приводит математических гениев на веб-страницу, где без всякого намека на то, что за этой игрой стоит Google, предлагается решить еще одно уравнение.

Победа над этим уравнением ведет на страницу Google Labs, отделения исследований и разработок компании, где говорится: «Одна из вещей, которые мы усвоили, создавая Google: то, что ищешь, легче найти, если оно само ищет тебя. Мы ищем лучших в мире инженеров. И вот вы здесь. К нам каждый день поступает множество резюме, и мы придумали этот нехитрый процесс, чтобы улучшить отношение сигнал/шум».

Google методично подходит к найму людей. Компания, в которой по состоянию на 31 марта работало 1907 сотрудников, с первого дня существования очень серьезно относится к своим методам. Один из первых сотрудников фирмы, работающий в ней еще с тех времен, когда та размещалась в гараже в Пало-Альто, рассказывает, что во время его интервью с соучредителями Google Сергеем Брином и Ларри Пейджем на соседнем столе лежало не меньше восьми руководств по найму людей. Рекрутеры компании тоже говорят, что прежде чем принять кого-то, они проводят множество интервью, иногда с привлечением тестов по математике или бизнес-стратегии.

Еще один остроумный способ рекрутинга Google заключается в том, что для выявления потенциальных работников компания размещает спонсируемые ссылки на страницах результатов поиска. Например, одно время такая ссылка была связана с ключевым словом/именем Udi Manber – это шеф A9, нового отделения поисковой технологии Amazon.com.

Этот пример поучителен, его нетрудно адаптировать в повседневной образовательной практике. Объявления «загадки» могут помещаться на школьном сервере, на сайте школы в Интернет, на стенах школьных коридоров.