Оценка читательской грамотности

Оценка читательской грамотности

Оценка читательской грамотности — одна из важнейших составляющих оценки функциональной грамотности школьника. Предметом измерения является чтение как сложноорганизованная деятельность по восприятию, пониманию и использованию текстов. В мире уже накоплен значительный опыт оценивания читательской грамотности, прежде всего в исследованиях PIRLS и PISA [8; 9; 10]. В России этот компонент функциональной грамотности вошел в образовательный процесс и практику оценки, может быть, более всех остальных составляющих функциональной грамотности. Оценка читательской грамотности в начальной школе в федеральном масштабе началась в рамках широкомасштабного эксперимента по совершенствованию структуры и содержания общего образования Министерства образования РФ в 2001–2005 гг. При создании проверочных работ использовалась модель PIRLS, но при этом были разработаны и успешно применены подходы этого исследования при оценке читательской грамотности не только выпускников начальной школы, но и второклассников и третьеклассников. Новый этап разработки отечественного инструментария оценки читательской грамотности был связан с введением ФГОС НОО и ООО. Особенностью данного этапа стало оценивание читательской грамотности как метапредметного результата. Были разработаны модели комплексных работ для выпускников начальной школы [1] и инструментарий для оценки метапредметных результатов в области читательской грамотности для 5-х — 9-х классов [2]. Спецификой предло-женного в этих проектах инструментария было выделение особой группы умений, связанных с использованием информации из текста для различных целей.

Постановка проблемы

В настоящее время актуальность разработки концепции оценки читательской грамотности обучающихся основной школы и соответствующего инструментария связана с невысокими результатами российских пятнадцатилетних обучающихся в исследовании PISA. Очевидно, что между двумя точками измерения читательской грамотности, заданными международными исследованиями PIRLS и PISA, необходимы российские мониторинги читательской грамотности, предоставляющие данные о динамике развития чи-тательской грамотности обучающихся от класса к классу. Проведенные исследования показывают, что отсутствие внимания к динамике развития читательской грамотности в основной школе приводит к тому, что не только не происходит положительных изменений, но и реальна ситуация регресса [5; 6].

Целью данной статьи является представление разработанных в Центре оценки качества образования Института стратегии развития образования РАО концептуальных подходов к оценке читательской грамотности обучающихся основной школы и соответствующего инструментария: заданий, системы оценивания этих заданий, обработки и интерпретации полученных результатов. Методология и методы исследования. Основными методами данного исследования стали анализ зарубежной и российской научно-методической литературы, описывающей подходы к формированию и оцениванию функциональной читательской грамотности; систематизация результатов международных педагогических и методических научных исследований, обобщение авторского опыта по моделированию измерительных материалов в области читательской грамотности; рефлексия собственной научно-педагогической деятельности.

Модель оценки читательской грамотности, используемая в рамках мягкого мониторинга функциональной грамотности, опирается прежде всего на Концепцию оценки образовательных достижений учащихся PISA-2018 [10], а также на теоретические положения Г. А. Цукерман, отраженные в документе «Оценка читательской грамотности. Материалы к обсуждению» [4]. За основу было взято определение, предложенное в исследовании PISA: «Читательская грамотность — способность человека понимать, использовать, оценивать тексты, размышлять о них и заниматься чтением для того, чтобы до- стигать своих целей, расширять свои знания и возможности, участвовать в социальной жизни» [10]. Данное определение практически не изменилось с первого цикла исследования PISA в 2000 году. Важно подчеркнуть, что в нем помимо собственно понимания прочитанного заложена и способность читателя размышлять о тексте и оценивать его, что предполагает перенос этих размышлений в сферу личного сознания и соотнесение их с собственным опытом, а также способность использовать прочитанное в разных ситуациях деятельности и общения [3]. В 2018 году именно читательская грамотность была центральным объектом в исследовании PISA, в концепции в качестве приоритетных были выделены следующие виды деятельности (когнитивные процессы): поиск и локализация информации; понимание буквального смысла текста; интеграция и формулирование выводов (умозаклю- чений); оценка качества и достоверности текста; рефлексия на содержание и форму текста; обнаружение и устранение противоречий.

Задания, напрямую связанные с применением информации из текста для других целей, с переносом в другую ситуацию, в PISA не выделяются в отдельную группу. С учетом переориентации образовательной системы на новые типы результатов представляется целесообразным сделать это, прежде всего в области работы с информационными (нехудожественными) текстами.

В результате анализа международных подходов и специфики совре- менного этапа развития отечественного образования, в мониторинге функциональной грамотности читательские умения были сгруппиро-ваны вокруг четырех видов деятельности:

1) находить и извлекать информацию: определять место, где со- держится искомая информация (фрагмент текста, гиперссылка, сайт и т.д.), находить и извлекать одну или несколько единиц информации, расположенных в одном или разных фрагментах текста; определять наличие / отсутствие искомой информации в тексте;

2) интегрировать и интерпретировать информацию: понимать фактологическую информацию; понимать смысловую структуру текста (тему, главную мысль / идею, общее назначение текста); понимать концептуальную информацию (авторскую позицию, коммуникативное намерение); понимать значение неизвестного слова или выражения на основе контекста; устанавливать связи между событиями или утверждениями; формулировать выводы; соотносить изображение и вербальный текст; понимать чувства, мотивы, характеры героев;

3) осмысливать и оценивать содержание и форму текста: оцени- вать содержание текста и понимать назначение его структурных элементов; оценивать полноту и достоверность информации; обнаруживать противоречия в одном или нескольких текстах; высказывать и обосновывать собственную точку зрения по вопросу; обсуждаемому в тексте; оценивать форму текста;

4) использовать информацию из текста: применять полученную информацию для решения практической задачи без привлечения или с привлечением фоновых знаний; формулировать на основе текста собственную гипотезу; прогнозировать на основе информации текста события, течение процесса и т.п.; предлагать интерпретацию нового явления, принадлежащего к тому же классу явлений, который обсуждается в тексте (в том числе с переносом из одной предметной области в другую); выявлять связь между прочитанным и современной реальностью.

Таким образом, при разработке модели были учтены факторы, из-менившие характер чтения и передачи информации: распространение электронных текстов, чтение которых требует других стратегий, изменение ситуаций чтения, когда используются несколько различных источников информации одновременно, а сама информация может быть противоречивой и нуждаться в проверке.

Тексты для оценки читательской грамотности отбирались на основе следующих принципов:

1) необходимо оценивать умение читать и понимать как художе- ственные, так и информационные тексты, поскольку чтение художественных текстов остается важным компонентом читательской грамотности, при этом основную долю составляют информационные (нехудожественные) тексты, что отражает и общую ситуацию чтения, и ситуацию чтения в образователь- ной практике;

2) умение читать непрерывные (сплошные) тексты остается важным (особенно с учетом того, что в PISA-2009 российские школьники показали отрицательную динамику именно по заданиям к сплошным текстам), поэтому такие тексты остались как объекты оценивания в мониторинге, но при этом все же основной акцент сделан на оценивании понимания составных (множественных) текстов; некоторые из них включают несколько сплошных текстов, а другие составные тексты объединяют сплошные и несплошные (содержащие наряду с вербальным текстом карты, схемы, инфографику и т.п.) — это позволяет проверить умения осуществлять эффективный поиск и отбор информации, сопоставлять и оценивать информацию из разных источников, соединять информацию из разных предметных областей;

3) выбирались тексты, с которыми школьник встречается в повседневной жизни: учебный текст, реальная статья из газеты, энциклопедии, подлинные фрагменты чата в Интернете и т.д.;

4) большинство отобранных текстов вводит школьника в ситуации общественной жизни, в которых ему нужно будет принимать решение или занять определенную позицию, либо затрагивает проблемы, с которыми он может столкнуться в общении с друзьями, в путешествии, при покупках и т.п.,— в таких ситуациях тоже нужно научиться ориентироваться и принимать обоснованные решения.

Теория и практика оценивания читательской грамотности

Как в исследовании PISA [10] и других исследованиях, выбранные тек- сты соответствуют четырем типам ситуаций чтения [7]. Перечислим их:

– чтение для личных целей: включает личные письма (в том числе бло- ги, чаты, смс), художественную литературу, биографии и др.;

– чтение для общественных целей: включает официальные докумен- ты, например правила конкурса, тексты, где обсуждаются актуаль- ные общественные проблемы и др.;

– чтение для практических целей: тексты инструкций, информация о товарах, услугах; реклама; путеводители и т.п.;

– чтение для получения образования: включает учебную, справочную литературу, научно-популярные тексты.

При этом были сделаны существенные поправки на возраст обуча- ющихся 5-х и 7-х классов, именно поэтому набор жанров, с которыми сталкивается ученик в мониторинге, в сравнении с исследованием PISA существенно скорректирован. Предложенные материалы отражают социальный и культурный контекст нашей страны и учитывают возрастные особенности восприятия информации пяти- семиклассников, их интересы, учебный и социальный опыт. Ключевой особенностью новых разработанных материалов по функциональной грамотности является их практикоориентированность.

Одной из задач при создании системы измерителей в мониторинге было определение специфики инструментария для двух возрастных групп: пятиклассников и семиклассников. При единстве принципиальных подходов была очевидна необходимость выделения специфики при подборе текстов и определении пропорции заданий на выделенные четыре группы читательских действий. Распределение заданий по группам читательских умений, типам текстов и ситуаций приведено далее при описании вариантов для 5-го и 7-го классов.

Инструментарий моделирует процесс чтения электронных текстов. Оценка читательской грамотности проводится на основе дихотомиче- ских и политомических заданий с выбором ответа, кратким и развер- нутым ответом.

Первые результаты исследования

На основе изучения международного опыта и разработки собственных описанных выше теоретико-методических подходов были созданы измерители для двух возрастных групп: обучающихся 5-х и 7-х классов.

Представим особенности инструментария для 5-го класса. Тексты отбирались и создавались с учетом нескольких позиций. Прежде всего, это ориентация на круг социальных и личных интересов 11–12-летних учащихся: были выбраны тексты, относящиеся к различным ситуациям чтения: личные, учебные, практические. Тематика разнообразна: путешествия по родной земле, безопасность, школьная жизнь, человек и технический прогресс, человек и природа, великие люди нашей страны. Предпочтение было отдано текстам, расширяющим кругозор школьников и содержащим новые интересные для них факты. Еще одной важной особенностью отбора текстов была способность пятиклассника воспринять данную тему и реалистичность использо- вания полученной из текста информации в жизни. В предлагаемых материалах рассматривались такие ситуации, как участие в конкурсах проектов и сочинений, встреча с бездомными собаками на улице и т.д. Материал моделировался таким образом, чтобы из текста школьник узнал, как поступить в той или иной ситуации, и мог сам принимать решения, оказавшись в подобных условиях. Для реализации данной цели были использованы составные тексты, включающие объявления, страницы веб-сайтов с различными вкладками, проекты, интервью, карты, аннотации, отзывы, описание условий конкурса, критерии оце- нивания работ и др.

Охарактеризуем два использованных в мониторинге текста для 5-го класса.

Текст «Волшебник» представляет язык художественной литературы и относится к художественному стилю, жанру «фантастическая юмореска». Через юмор дети постигают серьезные философские истины и задумываются над реалиями современной жизни. От пятиклассника требуется проанализировать чувства, мотивы, характеры героев, оценить форму текста, что будет ключом к постижению авторского замысла.

Текст «Необычный путешественник» рассказывает о нашем современнике, знаменитом путешественнике Н. Ванье, который часть своей жизни посвятил изучению Сибири, путешествуя по ней на собачьих упряжках. В составном тексте использованы несколько мини-текстов, соединенных на основе единой сюжетной линии, связанной с интересами школьника Максима, любящего путешествия. Среди этих мини-текстов — информация с сайта Русского географического общества, фрагмент интервью с Н. Ванье, в котором он раскрывает секреты мастерства управления собачьей упряжкой и описывает необыкновенные ощущения человека, путешествующего по бескрайним просторам; аннотация книги, отзыв читательницы. При этом наряду с вербальной информацией дана визуальная (карта с нанесенной на нее информацией о трех путешествиях). Разработанные задания предполагают «считывание» информации карты, соотнесение визуальной информации и вербальных отрывков текста, сравнение информации из фрагментов различных текстов (информационное сообщение, интервью, аннотация книги, отзыв читателя о книге).

С учетом результатов исследований PIRLS и PISA, а также отече-ственных мониторингов более половины разработанных заданий была направлена на оценивание читательских действий по интерпретации и интеграции информации текста. Вторая по значимости группа — поиск и извлечение информации. Как подтверждает апробация разработанного инструментария, у российских школьников 5-х и 7-х классов возникают затруднения, когда необходимо актуализировать умения, связанные с поиском и извлечением информации из текста. Эти читательские умения необходимо совершенствовать у школьников на всем протяжении обучения на основе как сплошных, так и несплошных, множественных (составных) текстов.

Задания, направленные на оценку действий читателя по связыванию и истолкованию отдельных единиц информации, представленных в составных текстах,— ключевые при обучении работе с текстом в основной школе. Однако при этом необходимо научить пятиклассника точно отвечать на конкретный информационный запрос, быстро локализовать место поиска в текстах большого объема. Как показала апробация, ученику непросто вычленить две и более информационные единицы, порой расположенные в разных местах текста, особенно если в формулировке задания отсутствуют указания на место запрашиваемой информации в тексте, а в тексте рядом с искомым фрагментом содержится похожая, но не относящаяся к вопросу информации.

Задания на осмысление и оценку информации важны для формирования читательской грамотности. Важно уже на уровне 5-го класса предлагать учащимся задания, требующие критического взгляда на информацию и обоснованной оценки событий, а также учить их строить собственные умозаключения на основе данной информации.

В данном мониторинге подобные задания разработаны, однако пока представлены в небольшом объеме.

Задания на использование информации строятся таким образом, чтобы ученик смог представить себя участником описанной ситуации и сделать осознанный выбор, опираясь на прочитанное.

При определении типа заданий предпочтение было отдано заданиям с открытыми ответами, что обусловлено спецификой читательской грамотности, овладение которой неразрывно связано с успешным речевым общением. Кроме того, формат компьютерного тестирования позволил разработать задания с выбором ответа или кратким ответом, предполагающим, например, выделение нужного фрагмента текста, «перенесение» фрагмента текста в нужную часть таблицы, расположение ответов в определенной последовательности, построение маршрута на карте и т.д.

Анализ выполнения пятиклассниками предложенных работ позволил, прежде всего, сделать ряд выводов. Работая в ситуации непривычной процедуры оценивания (компьютерный формат чтения и работа с использованием клавиатурного письма), необходимости координирования на экране текста и задания с полем для записи развернутых ответов, пятиклассники смогли справиться с техническими трудностями и продемонстрировали определенный уровень читательской грамотности.

Результаты апробации разработанных заданий позволяют говорить и о проблемных областях читательской грамотности пятиклассников, связанных с недостаточным уровнем сформированности ведущих читательских действий при работе с текстом. Покажем это на примере выполнения отдельных заданий к тексту «Необычный путешественник».

Пример 1. Какую информацию нашел Максим на сайте Русского географического общества? Отметьте ОДИН правильный ответ.

А. Информацию о трех российских экспедициях Н. Ванье. Б. Интервью М. Новиковой с Николя Ванье.

В. Информацию о книге Н. Ванье и отзыв о ней.

Г. Информацию о награде, которую получил Н. Ванье.

Затруднения пятиклассников при выполнении этого задания были связаны с неумением определить ту часть текста, в которой содержится ответ на вопрос. Для выполнения задания пятикласснику необходимо было обратиться к самому началу текста: «Максим увлечен путешествиями, поэтому он часто заходит на сайт Русского географического общества (http://www.rgo.ru). Однажды он нашел на этом сайте вот такую информацию: В Москве состоялась торжественная церемония вручения Премии Русского географического общества. Награда имеет международный статус и в 2014 году присуждалась впервые. Победителем в номинации „Лучший зарубежный проект“ стала экспедиция „Дикая Одиссея“ французского писателя, фотографа и режиссера Николя Ванье». Но к моменту выполнения задания множественный текст был прочитан целиком, пятиклассник уже познакомился и с содержанием интервью, и с аннотацией, и с отзывом о книге. Неумение найти место конкретной запрашиваемой информации — одна из особенностей читательской грамотности большинства пятиклассников: правильно выполнили это задание только 26% учащихся. Еще одна причина низкого процента выполнения этого задания связана с тем, что в тексте использован синонимический ряд: премия, награда, победитель в номинации, для понимания информации необходимы фоновые знания (победитель в номинации = обладатель награды). Еще одна проблема, отражающая дефициты группы читательских действий по поиску и извлечению информации, связана с тем, что часто пятиклассникам сложно выбрать и предъявить конкретную информацию, запрашиваемую в вопросе: они либо не могут определить наличие информации в тексте и опираются не на текст, а на фоновые зна ния, либо выбирают фрагмент текста, значительно превышающий по объему необходимый для ответа на вопрос, не могут выделить в нем конкретную фразу и копируют целиком значительную часть текста. Это проявилось при выполнении, например, задания 3: «В чем, по мнению Н. Ванье, работа человека, который управляет собачьей упряжкой, похожа на работу тренера? Запишите ТРИ признака сходства». К сожалению, многие учащиеся не смогли вычленить три отдельных признака и копировали целиком ответ Н. Ванье на один из вопросов интервью: «Скорее ощущаю себя тренером футбольной команды. Как и тренер, ты не бежишь с „игроками“, а остаешься на своем месте — едешь сзади, наблюдая за процессом. Ты должен максимально выгодным образом расставить игроков и следить за общим рисунком игры. Необходимо учитывать и другие критерии: метеоусловия, качество трассы, настроение собак, их сегодняшние взаимоотношения — ссоры, обиды… Как и хороший тренер, я должен принять лучшее решение на данный момент. Отношения с собаками в упряжке основываются на моем безусловном авторитете, но также на доверии и дружбе. Моя задача — обеспечить безопасность для всех: и для собак, и для себя. Часто использую веерный способ расстановки собак в упряжке: каждая собака напрямую связана с санями шлейкой, все шлейки одинаковой длины. Этот способ дает большую подвижность собакам во время езды, бережет их силы при поворотах и неровной дороге».

Затруднения пятиклассников были связаны и с неумением вычленять две и более информационные единицы, расположенные в разных частях текста: трудность выполнения таких заданий обусловлена целенаправленным отсутствием в формулировке задания ссылки на определенное место в тексте, где содержится ответ; наличием в тексте рядом с искомым фрагментом похожей, но не относящейся к вопросу информации. Например, в одном из заданий необходимо было, опираясь на текст интервью, записать три причины, по которым Н. Ванье путешествует по Северу именно на собачьих упряжках. Две причины были указаны в одном фрагменте текста, а третья — во фрагменте текста, значительно отстоящем от первого. Не все пятиклассники смогли найти второй фрагмент и, соответственно, указать третью причину. Не обнаружив ее, они давали ответы, не имеющие отношения к тексту.

Еще одна проблема проявилась при выполнении задания 8: «От каких своих представлений отказалась читательница после прочтения книги? Запишите свой ответ». Задание предполагало актуализацию таких умений, как самостоятельное истолкование информации, ее комментирование. Для правильного ответа учащиеся должны были объединить информацию двух соседних предложений и своими словами указать на те представления, от которых пришлось отказаться читательнице. Многие пятиклассники просто цитировали одно из предложений, не предлагая собственных умозаключений на основе полученной в тексте информации.

Пятиклассникам свойственен и некоторый формализм при выполнении заданий, предполагающих заполнение нескольких полей. Порой учащийся не осмысливает, что он уже привел три примера, три доказательства и т.д. в первом поле для ответов и потом заполняет оставшиеся поля текстом, не имеющим отношения к вопросу.

Представим особенности инструментария для 7-го класса и чита- тельские проблемы этой возрастной группы. В оценочных материалах для 7-го класса со сплошным текстом связано менее 20% заданий, а более 80% заданий требуют работы с составными текстами, например: статья из интернет-издания и фрагменты чата; рекламный буклет, карта, схема; статья из газеты с инфографикой; статья из научно-популярного журнала и данные соцопроса из СМИ. При этом в отличие от 5-го класса большая часть текстов содержит более сложную графическую информацию: карты, схемы, инфографику, фотографии. Тексты для оценки читательской грамотности семиклассников отбирались так, чтобы были представлены все ситуации чтения: учебные, общественные, личные, практические. Еще одним критерием отбора были особенности возраста: текст должен быть интересен подростку, связан с его жизнью. Это определило круг тем: межличностные отношения, смысл жизни, человек и природа, человек и технический прогресс, путешествия по родной земле, научные открытия.

В материалах для 7-го класса преобладают вопросы, связанные с ин-теграцией и интерпретацией. Это ключевая задача для подросткового возраста с учетом того, что в данной группе объединены читательские умения, предполагающие как глубокое, так и общее понимание текста (главную идею, тему и т.д.). Умения, связанные с поиском информации, прежде всего вербальной, к этому возрасту могут быть уже достаточно хорошо освоены (хотя каждый тип текстов характеризуют свои сложности), поэтому доля таких заданий невелика. Примерно та же доля приходится на задания, предполагающие рефлексию и оценку, но уже по другой причине: эта деятельность находится у семиклассников в стадии становления. Критический анализ информации — одно из ключевых умений для современного человека, он должен понимать кто, зачем, в какой ситуации ему что-либо сообщает. В предлагаемых материалах ученик должен опознать скрытую рекламу, увидеть противоречивую информацию, определить, как соотносятся друг с другом разные тексты и почему они помещены рядом.

Задания на использование информации концентрируются вокруг практических задач (покупка, бронирование, предложение некоторых правил, способов разрешения конфликтов). Задания на «перенос знаний» пока представлены только заданиями на перенос в иной временной контекст.

Рассмотрим типологию некоторых заданий на примере блока «Погружение» и попробуем ответить на вопрос: как они соотносятся с учебным процессом?

В открытом банке заданий PISA есть задача «Воздушный шар», основная часть информации в которой представлена в виде инфографики. Такие задачи непривычны для российских школьников, как правило, они вызывают затруднения. Очевидно, что в основной школе опыт работы с графической информацией надо расширять, поэтому в материалы мониторинга функциональной грамотности была включена задача такого типа. Материал для задачи «Погружение» взят из статьи в газете «Аргументы и факты» от 4 апреля 2012 г. Она содержит инфографику, посвященную погружению известного режиссера Джеймса Кэмерона в глубочайшую точку Мирового океана, и интервью режиссера, где он говорит о судьбоносной роли российской науки в его глубоководных погружениях. Интервью в задаче приведено фрагментарно, а инфографика была включена полностью.

Использование этого материала позволило создать задачу из реальной жизни. Способен ли семиклассник разобраться в статье из обычной российской газеты, которая адресована самой широкой аудитории, в основной своей массе изучавшей географию материков и океанов очень давно? Результаты выполнения всех десяти заданий приведены в Таблице 1.

От 58 до 73% учеников верно интерпретировали фразы Дж. Кэмерона, которые в контексте интервью можно было понять очень по-разному (задания 4 и 5). Две трети понимают, зачем нужен и что показывает самый маленький красный квадрат в левом верхнем углу карты (на экране компьютера он был действительно красным, задание 7). Примеры ответов: «Положение Марианской впадины в Тихом океане»; «То, какая часть карты показана в увеличенном масштабе» и т.д.

Конечно, нашлись и те, кто в назначении этого графического элемента не разобрался и дал неверный или неясный ответ:

«Местоположение», «Место затонувшего „Титаника“», «часть терри- тории России на карте Евразии» и даже «зона абсолютной темноты». Но таких ответов всего треть. Остальные — верные.

Но в то же время семиклассники гораздо хуже выполнили другие задания, в том числе те, где больших трудностей не ожидалось. Проблема, которую нужно назвать в первую очередь,— неумение точно выбирать информацию из одного «тематического поля». Легче всего это проиллюстрировать ответами на вопрос 2: «Какая из целей Джеймса Кэмерона при погружении в Марианскую впадину была целью режиссера, а не ученого?» (Дальше предлагалось выписать или скопировать из текста интервью предложение, где Кэмерон сам ее называет.) Самые частые ответы: «В первую очередь любопытство естествоиспытателя!»; «Несмотря на то что я не ученый, мною во многом движет научный интерес, желание увидеть то, чего раньше ни я, ни другие не видели»; «Я чувствую себя настоящим первопроходцем!» — или все это вместе. Как будто ученики отвечали на прямо противоположный вопрос — о цели ученого, а не режиссера. Так произошло, вероятнее всего, потому, что этим фразам предшествует выделенный шрифтом вопрос: «– А что вы пытаетесь найти или узнать, совершая глубоководные погружения, что вами движет?» Ученик читает его и формально выбирает названные далее цели и мотивы.

Действительный же ответ дан абзацем ниже: «– До вас никто на такой глубине не вел съемки в формате 3D. Что будете делать с отснятым материалом?

Д. К.: — Действительно, все время, что я провел на дне, велись съемки специальной камерой. Отснятый материал ляжет в основу документального фильма. Очень хочу, чтобы зрители всего мира увидели все то, что видел я». Ученик мог привести любое из двух последних предложений или дать ответ своими словами, например: «Он сказал, что хочет снять фильм, чтобы люди увидели то необыкновенное, что увидел он сам, когда был на дне».

Нередко встречались и ответы с другой ошибкой (по предложениям или целым абзацем): «Когда я загорелся идеей погрузиться к обломкам

„Титаника“ (Комментарий 1), меня уверяли, что это невозможно. Тогда судьба свела меня с российским ученым-океанографом Анатолием Сагалевичем. Его лаборатория, ее техническое оснащение позволили мне осуществить свою мечту. Без российской науки мое развитие как режиссера и как исследователя было бы невозможно. Я почти девять месяцев провел на судне „Академик Мстислав Келдыш“, совершив более 50 погружений на глубину от двух до пяти километров. Из них более 30 погружений — к обломкам „Титаника“ (Комментарий 2).

Здесь стратегия поиска ученика еще более формальна: он ориенти-руется на упоминание слова «режиссер» либо фильма «Титаник», с которым связаны погружения Дж. Кэмерона, совершенные им гораздо раньше и в другой части океана.

Безусловно, это задание оценивает не только умение находить и извлекать информацию, от ученика здесь требуются определенные навыки категоризации и интерпретации. Но дефицитов в умении находить и извлекать информацию это не снимает, что подтверждает статистика ответов на вопрос 1, заданный к приведенному выше абзацу. Он был в чистом виде вопросом на поиск информации, но оказался еще более трудным. «На какую максимальную глубину погружался Джеймс Кэмерон с корабля „Академик Мстислав Келдыш“»? Запишите число. км»

В тексте указано: «на глубину… до пяти километров», но это периферийная тема. Статья-то посвящена погружению в Марианскую впадину, и большинство учеников дают ответ «11 км», «10 994 м». Правильный выбор сделали только 19%.

Вопрос 6 тоже задумывался как несложный: «На какой глубине начинается зона абсолютной темноты? Запишите число. м».

На схеме есть отметка «1005 м. Последние лучи солнечного света». Логично предположить, что отсюда и начинается «зона абсолютной темноты» (как верные принимались не только ответы «1005» в любой форме записи, но и ответы: «ниже 1005» и подобные). Но, по всей видимости, школьники искали прямое упоминание абсолютной темноты, а синонимическую замену не прочитали. Либо запутались в том, где им искать ответ — в тексте интервью или на схеме. Правильный ответ дали только 13,6% учеников.

Итак, перед нами «во весь рост» проблема неумения школьников выбирать информацию среди тематически сходной. Ученики копируют или переписывают текст целыми абзацами. Такие ответы невозможно принять, даже если внутри присутствует искомая информация, потому что они содержат и другие микротемы. Другая стратегия —формальный выбор фрагментов, где упомянуты слова вопроса или слова той же тематической группы.

Проблема эта не нова — о ней говорилось и после первого иссле-дования PISA, в котором участвовала Россия, и в отчете о результатах PISA-2009, где в фокусе внимания снова оказалась грамотность чтения. Анализируя область успеха российских школьников в умении находить и извлекать информацию, Г. А. Цукерман отмечает, что они успешны только в таких заданиях, где «чтобы ответить на этот вопрос, необязательно понимать его смысл (например, понимать значение слов и терминов, использованных в вопросе). Достаточно локализовать место в тексте, где использованы те же ключевые слова, что и в вопросе. Необязательно понимать тот фрагмент текста, который объективно служит ответом на вопрос. Достаточно его процитировать» [4].

Конечно, стоить помнить, что мы говорим о результатах семикласс-ников, которых от PISA отделяют еще два года. Но, чтобы к концу основной школы эти «слабые» стороны превратились в сильные, нужно давать ученикам опыт «тонкого» различения информации, внимательной фильтрации данных, опыт следования за авторской мыслью. Как правило, это дополнительные задачи к собственно предметным. Но, только работая с «тонкими настройками» поиска, можно анализировать исторические документы, видеть этапы доказательства теоремы или мотивы героев классической литературы и просто правильно понимать условие задания на итоговой аттестации.

Второй блок проблем, которые высвечивает эта задача, условно можно назвать проблемами осмысления графической информации. В интервью Дж. Кэмерон говорит о своих ощущениях во время погружения, о своих принципах, мотивах. О самой экспедиции и глубочайшем месте океана рассказывает только инфографика. Это не просто иллюстрация к тексту, это и есть предельно насыщенный информацией текст. Вот, например, в левом нижнем углу схемы читателя предупреждают: «Рисунки даны не в масштабе». При этом что-то дано не в масштабе (например, длина кита и ширина Марианской впадины), а что-то специально изображено так, чтобы читатель мог представить себе грандиозный масштаб океанской бездны в соотнесении с известным (глубина погружения кита и глубина Марианской впадины). Но разобраться с тем, где соотношение объектов и величин реалистично, а где нет, смогли только 30% семиклассников.

Теперь зададимся вопросом — а куда, собственно, погружался со-здатель «Титаника»? На схеме ученик видит два географических названия: Марианская впадина и Бездна Челленджера. Марианскую впадину знают все, а вот название Бездна Челленджера, читатель, скорее всего, встречает в первый раз. Естественно задаться вопросом, что же это такое (тем более что и аппарат Кэмерона называется так же, только по-английски). Первая версия: Бездна Челленджера — второе название Марианской впадины, как Джомолунгма и Эверест. И если рассматривать только большую схему, такой вывод и напрашивает ся, поскольку обозначенные глубины одинаковы. Более 60% учеников пришли именно к такому выводу: Бездна Челленджера и Марианская впадина — это одно и то же, либо Бездна Челленджера — это нижняя часть Марианской впадины, ее дно. Но если посмотреть на крупномас- штабную карту в верхнем левом углу, становится ясно, что это не так. Бездна Челленджера обозначена там как одна из точек на левом краю Марианского желоба, и глубина желоба, судя по тому, что он по-разному закрашен, неоднородна. То есть в Марианской впадине есть места поглубже и «помельче». Стало быть, Бездна Челленджера — это сравнительно небольшой участок впадины, где и фиксируется максимальная глубина. Именно поэтому туда и совершалось погружение на одноименном аппарате. К выводу о том, что Бездна Челленджера — не вся Марианская впадина, а лишь ее участок, пришли 44% учеников. Но обосновать этот вывод на основе карты смогли лишь 2%. Пример: Бездна Челленджера отмечена точкой на карте, а не линией (дном впадины или самой впадиной)».

Рассмотрим вопрос, который оценивает способность критически относиться к сообщаемой информации. Джеймс Кэмерон в одиночку, рискуя жизнью, совершил научный подвиг и совершил его в благородных целях: «Надеюсь, мой опыт подтолкнет и других. Нам нужно понимать природу океана, чтобы его не погубить. А сейчас мы его губим! Относимся к нему как к источнику продовольствия и помойке одновременно». Не ставя под сомнение искренность режиссера, зададимся, однако же, вопросом: вполне ли действия самого Кэмерона соотносятся с теми принципами и целями, которые он провозглашает? Ведь действительное может расходиться с желаемым, и не обязательно по злому умыслу. А значит, анализировать любые заявления с этой точки зрения не мешает.

Итак, вопрос 10: «В интервью Дж. Кэмерон выступает против за-сорения океана. В чем его собственное погружение неизбежно будет рас-ходиться с этим принципом?» Ответы на него показали, что критично отнестись к чужим заявлениям семиклассники в большинстве своем способны. Более половины ответов содержали утверждения о том, что аппарат, на котором погружался режиссер, загрязнял океан газами, бензином, выбросами («выпускает много химикатов», «выбрасывает бактерии», «уничтожил живую среду Марианской впадины, когда брал образцы грунта» и т.д.). Встречались ответы: «У него отказали двигатели, и они были выброшены в море» и даже «Он оставил батискаф на дне Марианского желоба».

Но эти ответы содержат лишь допущения, иногда неточные и не-правдоподобные. (К слову, само погружение и подъем вообще не требовали работы двигателей, движение шло за счет силы тяжести, а затем силы Архимеда. С помощью водометных двигателей аппарат Кэмерона перемещался только по дну — всего 20 минут). А вопрос требовал фактов. И 10% учеников обратили внимание, что на схеме в качестве конструктивного элемента батискафа указан балласт массой «до 500 кг», который «сбрасывается при подъеме». Если путешествие одного человека оборачивается сбросом 500 кг посторонних для океана веществ (пусть инертных, не загрязняющих воду, но посторонних), это повод задуматься.

Теперь о том, чего не хватает нашим школьникам в их учебном опыте, чтобы работать с графической информацией. На наш взгляд, вопросов, задач, видов работы, когда нужно не просто извлекать информацию или запоминать (как при раскрашивании контурных карт), а интерпретировать, разбираться в том, что нового содержит карта, чего не содержит текст параграфа, что удается, а что не удается объяснить. Недостает опыта самостоятельного перевода текстовой информации в нетривиальную графическую, хотя визуализация окружает подростка повсюду — от инструкций к бытовым приборам до выпусков федеральных новостей. Напомним один из выводов, сделанных по результатам PISA-2000: «В том же случае, когда учащимся предлагалось несколько текстов разного характера, тексты, включающие ди- аграммы, таблицы, схемы и пр., они затруднялись даже в выполнении заданий репродуктивного характера, а именно: найти информацию, данную в явном виде, соотнести информацию из различных источников и объединить ее. Все это еще раз указывает на то, что сам процесс обучения в отечественной школе недостаточно практикоориентирован, как бы отгорожен от реалий окружающей жизни» [3]. Проблема в том, что в современных учебниках по разным предметам доля таких задач ничтожна, а педагоги не владеют необходимыми умениями, чтобы конструировать их самостоятельно. Кроме того, работа с читательской грамотностью невозможна без кооперации педагогов, преподающих разные предметы. Прежде всего образовательное со-общество должно изменить ценностные установки, понять важность формирования новых результатов — «учить для жизни». Пока же, несмотря на то, что Россия принимает участие в международном исследовании PISA начиная с 2000 года, многие педагоги не понимают, что такое читательская грамотность современного человека, и по-прежнему транслируют установку: в мониторинге должны быть только такие задания, которые ученик уже решал, они должны быть легкими, для чтения нужно предлагать только привычные сплошные вербальные тексты. Так, некоторые специалисты образовательной системы, выполнявшие экспертизу заданий, высказали следующие замечания к задаче «Погружение»:

• «Работа с картами не является собственно читательской компетентностью. Думаю, задания, включающие работу с картой, стоит исключить из данного блока».

• «Тексты перенасыщены разноуровневой информацией, что затрудняет нахождение нужного ответа».

• «Некоторые задания не соответствуют уровню 7 класса, в частности блок „Погружение“, где неуместно сочетается текст с таблицами, графиками и рисунками».

• «К концу 7 класса недостаточно сформировано умение самосто-ятельно обобщать и интерпретировать смыслы (только находить их)».

Сходные замечания были высказаны некоторыми экспертами и по отношению к тем работам для 5-го класса, которые содержали не только вербальную информацию.

Заключение

Экспертное сообщество в целом одобрило разработанный инструментарий для формирования и оценки читательской грамотности школьников, обучающихся в основной общеобразовательной школе. Экспертами отмечено разнообразие тематик, актуальных контекстов, отличающихся личностной значимостью для учащихся определенного возраста. Большинство экспертов высказали ценные конструктивные замечания, на основе которых будет проходить совершенствование инструментария. Эксперты поддержали концептуальные подходы к моделированию заданий, выразили согласие с тем, что задания должны остаться непростыми, ведь цель мониторинга не в том, чтобы задания сделать легче, приблизив их к возможностям среднего читателя, а в том, чтобы расширить возможности самих учеников. Сообществу педагогов России важно продолжать обсуждать, что такое функцио- нальная грамотность в целом и такой ее компонент, как читательская грамотность, в частности, как изменить образовательный процесс, чтобы он помогал учащимся становиться грамотными читателями.

Комментарии

1. «Титаник» — самый большой на момент постройки пароход, считавшийся непотопляемым, затонул при столкновении с айс- бергом 15 апреля 1912 года.

2. Съемки, выполненные в это время, вошли в художественный фильм «Титаник» и четыре документальных фильма.

Статья выполнена в рамках государственного задания ФГБНУ

«Институт стратегии развития образования Российской академии образования» на 2018–2019 годы «Создание методологии исследования, анализа и прогноза результатов международных и национальных исследований качества образования. Научное обоснование и проведение работ по оценке качества общего образования на основе методологии и инструментария международных исследований качества подготовки обучающихся».

Литература

1. Баранова В. Ю., Демидова М. Ю., Ковалева Г. С. и др. Комплексная работа / под ред. Г. С. Ковалевой. М.: Просвещение, 2011. 75 с.

2. Ковалева Г. С., Васильевых И. П., Гостева Ю. Н. и др. Метапредметные результаты. Стандартизированные материалы для промежуточной аттестации. 6 класс: пособие для учителя (в комплекте с электронным приложением) / под ред. Г. С. Ковалевой, Е. Л. Рутковской. М.; Спб.: Просвещение, 2014. 151 с. + 1 электрон. опт. диск (CD-ROM). (ФГОС: оценка образовательных достижений).

3. Ковалева Г. С., Красновский Э. А. Новый взгляд на грамотность. По результатам между- народного исследования PISA-2000. М.: Логос, 2004. Часть I. Грамотность чтения. Часть 2. Новые требования к содержанию и методике обучения в российской школе [Электронный ресурс]. URL: https://rus.1sept.ru/article.php? ID=200501401 (дата обращения: 01.07. 2019).

4. Цукерман Г. А. Оценка читательской грамотности. Материалы к обсуждению // Центр оценки качества образования [Электронный ресурс]. URL: http://www.centeroko.ru/public. html#pisa_pub (дата обращения: 01.07. 2019).

5. Цукерман Г. А., Ковалева Г. С., Кузнецова М. И. Победа в PIRLS и поражение в PISA: судь- ба читательской грамотности 10–15-летних школьников // Вопросы образования. 2011. № 2. С. 123–150.

6. Цукерман Г. А., Ковалева Г. С., Кузнецова М. И. Становление читательской грамотности, или Новые похождения Тяни-Толкая // Вопросы образования. 2015. № 1. С. 284–300.

7. Common European framework of reference for languages: learning, teaching, assessment // Council of Europe. Language Policy Unit, Strasbourg [Электронный ресурс]. URL: https://rm.coe. int/16802fc1bf (дата обращения: 04.06. 2019).

8. Methods and Procedures in PIRLS2016 // Boston College, TIMSS and PIRLS International Study Center / Martin M. O., Mullis I. V. S., Hooper M. (eds.) [Электронный ресурс]. URL: http:// timssandpirls.bc.edu/pirls2016/international-results/wp-content/uploads/structure/CompletePDF/P16- PIRLS-International-Results-in-Reading.pdf (дата обращения: 30.05. 2019).

9. PIRLS 2016. Assessment framework / Mullis I. V. S., Martin M. O. (eds.). 2nd edition. Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College, 2015. 190 p.

10. PISA 2018. Draft Analytical Frameworks // OECD [Электронный ресурс]. URL: https://www. oecd.org/pisa/data/PISA-2018-draft-frameworks.pdf (дата обращения: 04/06/2019).