Тестовая форма контроля в условиях компетентностного подхода

Тестовая технология контроля при реализации компетентностного подхода

Занятие Школы педагогического мастерства ЯЭТК

Цель занятия ШПМ – актуализация и систематизация знаний педагогов о тестовой технологии контроля при осуществлении образовательной деятельности с учетом требований ФГОС СПО.

Задачи:

• Познакомить с классификацией тестов, видами и типологией тестовых заданий.

• Изучить преимущества и недостатки тестового контроля, требования к разработке тестов, к тестовым заданиям, принципы тестирования.

• Изложить методику разработки современных форм тестовых заданий

• Научить правильно составлять тесты, проводить оценку качества тестов, оценивать результаты тестирования.

Сегодня мы рассмотрим одну из составляющих фондов оценочных средств – тестовые задания, которые используются для разных видов контроля.

Контроль знаний обучающихся является одним из основных элементов оценки качества образования и одновременно, управления образовательным процессом. Преподаватели ежедневно контролируют учебную деятельность обучающихся путем устных опросов и путем оценки письменных работ, на разных этапах учебного занятия используется и тестовый контроль.  

В соответствии с ФГОС СПО при педагогическом измерении в качестве объекта оценивания выступают компетенции, основой формирования которых служат знания, умения и практический опыт, которые освоены и усвоены обучающимися.

Проводить интегральную оценку сформированности общих и профессиональных компетенций чаще всего приходится комплексно, в том числе и с использованием тестирования.

Среди современных способов педагогических измерений (наблюдение, устная форма проверки знаний, письменная форма проверки знаний, собеседование в виде интервью, тестирование) наиболее объективным способом является тестирование

Все больше внимания уделяется сейчас педагогическому тестированию и как наиболее эффективному методу оценки качества образования. Быстрыми темпами развивается компьютерное тестирование, совершенствуются технологии формирования и использования тестов, расширяется банк тестовых материалов.

Тестирование возникло потому, что человеку захотелось узнать, чем и насколько он отличается от других людей, причем желательно, чтобы эти различия выражались точными количественными значениями по четко определенным параметрам. Так и появился основной принцип тестирования — выполнение одинаковых (или эквивалентных) для всех коротких заданий, по результатам которых люди сравниваются между собой.

Напомню, что наука оценивания знаний при помощи тестов появилась в нача­ле XX века на стыке психологии, социологии, педагогики и других, так называемых поведенческих наук.

Как вы поняли, речь идет о Тестологии (от англ. test — проба, греч. logos — знание) — междисциплинарная наука о создании качественных и научно обоснованных измерительных диагностических методик.

Тестология может быть педагогической, психологической или социологической, в зависимости от того, где применяется и развивается.

Тесты – не только более качественный, но и значительно более объективный способ оценивания. Объективность тестирования достигается путем стандартизации процедуры проведения и путем стандартизации и проверки показателей качества отдельных заданий и тестов в целом.

Если мы сравним тесты и привычные контрольные работы, Отличие тестов от контрольных работ является его оснащение, то есть существование жесткой процедуры проведения. Отличие тестов от экзаменов состоит в том, что тесты, используя единые критерии оценки, ставят всех обучающихся в равные условия, а это приводит к снижению предэкзаменационных нервных напряжений.

Широта теста позволяет студентов показать свои достижения на широком поле материала. Но важнейшее отличие тестов от других форм поверки знаний – его технологичность: задания имеют точный однозначный ответ, и оценивается стандартно.

Как вы знаете, тестирование в педагогике выполняет три основные взаимосвязанные функции: диагностическую, обучающую и воспитательную:

• Диагностическая функция заключается в выявлении уровня знаний, умений, навыков, уровня сформированности компетенций обучающегося. Это основная, и самая очевидная функция тестирования. По объективности, широте и скорости диагностирования, тестирование превосходит все остальные формы педагогического контроля.

• Обучающая функция тестирования состоит в мотивировании обучающегося к активизации работы по усвоению учебного материала. Для усиления обучающей функции тестирования, могут быть использованы дополнительные меры стимулирования, такие, как раздача преподавателем примерного перечня вопросов для самостоятельной подготовки, наличие в самом тесте наводящих вопросов и подсказок, совместный разбор результатов теста.

• Воспитательная функция проявляется в периодичности и неизбежности тестового контроля. Это дисциплинирует, организует и направляет деятельность обучающихся, помогает выявить и устранить пробелы в знаниях, формирует стремление развить свои способности.

Если мы говорим о Компьютерном тестировании – оно также имеет ряд преимуществ перед традиционными формами и методами контроля. Оно позволяет более рационально использовать время урока, охватить больший объем содержания, быстро установить обратную связь со студентами и определить результаты усвоения материала, сосредоточить внимание на пробелах в знаниях и умениях и внести в них коррективы.

Основными достоинствами и преимуществами данной формы контроля знаний является:

- объективность оценки, так как в тестовом контроле влияние субъективных факторов (например, таких, как осведомленность экзаменатора о текущей успеваемости экзаменующегося, учет его поведения и т.п.) исключено;

- достоверность информации об объеме усвоенного материала и об уровне его усвоения;

- эффективность - можно одновременно тестировать большое число обучающихся, причем проверка результатов при этом производится гораздо легче и быстрее, чем при традиционном контроле, что, например, обеспечивает одновременную проверку знаний обучающихся всей группы и формирует у них мотивацию для подготовки к каждому занятию;

- надежность - тестовая оценка однозначна и воспроизводима;

- дифференцирующая способность - так как в тестах содержатся задания различного уровня, то происходит реализация индивидуального подхода в обучении, возможна индивидуальная проверка и самопроверка знаний обучаемых, т.е. индивидуализация работы со студентами;

- сравнимость результатов тестирования для разных групп студентов, обучаемых по разным программам, учебникам, с использованием различных методов и организационных форм обучения.

- возможность детальной проверки усвоения обучающимися каждой темы курса;

- осуществление оперативной диагностики уровня усвоения учебного материала каждым студентом;

- правильно оформленный тест повышает интерес к предмету;

- экономия учебного времени при контроле знаний и оценке результатов обученности, минимум временных затрат на получение надежных итогов контроля, обеспечение автоматизации контроля над тестированием; 

- применение тестов позволяет решать проблему саморазвития.

Все преимущества тестового контроль проявятся только в том случае, если тестовые задания соответствуют установленным требованиям и правилам.

Но есть и отрицательные стороны у тестирования: попытайтесь их сформулировать, исходя из личного опыта.

• Затруднена проверка глубинного понимания материала, хотя и возможна;

• Невозможно проконтролировать случайные ошибки: невнимание студента, непонимание задания.

• Репродуктивность, тесты знаний апеллируют, прежде всего, к стандартному применению готовых знаний;

• Разработка качественного тестового инструментария – длительный, трудоемкий процесс.

• Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.

• Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

• Широта охвата тем в тестировании имеет и обратную сторону. Обучающийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

• Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.

• В тестировании присутствует элемент случайности. Например, студент, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста.

Было проведено небольшое исследование - какой в среднем балл может получить ученик, отвечая на вопросы теста наугад.  Группе учеников было предложено десять тестов на различные темы, которые отличались количеством вопросов, интерфейсом и способом реализации. Поскольку исследовалась именно вероятностная составляющая теста, учащиеся отвечали, не задумываясь над сутью вопроса. Контрольным измерением каждого теста был процент правильно выполненных заданий. Всего было произведено 120 измерений. Контрольные значения колебались в пределах от 5% до 64%. Среднее значение, полученное по результатам всех измерений = 28,10%

Большинство значений лежат в промежутке от 20% до 40%. Таким образом, обучающийся, отвечающий наугад, может рассчитывать лишь на тройку, в лучшем случае. Конечно, случайность исключить нельзя, но определяющей она не является.

Элемент случайности и студенческой интуиции неизбежен, разработчик теста должен предвидеть такую ситуацию. Чтобы свести к минимуму возможность угадать правильно, предлагаются следующие советы. Итак, если тестируемый не знает настоящего правильного ответа, в своем выборе он будет действовать следующим образом:

• предпочитать более развернутые, более обоснованные ответы, которые учитывают частные случаи, и избегать кратких, менее развернутых. Разработчик теста знаний может этим воспользоваться и сделать верный ответ кратким;

• если ответы образуют последовательность (например, на вопрос о дате Куликовской битвы: (1) 1200 год, (2) 1240 год, (3) 1300 год, (4) 1380 год), респондент будет стремиться дать средний ответ, предполагая, что правда в золотой середине. И ошибется, потому что Куликовская битва была в 1380 году, а автор задания позаботился о том, чтобы поставить верный ответ с краю;

• выбирать более наукообразные ответы, содержащие малоизвестные или иностранные слова;

• выбирать ответы, напоминающие по стилю написания что-то очень знакомое, ассоциирующееся с известной частью предметной области.

 Неоднозначное отношение педагогов к использованию тестового контроля известно.

Как относятся к тестам ученики?

Было проведено анкетирование учащихся с 6 по 11 класс :

1. Обычно я осмысленно отвечаю на вопросы теста, не рассчитывая на удачу.

2. Если бы я мог(могла) выбирать между ответом на вопросы теста и выполнением письменной работы с развернутым ответом, то я бы предпочел(предпочла) тест. (94,28%)

3. Я считаю, что оценка за тест объективно оценивает мои знания по данной теме (в случае отрицательного ответа поясните. завышена эта оценка или занижена, на ваш взгляд). 

 Результаты, как мы видим, оказались предсказуемы. Большинство (94,28%) предпочли бы тест письменной работе или устному развернутому ответу.

Возможно, это подтверждает одно из опасений, что при выборочных ответах обучающийся привыкает работать с готовыми формулировками и оказывается не в состоянии излагать получаемые знания грамотным языком.

Что же касается объективности оценки, то здесь мнения разделились. 68,75% участников опроса согласились с тем, что получают объективную, действительную оценку своих знаний при ответе на тест. Среди несогласных с этим мнением 12,5% считают, что тест завышает оценку, 18,75% - занижает.

 Приведенные выше недостатки говорят о том, что абсолютизировать возможности тестовой формы измерения и контроля знаний не следует. Не все необходимые характеристики усвоения знаний и умений можно получить средствами тестирования. Например, такие показатели, как умение конкретизировать свой ответ примерами, знание фактов, умение связно, логически и доказательно выражать свои мысли, некоторые другие характеристики знаний, умений, навыков, диагностировать тестированием невозможно. Это значит, что тестирование должно обязательно сочетаться с другими  формами и методами проверки и контроля знаний обучающихся.

Несмотря на указанные минусы тестирования как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебном процессе.

Цель тестового контроля - обеспечение диагностичности, точности измерения качества знаний.

Но тесты нельзя делать единственным исчерпывающим методом любой диагностики, место тестов – дополнять традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам.

Тестовая технология дополняет традиционную систему контроля системой тестов различного назначения, что позволяет получить достоверную и оперативную информацию об уровне усвоения знаний, достигнутом каждым обучаемым.

Тесты являются эффективным средством проверки качества знаний, получаемых студентами, и оперативного контроля хода обучения.

Процесс тестирования может быть разделен на три этапа: 
1) выбор теста (определяется целью тестирования и степенью достоверности и надежности теста); 
2) его проведение (определяется инструкцией к тесту); 
3) интерпретация результатов (определяется системой теоретических допущений относительно предмета тестирования).

В классической - отечественной и зарубежной - теории тестов существует общепринятая классификация тестовых заданий:

- задания закрытой формы, ЗЗФ (multiple-choice item) (ТМВ - тест множественного выбора, задания с выбором правильного/правильных ответа/ответов, избирательные тесты - приведенные наименования являются терминами-дублетами основного);
- задания открытой формы, ЗОФ (free response item, recall-tupe ts.) (открытые задания, задания на дополнение, задания со свободно конструируемым ответом, тест по методике дополнения, методика восстановления, клоуз-тест - перечень дублетных наименований);
- задания на установление соответствия, ЗУС (matching item) (задания на соответствие, тест перекрестного выбора); 
- задания на установление правильной последовательности, ЗЗУП (тест на систематизацию, тест на группировку) 

Структура теста

Для разработки и составления тестов одних только знаний преподаваемой дисциплины недостаточно. Каким бы хорошим преподавателем вы не были по своему предмету, но без специальных знаний о структуре тестов, о видах тестовых заданий, о принципах построения тестов качественный тест составить нельзя.

Тест — система заданий в соответствующей форме.

Структурные компоненты теста

Такая структура соответствует и требованиям к комплектам оценочных средств – обязательные пакет экзаменатора и пакет для экзаменующегося.

При разработке и использовании уже готовых тестов важно знать, насколько они соответствуют запроектированным целям. Ответ на этот вопрос дают критерии качества теста.

Надежность – характеристика теста, показывающая обеспечивает ли тест объективность результатов; отражающая точность диагностических измерений; надежность обозначает устойчивость результатов теста к действию случайных факторов.

Валидность (пригодный) – характеристика теста, указывающая на то, что тест измеряет и насколько хорошо он это делает; она показывает пригодность тестовых результатов для той цели, ради которой проводится тестирование (качество заданий, их число в тесте, глубина охвата содержания, баланс распределения заданий в тесте по степени трудности).

Объективность – оценивания, как показала практика, обеспечивается максимальной стандартизацией ее проведения. Объективность процедуры измерения возможна лишь при одинаковых условиях для всех участников. Кроме того, эта процедура должна дополняться объективностью обработки данных и интерпретации полученных результатов.

Основное требование к тестовым заданиям: однозначность ответа.

Не может быть так, что правильный вариант, в конечном итоге – или…., или…..

Хочу остановиться на еще одной классификации тестов - по уровню сложности. Другие подходы к классификации тестов и рекомендации к их использованию – в Приложении 4 в вашем раздаточном материале.

По уровню сложности:

1. Задания фактического уровня (задания, где требуется умение прочитать, формулировать, идентифицировать).

2. Задания операционно-алгоритмического уровня (задания, где требуется построить алгоритм, провести расчет по формуле, описать технологию применения).

3. Задания аналитическо-творческого уровня (задания, где требуется классифицировать, интегрировать результаты, вывести следствия, определить смысл)

Вспомните ваши рабочие программы дисциплин, профессиональных модулей.

Для характеристики уровня освоения учебного материала вы используете следующие обозначения:

1. – ознакомительный (узнавание ранее изученных объектов, свойств);

2. – репродуктивный (выполнение деятельности по образцу, инструкции или под руководством)

3. – продуктивный (планирование и самостоятельное выполнение деятельности, решение проблемных задач)

Классификация тестов по уровню сложности соответствует уровням усвоения материала, и это надо учитывать при разработке тестов.

Пример: математика

1. Вписанный угол, опирающийся на диаметр окружности:

а) всегда острый; б) всегда прямой; в) всегда тупой; г) острый или тупой в зависимости от диаметра окружности.

1. Окружность, описанная около прямоугольного треугольника с катетами 3 и 4 см, имеет диаметр а) 3 см; б) 4 см; в) 5 см; г) 7 см

2. Окружность, описанная около тупоугольного треугольника. Ее центр расположен: а) внутри треугольника. б) вне треугольника; в) на одной из сторон треугольника; г) внутри или вне треугольника в зависимости от диаметра окружности.

Рекомендации к составлению тестов

1. Задания открытого типа (ЗОФ): Приложение 1.

• вместо многоточия вписать только одно слово или знак, символ и т. п.;

• вместо многоточия вписать словосочетание, фразу, предложение.

Формулировка задания: закончите предложение, дополните определение, впишите вместо многоточия правильный ответ и т. п.

Правила составления таких заданий:

• использовать не более трех пропусков подряд, лучше 1—2;

• дополнять нужно наиболее важное — то, что проверяем;

• дополнение лучше ставить в конце предложения;

• вопрос формулируем четко;

• ответ должен быть четким и однозначным.

Эти задания нравятся студентам, снижают утомляемость.

Наибольшая трудность при составлении — наличие однозначного ответа.

Пример:

вопрос: Биосфера — это...

ответ: часть геологической оболочки земли, населенная живыми организмами.

(неверно сформулировано)

Лучше так: Часть геологической оболочки земли, населенная живыми организмами называется...

2. Задание закрытого типа (ЗЗФ) 

Альтернативный ответ - Задания с выбором одного правильного ответа из двух предложенных вариантов (true/false item)

Задания с выбором одного правильного ответа из двух предложенных

вариантов требуют одного варианта ответа, например "да" - "нет", "верно" - "неверно" или правильно/ неправильно.

Формулировка задания: Верно ли высказывание; отметьте только верные высказывания и т. п.

Использование таких заданий в виде отдельного вопроса часто приводит к простому тестированию.

При конструировании таких вопросов используется один из основных композиционных принципов:

1) принцип противоречия (подбираются варианты ответа, являющиеся отрицаниями друг друга);

2) принцип полярности (да и нет). Наряду со строгими отрицаниями допустим подбор ответов, которые, являясь антонимичными по смыслу, допускают существование переходных понятий (состояний): убывающая - возрастающая; периодическая - непериодическая; выпуклая – вогнутая; положительные – отрицательные;

3) принцип однородности (подбираются такие два ответа, которые относятся к одному роду, виду или отображают 2 основные стороны (грани) явления, например, слова, противоположные по смыслу: синонимы – антонимы;

4) принцип кумуляции (содержание второго ответа вбирает в себя содержание первого).

Достоинствами тестовых вопросов с выбором ответа из 2-х предложенных вариантов являются:

- краткость и ясность заданий,

- простота инструкций;

- высокая технологичность,

- быстрота тестирования;

- опора конструкции теста на законы формальной логики (закон противоречия, закон исключенного третьего).

Недостатками данной тестовой конструкции являются относительно высокая вероятность угадывания правильного ответа (1/2), возможность запоминания правильного ответа (ввиду ограниченности предлагаемых вариантов), быстрое рассекречивание (тестируемые передают друг другу содержание запомнившихся заданий и ответы на них).

Приведем пример:

Для приготовления бисквитного теста следует использовать муку с

содержанием слабой клейковины около 30%.

Да

Нет

Пример: Багдад — столица Ирана. Да — Нет. (Не очень хорошо, лучше: Столица Ирана — ....)

Подходят такие задания для проверки усвоения сложных определений, сложных процессов, графиков, диаграмм, таблиц, схем, которые могут быть разбиты на части.

Пример:

В определение биосферы входят следующие утверждения:

1. ... это часть геологической оболочки земли да/нет

2. ... это часть биологической оболочки земли да/нет

3. ... это часть гидрологической оболочки земли да/нет

4. ... это часть, где присутствует воздух да/нет

5. ... это часть, населенная организмами да/нет

6. ... это часть, где возможна жизнь да/нет (да-нет-нет-нет-да-нет)

Прямоугольный параллелепипед есть правильная призма да/нет.

(Хороший вопрос, проверяет глубокое усвоение понятия, умение сопоставлять и делать выводы.)

Правила составления таких заданий;

• вопрос должен содержать одну законченную мысль;

• в вопросе надо избегать слов, дающих возможность учащимся догадаться о правильном ответе (“иногда”, “обычно” и т. п,)

• вопрос должен быть четко сформулирован, избегать слов “мало”, “много”, “меньше”, “больше” и т. п.

• не должно быть пространственных выражений и вопросов типа “Не считаете ли вы, что...”

• число ответов “да” и “нет” в тесте должно быть приблизительно равным, чтобы исключить тенденцию отвечать одинаково.

3. Задание с множественным выбором (ЗЗФ)

Это основной вид заданий, применяемый в тестах. Формулируется задание и предлагаются варианты ответов. Задачи формулируются так, чтобы было не менее 3 правдоподобных ответов, похожих на правильные.

Правила составления таких заданий:

• вопрос должен содержать только одну мысль или утверждение;

• все ответы должны быть грамматически согласованы с основной частью задания;

• как можно реже использовать отрицание в основной части;

• ответ не должен зависеть от предыдущих ответов;

• лучше использовать длинный вопрос и короткий ответ;

• место правильного ответа не должно повторяться из вопроса к вопросу;

• если ставится количественный вопрос, то ответы располагаются от меньшего к большему;

• правильные и неправильные ответы должны быть однозначны по содержанию, структуре и количеству слов.

Приведем примеры:

1. Определите расход краски Capadecor Arte-Lasur Color при окраске поверхностей помещения площадью 66,5 м2 в два слоя, если расход краски на 1

м2 – 130 г.

1) 17,29 кг

2) 17,50 кг

3) 17,85 кг

4) 18,00 кг

Требования по разработке тестовых заданий с одним правильным ответом,

состоящих из задачной формулировки и вариантов ответа.

Задачная формулировка:

1. конкретна и однозначна;

2. формулируется предельно кратко, как правило, не более одного предложения из семи-восьми слов;

3. имеет предельно простую синтаксическую конструкцию, и не должна содержать более одного придаточного предложения;

4. дается в форме утверждения, которое обращается в истинное или ложное высказывание после подстановки одного из ответов;

5. включает все повторяющиеся слова из формулировок ответов.

Варианты ответа:

6. должны быть приблизительно одной длины и являться равновероятно привлекательными для испытуемых;

7. должны быть параллельными по конструкции и грамматически согласованными с задачной формулировкой;

8. должны исключать все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

9. не должны содержать слова «все», «ни одного», «никогда», «всегда», выражения «ни один из перечисленных», «все перечисленные».

10. не должны содержать ответы, вытекающие один из другого;

11. не должны содержать оценочные суждения и мнения ученика по какому- либо вопросу;

12. не должны являться частично правильным ответом, превращающимся при определенных дополнительных условиях в правильный ответ;

13. не должны служить ключом к правильным ответам на другие задания теста (т.е. не следует использовать ответы из одного задания в качестве ответов к другим заданиям теста).

14. если задание имеет среди прочих альтернативные ответы, не следует сразу после правильного приводить альтернативный ответ, так как внимание отвечающего обычно сосредоточивается только на этих двух ответах.

Задания с выбором нескольких правильных ответов из фиксированного набора вариантов

считаются наиболее трудными, т.к. предполагают не только выбор правильных ответов, но и анализ их полноты.

задания такого типа могут быть использованы для проверки классификационных знаний, знания причин важных явлений и событий.

Среди основных требований к данному типу заданий выделяют: краткость и однородность вариантов ответов.

Приведем пример:

Что не входит в содержание технологической карты?

А. перечень операций в технологической последовательности

Б.перечь оборудования и инструмента

В.количество одновременных мест обслуживания

Г. норма времени на отсутствие деталей на складе.

4. Задания на соответствие (ЗУС)

Это задания где необходимо найти или приравнять части, элементы, понятия, восстановить соответствие между элементами двух списков.

Формулировка задания: установите стрелочками соответствие и т. п.

Подходят эти задания для выяснения фактической информации. Главный “минус” этих заданий — тривиальность (простота) тестирования. Их назначение: проверка ассоциативных знаний, проверка знания взаимосвязей, определений и фактов, форм и содержания, авторства произведений и научных работ; соотношений между различными объектами, предметами, свойствами, связями, формулами.

Основная сфера применения заданий на соответствие – текущий и тематический контроль знаний. Максимально эффективны задания данного типа при организации самоконтроля.

Правила составления таких заданий:

• число данных одного списка не должно превышать 10;

• все списки должны помещаться на одной странице;

• все ответы по конструкции должны быть однородны.

Для усложнения заданий и исключения угадывания длина списков не должна совпадать.

Пример: Укажите буквой, какому автору принадлежат книги, указанные в следующем списке (оставить не заполненной графу напротив книги автор, которой не указан в левом списке).

Задания на установление правильной последовательности

Различают три специфические группы тестовых заданий на установление последовательности:

связанные с установлением правильной последовательности исторических событий, на установление верной последовательности технологических операций, последовательностей различных процессов, цепочки умственных действий, образующих систему знаний, умений, навыков.

Тестовые задания на установление правильной последовательности позволяют "проверять алгоритмические знания, умения и навыки, необходимые для установления правильной последовательности различных действий, операции, расчетов".

13