каким требованиям должны отвечать задания в тестовой форме
EduNeo
актуальные методики преподавания, новые технологии и тренды в образовании, практический педагогический опыт.
Как правильно создавать тестовые задания для учащихся
Прежде чем мы перейдем к принципам разработки тестов, необходимо сделать ряд замечаний.
Различия между тестом и заданиями в тестовой форме
В обыденном сознании постоянно смешиваются понятия теста и системы заданий в тестовой форме (или предтестовых заданий).
Тест только тогда может считаться тестом, когда были произведены необходимые статистические расчеты – выявлены показатели трудности, надежности, валидности и ряд других.
Как правило, тест разрабатывается коллективом исследователей и апробируется в течении определенного времени. После апробации в тест вносятся коррективы. Тест состоит из тестовых заданий. В англоязычной литературе для обозначения теста употребляется термин «Quiz» (но не «Test»!).
Таким образом, преподаватель (учитель) не может создавать тесты. Вместо этого, он разрабатывает задания в тестовой форме, которые внешне похожи на тест, но не проходят статистической и иной апробации. Такие задания можно использовать в образовательном процессе для решения определенных педагогических задач.
Из этого следует принципиальная невозможность использования ряда характеристик теста. Например, трудность тестового задания определяется экспериментально, исходя из результатов большого объема выборки учащихся. На практике учитель не располагает как временем для проведения эксперимента, так и необходимым объемом выборки. Поэтому часто трудность определяется «на глазок».
В общем виде задания в тестовой форме (как и тестовые задания) отвечают следующим требованиям:
Так, краткость заданий в тестовой форме обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смыслового содержания задания. Технологичность заданий определяется как свойство, которое позволяет вести процесс тестирования с помощью технических средств, и делать это точно, быстро, экономично и объективно. Логическая форма высказывания – это средство упорядочения и эффективной организации содержания задания.
Формы тестовых заданий
Кроме того, принципы разработки тестовых заданий (заданий в тестовой форме) связаны с их формами. Разные авторы по-разному классифицируют формы тестовых заданий. Положение усугубляется тем, что каждая автоматизированная система для проведения тестирования называет одни и те же формы по-разному. Обобщим все многообразие форм тестовых заданий следующей классификацией.
Первым президентом США был Джордж Вашингтон
В ЕГЭ подобные задания встречаются в КИМах по иностранным языкам в заданиях на аудирование: учащиеся слушают текст, далее переходят к заданиям типа Правда или Ложь.
Данная форма тестовых заданий самая простая как для составления преподавателем, так и для ответа обучающимся. Такие формы задания характеризуются высокой степенью угадывания правильного ответа.
2. Множественный выбор (задания с выбором одного или нескольких правильных ответов). Эта самая распространённая форма тестовых заданий. Она содержит утверждение (вопрос) и альтернативные ответы.
Для заданий с выбором одного правильного ответа рекомендуется не менее 4 (если меньше, то вероятность угадывания правильного ответа увеличивается) и не более 6 (трудно придумать правдоподобные альтернативы).
Для заданий с выбором нескольких правильных ответов рекомендуется не менее 6 альтернатив.
3. Задания на установление соответствия. Оно представляет собой набор элементов в двух столбцах – обучающемуся нужно установить соответствие между элементами левого и правого столбцов. Наличие заголовка для каждого набора столбцов является обязательным – он позволяет учащемуся не тратить время на обобщение элементов в столбцах и сразу перейти к упражнению.
Тоже задание, переформатированное с учетом специфических требований:
Древнерусские названия
Современные аналоги
Как мы видим, во втором случае задание более читабельно, его смысл легко улавливается. Обратите внимание, что, например сервис OnlineTestPad и некоторые другие позволяют добавлять такие заголовки. Другие (как Moodle) не обладают таким функционалом. В этом случае необходимо писать полную инструкцию, например, «Установите соответствие между ….и….»
В бумажных тестах такой формы заданий для правильного ответа предлагается заполнить специальную табличку. Вариант со стрелочками считается менее технологичным для проверки, поэтому его следует избегать.
Также желательно устанавливать нечетное количество элементов левого и правого столбца, чтобы последний элемент выбирался не методом исключения.
Посмотрите на это задание:
Расположите имена русских полководцев в хронологической последовательности (по возрастанию) их деятельности
Это тоже задание на установление соответствия, точнее, его разновидность – задание на установление правильной последовательности. Ряд зарубежных исследователей склонны к такому объединению. Именно поэтому, например в Moodle мы не найдем такой формы. Но ее легко можно сконструировать из задания на установление соответствия. Для наглядности немного переформатируем предыдущее задание:
Хронологическая последовательность (по возрастанию) их деятельности
Полководцы
Мы видим классическое задание на соответствие, просто левый столбец представляет собой числовой порядок. Правильные ответы обучающийся также заносить в специальную таблицу.
Иногда описанные выше задания верно-неверно, множественного выбора и соответствия объединяют в группу заданий закрытого типа, которые обладают следующими общими чертами:
5. Дополнение (краткий ответ). В этих заданиях учащемуся необходимо дописать правильный ответ. Иногда такой тип заданий называют заданиями открытого типа. В отличие от рассмотренных выше форм тестовых заданий, такие стратегии как угадывание, припоминание правильного ответа и др. «не работают». Поэтому данный тип задания считается более трудным для обучающихся.
6. Эссе – краткий ответ учащегося по сути вопроса. Строго говоря эссе не является формой тестового задания, т.к. он не соответствует необходимым критериям краткости, технологичности и прочее. По нашему мнению, эссе было введено для преодоления известных трудностей при составлении типичных тестовых заданий, главные из которых – невозможность представить весь учебный материал в тестовом виде и репродуктивный характер типичных тестовых заданий.
Тем не менее в заданиях эссе должны быть предложен(ы) эталон(элементы) оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения.
При каких значениях х соответственные значения функций f(х)=log 2 x и g(х) = log 2 (3 – х) будут отличаться меньше, чем на 1?
Критерии для оценивания правильного ответа
| Баллы | Критерии оценки выполнения задания 9 |
| 2 | Приведена верная последовательность шагов решения: 1) составление неравенства, содержащего модуль; 2) решение неравенства. Все преобразования и вычисления проведены правильно, получен верный ответ |
| 1 | Приведена верная последовательность шагов решения. При решении неравенства в шаге 2 допущена описка и/или негрубая вычислительная ошибка, не влияющая на правильность дальнейшего хода решения. В результате этой описки и/или ошибки может быть получен неверный ответ |
| 0 | Все случаи решения, не соответствующие указанным выше критериям выставления оценок в 1 или 2 балла |
Принципы разработки заданий в тестовой форме
Следующее, на чем нас стоит остановиться – на принципах разработки заданий в тестовой форме.
Долгое время существовала убеждённость, что тест сам по себе является объективным средством контроля. Однако затем пришло понимание, что тест обеспечивает, в первую очередь процедурную объективность. Для оценки же качества теста существует ряд смежных направлений – надежность (гарантия отсутствия в тесте случайных ошибок), валидность (гарантия, что тест измеряет именно то, что он должен измерять), трудность и т.д. Как мы указывали выше, все эти параметры разрабатываются на основе различных математических моделей в ходе экспериментальной работы авторского коллектива и недоступны для учителей, преподавателей. Поэтому мы лишь остановимся на ряде теоретических требований к разработке заданий в тестовой форме.
Мы будем изучать латинский язык потому, что…
Это хорошее задание. Но его следует использовать в социологическом опросе, а не в заданиях на проверку учебных достижений.
Данное задание направленно на выявление сразу двух элементов – где жил Конфуций и кем он был. Необходимо разделить эти два вопроса.
«Анадырская впадина. Очень плоско, и Анадырь по ней виляет огромным удавом… «Анадырь – жёлтая река», – можно так назвать потом очерк. Тундра и озёра по всей впадине. Трудно понять, чего больше: или озёр, или земли» (О. Куваев). В какое море впадает эта река?
Вполне понятно желание авторов разнообразить задание в тестовой форме, сделать его более поэтичным. Однако прочтение вводной части занимает много времени и размывает суть задания.
Родина Карла Маркса:
Здесь можно предположить, что город Карл-Маркс-Штадт получил свое название потому, что в именно в нем родился Карл Маркс. Однако правильный ответ – Трир.
Какое суждение верно?
Нетрудно увидеть, что здесь есть повторяющееся словосочетание, которое и следует вынести в формулировку задания:
Неполные предложения ‒ это предложения, в которых пропущен
Жили ли или нет эти люди в реальности в Древней Греции?
В данном случаи не ясно как отвечать – да жили, или да не жили. Поэтому вопрос нужно сформулировать более точно, например: Назовите мифологических персонажей Древней Греции.
Удаленность от Солнца
В данном пример существуют как бы два набора правильных вариантов ответов – одна последовательность от наиболее близкой планеты от Солнца, другая – от наиболее удаленной.
И помните – не каждое задание можно представить в виде тестового контроля.
При написании статьи использовались примеры http://koi.tspu.ru/koi_books/samolyuk/
Требования, предъявляемые к тестовым заданиям. Психолого-педагогические аспекты тестирования
Ищем педагогов в команду «Инфоурок»
Описание презентации по отдельным слайдам:
Описание слайда:
Лекция №6
Требования, предъявляемые к тестовым заданиям. Психолого-педагогические аспекты тестирования.
План лекции:
Требования, предъявляемые к тестовым заданиям.
Требования, предъявляемые к банкам тестовых заданий.
Последовательность разработки педагогических тестов и БТЗ.
Программное обеспечение процедуры тестирования (АСТ).
Психолого-педагогические аспекты тестирования
Описание слайда:
1. Требования, предъявляемые к составлению тестовых заданий:
Тестовое задание должно быть представлено в форме краткого суждения, сформулированного четким языком, исключающего неоднозначность заключения тестируемого на требования тестового утверждения.
Содержание задания должно соответствовать требованиям ГОС.
Содержание тестового задания НЕ должно содержать повторов, двойных отрицаний и сленга.
В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора.
Формулировка тестового задания должна быть выражена в повествовательной форме (вопрос исключается).
Описание слайда:
Требования, предъявляемые к составлению тестовых заданий:
В формулировке ТЗ не должно быть повелительного наклонения (выберите, вычислите, укажите и т.д.).
Ответ не должен зависеть от предыдущих ответов студента.
Ни в тексте, ни в ответах не должно быть подсказок.
Тестовое задание может быть представлено в стандартизированной форме (открытое, закрытое и т.д).
Форма ТЗ должна быть узнаваемой и не требовать дополнительных пояснений по способу ввода тестируемым заключения.
Описание слайда:
Требования, предъявляемые к составлению тестовых заданий:
11. Требования к заданиям закрытого типа:
а)Не должно быть заведомо ложных, а также явно выделяющихся, обособленных ответов. Правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов. Следует применять правдоподобные ошибочные варианты, взятые из опыта.
б)В заданиях закрытого типа дистракторы не должны начинаться или заканчиваться повторяющимися словами или выражениями. Количество дистракторов в задании должно находится в пределах от 4 до 6.
в)недопустимы ответы типа: все выше перечисленное верно, все указанные ответы неверны.
г)лучше «длинный» вопрос и «короткие» ответы, чем наоборот.
д)количество слов в формулировках тестового задания не должно превышать 13-и.
е)в заданиях закрытого типа с выбором нескольких ответов из 5 ответов должно быть 2 или 3 правильных.
Описание слайда:
Требования, предъявляемые к составлению тестовых заданий:
12. Задания на установление соответствия и правильной последовательности должны начинаться со слов:
Соответствие … (а не установить соответствие)
Последовательность (а не установить последовательность)
Описание слайда:
2. Требования, предъявляемые к тестам и банкам тестовых заданий
Банк тестовых заданий
Тест
Тестовое задание
Описание слайда:
К основным свойствам БТЗ должны быть отнесены:
предметная направленность банка;
содержание (состав и взаимосвязь дидактических единиц, образующих содержание учебной дисциплины);
объем (количественный и качественный состав ТЗ, входящих в банк);
структура (способ упорядочения тестовых заданий, образующих банк);
качество ТЗ и банка в целом, обеспечивающее получение объективных и достоверных результатов тестирования;
возрастающая трудность ТЗ.
Описание слайда:
Элементарной дидактической единицей, обеспечивающей возможность преобразовать содержание дисциплины во множество тестовых заданий, является утверждение или, иначе, высказывание — повествовательное предложение, имеющее определенный смысл и значение.
Описание слайда:
Описание слайда:
Описание слайда:
Возможные подходы к структурированию БТЗ («дерева»)
Первый подход:
раздел дисциплин;
дидактическая единица ГОС;
понятие, раскрывающее дидактическую единицу.
Второй подход:
дидактическая единица ГОС;
раздел дисциплин;
понятие, раскрывающее дидактическую единицу.
Третий подход:
раздел программы;
дидактическая единица ГОС;
уровень трудности ТЗ (легкое, среднее, трудное)
Описание слайда:
БТЗ должен быть сформирован так, чтобы обеспечить:
Выявление всего состава знаний и умений, формируемых данной учебной дисциплиной в соответствии с требованиями ГОС и/или целями ее изучения, указанными в рабочей программе.
Отображение составом ТЗ, включенных в банк системы знаний, охватываемых содержанием учебной дисциплины.
Возможность формирования ПТ различного назначения:
входной контроль;
текущий контроль;
итоговый контроль;
контроль остаточных знаний.
Описание слайда:
БТЗ должен быть сформирован так, чтобы обеспечить:
Возможность формирования требуемого количества ПТ заданного назначения и количественного состава: от нескольких десятков до сотен тестов.
Возможность формирования ПТ, имеющих иерархическую структуру и состоящих из ТЗ трех уровней трудности:
первый уровень (задания легкие);
второй уровень (задания средней трудности);
третий уровень (задания трудные).
БТЗ должен состоять из ТЗ четырех различных
форм.
Описание слайда:
Статистическая трудность определяется долей верных ответов на тестовое задание.
Описание слайда:
Требования к наполнению БТЗ:
адекватность тестовых заданий содержанию учебного материала и «веточке дерева» БТЗ;
использование 4 форм тестовых заданий в пропорциональном соотношении (по 25%): открытые, закрытые, на упорядочение, на соответствие;
равномерное распределение тестовых заданий по трудности тестовых заданий (33% – легкие; 33% – средней трудности; 33% – трудные);
общее количество не менее длины одного теста.
Описание слайда:
3. Последовательность разработки педагогических тестов и БТЗ
Процесс создания педагогического теста или БТЗ состоит из ряда строго последовательных этапов:
Определение цели тестирования, области содержания теста, выбор вида теcта, подхода к его созданию.
Цели тестирования:
входной, текущий, итоговый или отсроченный контроль.
Подход к созданию БТЗ:
нормативно- или критериально-ориентированный.
Описание слайда:
Анализ содержания учебной дисциплины и отбор содержания для теста. Данный этап очевиден, он предполагает работу с ГОС и учебными программами.
Определение структуры теста. Разработка спецификации теста.
Составление тестовых (предтестовых) заданий. Определяется проектируемая трудность тестовых заданий.
Экспертный анализ содержания и формы тестовых заданий и теста в целом.
Описание слайда:
Переработка содержания и формы заданий по результатам экспертизы.
Разработка и проведение пробного тестирования.
Сбор эмпирических результатов.
Статистическая обработка результатов тестирования.
Оценка качества тестовых заданий и теста в целом с помощью статистических методов.
Корректировка теста по результатам предыдущего этапа.
Составление окончательного варианта теста, нормирование (установление норм) и стандартизация теста.
Описание слайда:
4. Программное обеспечение процедуры тестирования (АСТ).
Конструктор тестов
Генерация теста
Конвертер
Администратор
Студенты
Сервер
Player
SWAP
Данные
Преподаватель
Коррекция учебного процесса
Описание слайда:
Описание слайда:
АСТ-Администратор – программа Test_Administrator предназначена для удаленного управления процедурой тестирования и получения статистических данных и результатов.
Комплекс программ для проведения и сопровождения процедуры тестирования
Описание слайда:
Если Вы считаете, что материал нарушает авторские права либо по каким-то другим причинам должен быть удален с сайта, Вы можете оставить жалобу на материал.
Методические рекомендации по составлению тестовых заданий
Ищем педагогов в команду «Инфоурок»
по учебной дисциплине
Методические рекомендации содержат основные требования к разработке тестов для проведения внутреннего аудита качества профессиональной подготовки обучающихся, образцы тестовых заданий, перечень типичных ошибок, допускаемых преподавателями при составлении тестов. Предназначены для преподавателей – составителей тестов. Методические рекомендации могут быть полезны при разработке тестов для обучающихся учреждений начального, среднего и высшего профессионального образования.
Педагогический тест как контрольно-измерительный материал
Этапы и общие требования к разработке теста
Виды тестовых заданий
Типичные ошибки, допускаемые при составлении вопросов к тесту
Внутренняя экспертиза теста
Оформление тестового материала и подготовка его к компьютерному варианту тестирования
Список рекомендуемой литературы
В связи с модернизацией современного высшего образования, с введением ФГОС третьего поколения, возрастают требования к повышению качества педагогического контроля, ведется поиск его лучших форм и методов, его экономичности, оптимизации. Оценка качества образования также на сегодняшний день является наиболее приоритетной проблемой в образовательной деятельности. Новый стандарт предполагает также переход на рейтинговую систему контроля и оценки знаний слушателей, в связи с этим большое значение приобретает измерение результатов усвоения программного материала.
Мониторинг качества образовательной системы предполагает, прежде всего, регулярный сбор и обработку информации об уровне профессиональных знаний, умений студентов. Одним из основных инструментов оценки качества уровня обученности студентов является тестирование вообще и компьютерное тестирование в частности, позволяющие дать достаточно объективную нормативно-ориентированную оценку учебных достижений обучающихся.
Каким содержанием наполнено понятие «педагогический тест»? Какие классификации педагогических тестов существуют, и какие критерии применяются для оценки качества педагогических тестов? В чем преимущество тестовых форм контроля в процессе обучения? Что понимается под термином «тестовое задание», и какие правила необходимо соблюдать при составлении тестовых заданий? Как составить тестирование обучающихся при подготовке к внутреннему тестированию в рамках внутривузовской проверки качества профессиональной подготовки? Ответы на эти вопросы, а также конкретные образцы тестовых заданий разного вида представлены в данном учебно-методическом издании.
Педагогический тест как контрольно-измерительный материал
Педагогический тест является наиболее распространенным контрольно-измерительным материалом в современном образовательном процессу в вузе. Педагогический тест — это совокупность заданий, отобранных на основе научных приемов для педагогического измерения в тех или иных целях.
Педагогический тест рассматривается как система, как упорядоченное множество тестовых заданий. Задания — это те элементы, «кирпичики» из которых составляется педагогический тест.
Почему именно тестирование становится все более массовым явлением в процессе педагогического оценивания?
Опыт использования тестов в качестве инструмента для оценивания позволяет выделить многие его преимущества, в частности, тест:
это более качественный и объективный способ оценивания, что достигается путем стандартизации процедуры проведения (отсутствие субъективной оценки на всех этапах тестирования) и стандартизации заданий;
более емкий инструмент – показатели тестов ориентированы на измерение степени, определение уровня усвоения ключевых понятий, тем и разделов учебной программы, умений, навыков, а не на констатацию наличия у обучающихся определенной совокупности усвоенных знаний;
позволяют включить в экзаменационную работу гораздо большее количество заданий;
это более «мягкий» инструмент, они ставят всех испытуемых в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению нервного напряжения;
широкий инструмент – и с точки зрения интервала оценивания;
более эффективен с экономической точки зрения, так как при тестировании основные затраты приходятся на составление качественного инструментария.
Было бы конечно большой ошибкой считать, что педагогическое тестирование свободно от недостатков. Применение педагогических тестов – эта та область знаний и умений, которая поддается формализации. Но далеко не все учебные дисциплины или их разделы формализуемы.
К недостаткам тестов следует отнести то, что тестовый контроль лишает возможности слушателей самостоятельно формулировать ответы, отсутствует возможность проявить свою индивидуальность, творчество.
Но самый большой недостаток – это сложность разработки хороших тестовых заданий, хотя на первый взгляд кажется, что с этим никаких трудностей быть не должно, ведь тестовые задания разрабатываются преподавателями, хорошо знающими свой предмет. На самом деле разработка педагогических тестов требует высокой педагогической квалификации, научной компетенции и большого методического опыта составления тестов преподавателем. В этой связи необходимо самое пристальное внимание уделять повышению качества тестовых заданий.
При проведении тестирования учитываются три критерия качества теста: надежность, валидность и объективность.
Надежность теста – критерий отражающий точность диагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надежность педагогического теста позволяет при его применении в разных группах обучающихся с близким уровнем подготовки получать примерно одинаковые результаты. Результат педагогического тестирования обычно подвержен влиянию большого количества неучитываемых факторов (например, эмоционального состояния и утомления, уровня мотивированности тестируемых и др.). Любое изменение ситуации тестирования усиливает влияние одних и ослабляет воздействие других факторов на результат теста.
В самом широком смысле надежность педагогического теста – это характеристика того, в какой степени выявленные у слушателей различия в уровне знаний по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам.
В более узком смысле, связанном с непосредственными методами определения характеристик надежности, под этой группой показателей понимают степень согласованности результатов теста, получаемых при первичном и повторном его применении, по отношению к тем же тестируемым в различные моменты времени, с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при других измененных условиях тестирования.
Важнейшим средством повышения надежности педагогических тестов является стандартизация процедуры тестирования. При строгой регламентации процедуры тестирования (обстановка и условия работы слушателей, характер инструкции, временные ограничения, способы и особенности контакта со слушателями, порядок предъявления тестовых задач и т.д.) существенно уменьшается дисперсия ошибки и повышается надежность теста. При прочих равных условиях надежность теста зависит от числа заданий (длины теста) – чем длиннее тест, тем он надежнее.
Валидность теста – это критерий, который определяет, что тест измеряет и насколько хорошо он это делает. В понятии валидности отражается идея соответствия педагогического тестирования его цели. Интуитивно все понимают, что одно и то же можно проверять по разному. Отсюда возникает вопрос поиска наиболее подходящего (валидного) средства, полнее, чем другие, удовлетворяющего требованиям качества проверки.
В педагогических тестах наиболее важным типом валидности является валидность по содержанию. При проверке содержательной валидности речь идет об определении степени соответствия содержания тестовых заданий содержанию учебного предмета, успешность усвоения которого тестируется, то есть решается вопрос о том, в какой степени задачи данного диагностического контроля успеваемости репрезентативны для содержания учебной программы.
Для обеспечения валидности педагогического теста требу-ется систематическая проверка того, насколько задания теста охватывают все главные аспекты учебной программы и в правильной пропорции. Тест легко перенасытить теми аспектами учебной программы, по которым легче составить объективные задания. Поэтому рассматриваемое содержание следует фиксировать заранее, а не после того как тест уже составлен. Правильно построенные педагогические тесты должны соответствовать не только предмету обучения, но и его задачам. Содержание, следовательно, необходимо определять достаточно широко, включая в него помимо знания фактического материала такие важнейшие цели обучения, как применение изученных принципов и интерпретацию данных. Валидность также обеспечивается распределением тестовых заданий различной трудности пропорционально уровню трудности учебного материала.
Валидность по содержанию закладывается в тест уже при отборе соответствующих заданий. Для педагогических тестов подготовке их заданий предшествует полная систематизированная проверка соответствующих учебников и учебных программ, а также консультации со специалистами по данному предмету. На основе собранной таким путем информации составляется спецификация теста для тех, кто будет составлять задания. В спецификации указываются тестируемые области содержания (темы), задачи (процессы) обучения, а также относительное значение каждой темы и процесса. На этой основе по каждой теме устанавливается число заданий различных типов. (Более подробно вопрос составления спецификации будет рассмотрен ниже).
Надежным средством обеспечения валидности теста является экспертная оценка тестовых материалов, которая проводится экспертами из числа наиболее квалифицированных специалистов-предметников и специалистов в области тестирования. Конкретные задания оцениваются экспертами по принципу их близости к реальным требованиям. Эксперты выносят суждение о том, охватывает ли тест репрезентативную выборку конкретных навыков и знаний исследуемой области обучения.
Валидность по содержанию является адекватным средством оценки педагогических тестов. Она позволяет установить, охватывает ли тест репрезентативную выборку конкретных навыков и знаний и свободно ли выполнение теста от влияния посторонних факторов.
Педагогический аспект повышения объективности педагогического тестирования проявляется в использовании стандартных тестовых программ, технических средств контроля, в первую очередь использование компьютерных технологий в организации проведения педагогического тестирования.
Этический аспект объективности охватывает широкую область морального регулирования. Результаты педагогического теста могут оказаться полностью или частично неадекватными поставленной цели, если допускается списывание, подсказки со стороны слушателей, репетиторство (но не всякое, а «натаскивание»), снисходительность или, наоборот, чрезмерная требовательность преподавателей.
Таким образом, результаты педагогического теста зависят от соблюдения всех вышеназванных требований, которые обеспечивают получение адекватных и достоверных оценок знаний слушателей.
2. Этапы составления и общие требования к разработке теста
В данном разделе представлены основные этапы составления теста.
Перед разработкой теста необходимо четко иметь представление о требованиях к знаниями, навыкам и умениям обучающихся по данной учебной дисциплине. Эти требования определены в соответствующих Государственных образовательных стандартах, предметных квалификационных характеристиках и типовых учебных программах. Первый шаг в планировании теста – это анализ данных документов. Задания теста должны в полной мере выявить степень овладения требуемыми знаниями, навыками и умениями.
Составитель теста, начинающий с написания задания, скорее всего, создаст узконаправленный тест. Без предварительного плана некоторые темы изучаемого предмета могут занять слишком много места, в то время как другие останутся незатронутыми.
Спецификация теста является обязательной операцией эмпирического анализа теста и необходимым условием создания нового теста. Спецификация заключается в том, что строится таблица, в которой указываются:
номера заданий и их принадлежность к субтестам;
сложность, трудоемкость, вес заданий;
какую из характеристик каждое из заданий конкретно диагностирует.
При подготовке тестов подобную спецификацию следует начать с описания целей изучения данного предмета, а также охватываемого этим предметом содержания. Перечисляя цели, создатель теста должен спросить себя, к каким изменениям в поведении ведет освоение изучаемого предмета: скажется ли оно на привычных способах работы, на способе решения задач, на способностях, интересах и других характеристиках, а также на приобретении и развитии интеллектуальных навыков.
В табл.1 приведена спецификация теста по дисциплине «Зоогигиена с основами проектирования животноводческих объектов», состоящего из 116 заданий. В левой колонке перечислены 11 тем, или содержательных категорий, которые должны быть охвачены тестом. В верхней части таблицы приведены также 4 тестируемые учебные цели или типа обучения. Вся таблица дает предоставление о желательном числе заданий относительно содержания и целей обучения. Число заданий соответствует важности и широте каждой темы и целям ее изучения. Если конкретная цель или тип обучения данной темой не затрагиваются, то задание в соответствующей клетке таблицы отсутствует. В вертикальных и горизонтальных рядах таблицы представлены относительный вес каждой темы и цели обучения во всем тесте. Часто эти веса устанавливаются заранее, что позволяет проконтролировать охват заданием тем и целей обучения, не устанавливая сквозную классификацию индивидуальных заданий.
Пример спецификации теста по дисциплине
«Зоогигиена с основами проектирования животноводческих объектов»
Знание основных терминов
Понимание целей и принципов
Навыки по мониторингу и оценке
Расчет и управление параметрами
1.Предмет и задачи гигиены и зоогигиены, как раздела медицины и ветеринарной медицины
2.Факторы природно- территориального комплекса и их влияние на здоровье и продуктивность. Понятие микроклимата и его составляющие
3.Зоогигиенические требования к почве и санитарная охрана её от загрязнения
4.Зоогигиеническое значение воды. Гигиена водоснабжения и поения сельскохозяйственных животных
5.Гигиенические требования к кормам и кормлению с. х. животных
6.Требования к санитарно- техническому оборудованию животноводческих помещений для разных видов с.х. животных
7.Гигиена содержания крупного рогатого скота
8.Гигиена содержания свиней и птицы
9.Гигиена содержания овец
10.Гигиена содержания лошадей
11.Гигиена содержания кроликов и пушных зверей
Исходным моментом составления тестовых заданий является выделение общей цели, преследуемой тестовым заданием. Такие цели должны предусматривать требование от обучаемого:
а) простого воспроизведения знаний, анализа и сравнения данных. Постановка таких вопросов в заданиях позволяет проверить усвоение слушателями материала на уровне запоминания, тренирует память;
б) анализа признаков понятия. При этом выявляется умение обучаемых находить общее и специфическое в изучаемом материале, отделять существенные признаки от несущественных, родовые от видовых, способствует развитию аналитического мышления;
в) умения распознавать схемы, рисунки;
г) понимания функций, выполняемых различными органами (звеньями, приборами, устройствами и т.п.), и процессов взаимодействия между этими органами. Вопросы такого типа позволяют проверить умение слушателя вскрывать определенные причинно-следственные связи и отношения, оценивать роль и значение данного органа для процессов, происходящих во всей системе;
д) приведения в логическую последовательность элементов множества, расположенных в беспорядке, т.е. умения решать определенного класса задачи, требующие обнаружить последовательность расположения элементов в информационном ряде объектов, тактических приемов, например, в следственном действии либо оперативно-розыскном мероприятии;
е) творческого подхода к рассматриваемым проблемам и вопросам, умения применять полученные знания в условиях той или иной ситуации.
При создании тестов для проверки остаточных знаний на основании ФГОС ВПО по соответствующей дисциплине или для проверки итоговых знаний студента на основании программы дисциплины прежде всего определяется область содержания теста и цели тестирования. План теста для промежуточного контроля знаний должен охватывать знания, умения и навыки по одной или нескольким дидактическим единицам, для итоговой аттестации – по всем дидактическим единицам дисциплины в соответствии с программой дисциплины, для проверки остаточных знаний по всем дидактическим единицам дисциплины в соответствии с ФГОСом по специальности.
Преподавателю следует ориентироваться на следующие принципы отбора содержания тестовых заданий для тестов:
1. Содержание теста должно соответствовать содержанию учебной дисциплины. Задания теста должны в правильной пропорции охватывать все важные аспекты области содержания.
2. Необходимо включение в тесты только наиболее важных, базовых знаний, выражающих сущность, содержание, законы и закономерности рассматриваемых явлений. Все спорные точки зрения, допустимые в научном споре, следует исключить из тестовых заданий.
3. Каждый учебный элемент должен иметь некоторую усредненную меру трудности, которую необходимо учитывать в процессе контроля знаний.
Эксперты, определенные на кафедре, оценивают соответствие заданий области содержания и целям тестирования. Проводится внутреннее пробное тестирование преподавателями кафедры. Осуществляется предварительная корректировка теста. Определяется время тестирования студентов. Рекомендуемая продолжительность ответа на тестовое задание составляет 1,5 минуты.
Производится выбор стандартов оценивания экспертными и эмпирическими методами. Выполняется оценка надежности теста и содержательной валидности (соответствия заданий содержанию дидактических единиц). Составляется окончательный вариант теста и его параллельных форм. Тиражируется сам тест и связанный с ним материал (если используется бумажный вариант тестирования). При подготовке теста к компьютерному тестированию готовится бумажный и электронный вариант теста и заносится в тестовую оболочку программистом компьютерного класса.
Виды тестовых заданий
Существует ряд требований к тесту организационного характера:
тестирование осуществляется главным образом через программированный контроль, никому не дается преимуществ, все отвечают на одни и те же вопросы в одних и тех же условиях;
оценка результатов производится по ранее разработанной шкале;
применяются необходимые меры, предотвращающие искажение результатов (списывание, подсказку и утечку информации о содержании тестов)
При разработке теста целесообразно использовать различные виды тестовых заданий. В частности:
Задания с выбором одного правильного ответа (ВО)
Задания с выбором нескольких правильных ответов (МВ)
Задания на установление правильной последовательности (УП)
Задания на установление соответствия (УС)
Задания с кратким ответом (КО)
Общие требования к тестовым заданиям разного типа
Текст задания должен исключать всякую двусмысленность и неясность формулировок.
Текст задания формулируется предельно кратко, т.е. освобождается от всякого постороннего для данной проблемы материала. Текст задания должен иметь предельно простую синтаксическую конструкцию.
В задании не используются слова, вызывающие различное понимание у испытуемых, а также слова, являющиеся подсказкой, например, «иногда», «часто», «всегда», «все», «никогда».
В заданиях, носящих составной характер, необходимо обеспечить такую последовательность, чтобы правильность выполнения одного задания не зависела от правильности выполнения другого задания данной группы.
В тексте задания исключается двойное отрицание.
Задания должны быть направлены на проверку значимых элементов содержания, а не тех, которые проще формулируются или просты в обработке.
Используемая в заданиях терминология не должна выходить за рамки учебной литературы, используемой в вузе
Т ребования к дистракторам :
По возможности, не следует делать ответы длинными;
Одно и то же слово (или словосочетание, или однокоренное слово) не должно находиться в тексте задания и правильном ответе;
Все ответы должны быть подобными (аналогичными, похожими), это касается и их внешнего вида, и грамматической структуры.
В вариантах ответа на задания желательна краткость;
Ответы на основу задания должны быть сформулированы достаточно просто, чтобы были понятны существенные различия между ними;
Каждый дистрактор должен быть правдоподобным, внушающим доверие, вполне убедительным и привлекательным для экзаменующихся;
Правильный ответ должен быть ясен, краток, правилен и свободен от подсказок (как внутри текста задания, так и вне его);
Ответы должны быть одинаковы по длине (хотя бы приблизительно), не следует формулировать правильный ответ заметно длиннее или короче, чем дистракторы;
В дистракторах не следует использовать слова или технические термины, которые экзаменующийся не может или не должен знать;
При формулировке дистракторов не следует использовать выражения: «ни один из перечисленных», «все перечисленные» и т.д., так как они способствуют угадыванию правильного ответа;
Из дистракторов, как правило, исключаются все повторяющиеся слова путем ввода их в основной текст задания;
Все ответы должны быть грамматически согласованными с основной частью задания;
Если ответ выражен в виде числа, то, как правило, эти числа располагаются от меньшего к большему или наоборот.
Далее представлены требования к содержанию тестовых заданий разного типа.
Задания с выбором одного верного ответа (ВО)
— Формулировка основной части задания, должна быть законченной
— В заданиях базового уровня в ответы целесообразно включать не более двух-трех важных, ключевых слов, при этом правильный ответ не должен отличатся какими-либо формальными признаками от неправильных ответов (дистракторов).
— В заданиях базового уровня не должно требоваться выбрать один НЕПРАВИЛЬНЫЙ ответ при наличии нескольких правильных.
— Из текста задания исключаются все словесные ассоциации, способствующие выбору правильного ответа с помощью догадки.
— Если имеется задание с отрицаниями, то частицу НЕ или слово, выражающее отрицание, необходимо выделить в тексте (жирным текстом с подчеркиванием).
— Задания должны иметь одинаково правдоподобные дистракторы (ответы), одинаково привлекательные для выбора.
— Исключаются ответы, вытекающие один из другого или дополняющие друг друга.
Задания с выбором одного верного ответа (ВО)
Функция живого вещества, связанная с преобразованием физико-химических параметров среды, называется …
Различные типы заданий с выбором ответа
Примеры заданий ВО в повествовательной форме ( в виде суждений)
Аппаратом сухой, инерционной очистки газов от пыли является…
3) волокнистый фильтр
Регулярное наблюдение и контроль за состоянием окружающей среды;
определение изменений, вызванных антропогенным воздействием,
Задания на отрицание
В архейскую эру НЕ существовало…
Примеры заданий с рисунком
Об экологической чистоте товара и о безопасности его для человека и окружающей среды указывает знак экологический маркировки…