Как создать надежный педагогический тест научно-методическое пособие для преподавателей Ярославль 2007
|
|
Скачать 325.21 Kb.
|
 Государственное образовательное учреждение высшего профессионального образования «Ярославская государственная медицинская академия федерального агентства по здравоохранению и социальному развитию» Как создать надежный педагогический тест научно-методическое пособие для преподавателей Ярославль 2007   Как создать надежный педагогический тест: научно-метод.пособие для преподавателей /Сост. А.Н.Щапов, Ярославль, Яросл.госмед.академия, 2007. - 31с.Автор-составитель: ^ кандидат химических наук, доцент Ярославской государственной медицинской академии, председатель проблемной комиссии по научным основам оптимизации учебного процесса и контролю качества обучения. Пособие предназначено преподавателям, использующим тестовую форму контроля учебных достижений, а также преподавателям - составителям заданий в тестовой форме. Приведены наиболее типичные недостатки заданий, характерные для начинающих составителей, требования к заданиям, рекомендации по составлению тестов, словарь терминов и список рекомендуемой литературы. Рецензент: Урванцева Г.А., кандидат химических наук, доцент кафедры общей и биоорганической химии Ярославского государственного университета им.П.Г.Демидова Рекомендовано к изданию проблемной комиссией по научным основам оптимизации учебного процесса и контролю качества обучения, протокол № 7 от 24 мая 2007 г. Разрешено к печати Центральным координационным методическим советом и редакционно-издательским советом академии (протокол №____ от 2007 г.) Содержание Введение 1.Виды тестов 2. Требования к заданиям в тестовой форме
© Ярославская государственная медицинская академия, 2007 © А.Н.Щапов, 2007 3  ВведениеВопросы качества образования, контроль и управление им становятся все более актуальными в деятельности высших учебных заведений. Во-первых, это обусловлено появлением новых специальностей в связи с требованиями рынка, быстро меняющимися учебными программами и планами. Во-вторых, необходимостью реализации образовательных стандартов, целями аттестации и аккредитации. Справедливо отмечено, что управление качеством (или управление образовательным процессом на основе качества) невозможно без использования надежных количественных измерений. Отсутствие инструментов таких измерений как раз и сдерживает внедрение системы управления качеством в учебный процесс. Поэтому задача преподавателей повышение надежности и валидности оценок учебных достижений. Только такие оценки могут быть средством управления, стимулирования и вознаграждения учебных усилий студентов. Достижению этой цели способствует активное использование, наряду с традиционными формами контроля, научно обоснованных тестовых материалов. Тестовая форма контроля, требующая дать (или выбрать) однозначный и краткий ответ, имеет ряд важнейших преимуществ по сравнению с традиционными формами (ответы на вопросы в устной или письменной форме, собеседование, устный экзамен), где требуется развернутое изложение материала. Тестовая форма наиболее конкретно выражает не только содержание дисциплины, но и требования к нему. Ее эффективность позволяет проводить частый тотальный контроль, что существенно повышает надежность итоговой оценки. Однако, педагогическое тестирование не является универсальной формой, оно имеет свои недостатки и ограничения. Следует отметить, что легче всего с помощью тестовой формы проверять овладение хорошо структурированным учебным материалом. Глубокое овладение предметом, умение мыслить самостоятельно, творчески анализировать ситуацию и делать обобщения с помощью педагогических тестов проверить трудно. Кроме того, отсутствие непосредственного контакта с учащимся, с одной стороны, делает тестовый контроль более объективным, но, с другой стороны, повышает вероятность случайных ошибок, вызванных невниманием или неправильным пониманием задания. Поэтому только умелое использование тестового контроля в сочетании с традиционными методами оценки знаний студентов может дать наилучший эффект. В последние годы задания в тестовой форме и тесты стали более активно и широко внедряться в процесс обучения и контроля в вузах. Однако, возможности тестовой формы еще мало реализованы. Причин тому несколько. Во-первых, это недостаточная осведомленность большинства преподавателей в вопросах педагогического тестирования. Во-вторых, достаточно большая трудоемкость составления заданий в тестовой форме. И, в третьих, отсутствие надлежащей квалифицированной тестологической экспертизы, из-за чего основная масса тестовой продукции - это материалы сравнительно низкого качества с рядом типичньх недостатков. «Многие тесты просто не стоят бумаги, на которой они напечатаны» (Купер К.). Все это - причина скепсиса и критического отношения к тестовым контролирующим материалам. Отсутствие «тестовой культуры» проявляется в том, что преподаватели, использующие тестовую форму контроля, не соблюдают секретность, допускают нарушения процедуры тестирования, обращаются с тестами как с обычными контролирующими материалами. Это приводит к быстрому рассекречиванию тестов, после чего они становятся совершенно непригодными для контроля. 4 5   При всех своих преимуществах (эффективность, объективность, надежность) педагогическое тестирование, однако, не может и не должно быть единственной формой контроля и оценки учебных достижений. Б форме тестовых заданий обычно находит свое выражение ядро дисггиплинь1, основные понятия, факты, теоретические положения, закономерности. Обычно это соответствует 1 и 2 уровням усвоения учебного материала. Способности студента, умение критически мыслить, анализировать ситуацию, делать обобщения, выводы, с помощью тестов оценить затруднительно. Такие тесты, наверное, будут созданы преподавателями различных дисциплин совместно с психологами.Решение задач, например, требует от студента не только знания определенного объема информации, но и навыков решения, быстроты мышления, общего интеллекта, выполнения ряда существенных операций, проверка правильности которых проводится с участием преподавателя. Вероятность правильного решения задачи является функцией умственных способностей человека (способности обрабатывать информацию) и слабо зависит от успешности прохождения тестирования (правильности ответов на задания в тестовой форме) (Хегенхан Б., Олсон М.). Цель настоящего пособия - дать преподавателям практические рекомендации по составлению качественных заданий в тестовой форме и надежных педагогических тестов. ^ Любое задание, предназначенное для проверки чего-либо, можно назвать тестом, если руководствоваться буквальным переводом этого слова (test -проверка, испытание). В этом смысле тестом можно назвать задачу, которую надо решить; вопрос, на который требуется ответить; высказывание, справедливость которого надо оценить; задание в тестовой форме, где необходимо указать правильный ответ; действия, которые необходимо совершить и т.д. Приведенная ниже классификация тестов как раз и подразумевает такую широкую трактовку понятия «тест». тесты  стандартизированные! [проективные} [традиционные | {объективные - опросники (личностные) -задания сделанные преподавателями «teacher-made» стандартизированные критериальные! j нормативные 6 Психологические тесты оценивают свойства личности. Такого рода тестирование, например, - неотъемлемый атрибут профессиональной ориентации и 7  профессионального отбора. Индивидуальный подход кобучению также подразумевает учет когнитивных особенностей учащихся, которые определяются психологическими тестами. Проективное тестирование - процедура, необходимым звеном которого является фигура опытного специалиста-психолога, проводящего индивидуальное тестирование. Результат такой процедуры во многом зависит от опыта и методического арсенала психолога. Стандартизированные психологические тесты (опросники, задания) прошли испытания на многочисленных выборках, имеют устойчивые параметры и, главное, сопровождаются эталонными ответами («ключами»). Обращаться к психологу в этом случае необязательно, подобного рода тесты, например, на проверку IQ, продаются в книжном магазине. Педагогические тесты предназначены для оценки учебных достижений по отдельным дисциплинам, но могут иметь и междисциплинарный характер. ^ необходимы на любом этапе профессионального образования (начальное, среднее и высшее). Тестирование практических умений и навыков можно проводить на реально применяемых в учебном процессе объектах, оборудовании или на специально подготовленных макетах, моделях, тренажерах. Эталон качества выполненной работы должен содержать перечень и описание правильно выполненных операций, его удобно представить в виде технологической карты. Каждая операция карты сопровождается описанием применяемого оборудования, инструментов, приспособлений, материалов, а также условий выполнения. Все операции при этом должны иметь сквозную нумерацию. Эталоном качества может быть образец изделия, характеристика полученного продукта, параметры работы настроенного оборудования, многократно выверенные результаты анализа, требования различных норм и правил. Эталоном производительности труда является установленная для учащихся норма времени или выработки. Проверка работы по практическим тестам осуществляется, как правило, непосредственно в ходе выполнения. Критерии оценки результатов тестирования качества практического обучения устанавливаются экспертами в соответствии с эталонами правильного выполнения заданий. Кроме оценки «зачет-незачет» возможно применение дихотомической и политомической оценки отдельных этапов (заданий) теста, при этом здесь правомерно использование «коэффициента успешности» Ка , зависящего от числа правильно выполненных «существенных операций»*. При таком подходе оценка «удовлетворительно» соответствует Ка > 0,7 ; «хорошо» - Ка > 0,8 ; «отлично» - Ка > 0,9. (Беспалько В.П.). При обучении некоторым особо ответственным (с точки зрения здоровья и безопасности людей, соблюдения правил охраны труда и др.) профессиям в системе Госатомнадзора, Гостехнадзора, ГИБДД, например, критическую величину коэффициента успешности принимают выше 0,7 (Якуба Ю.А.). В сущности, единые тесты качества и производительности труда сочетают в себе два подхода к оценке учебных достижений: критериальный (качество) и нормативный (производительность). В период перестройки высшего медицинского образования и перехода на приоритетную подготовку врача общей практики актуальным является создание системы контроля за качеством и производительностью выполнения студентами профессиональных действий, предусмотренных квалификационной характеристикой врача. Своевременная и достоверная информация о степени приближения знаний и умений студентов к уровню требований квалификационной характеристики необходима для оперативного внесения корректив в учебный процесс. Первичным документом для анализа деятельности студента является «Карта комплексной оценки *) «Существенные операции» отражают усвоение умений и навыков только по тем учебным элементам, которые в данном конкретном случае являются объектами контроля (Беспалько В.П.). 8 9  профессиональных действий и умений студентов при самостоятельной работе с больными» (Латышев О.А., 1999), которую заполняет преподаватель во время амбулаторного приема, проводимого студентом под наблюдением преподавателя. При этом преподаватель выступает в роли эксперта качества и производительности самостоятельной работы студента, оценивая его действия по разработанной системе баллов. Положительной считается оценка качества работы, соответствующая комплексному показателю успешности Ка > 0,7. Кроме Ка в карте регистрируется время, затраченное студентом на самостоятельный амбулаторный прием^ оценивают достижения в изучении теоретической части учебных дисциплин. Традиционные тесты (тесты - эссе, от англ. essay - изложение, повествование) - это вопросы и задачи, требующие развернутого ответа в виде изложения или подробного решения. Оценку выполнения таких тестов называют традиционной учительской оценкой. Её надежность невелика. Объективные тесты принципиально отличаются от традиционных тем, что имеют эталонные ответы. Составить такие тесты трудно, а проверять легко (традиционные-наоборот). Высокая эффективность, надежность, валидность, дифференцирующая способность - вот те характеристики, которые делают объективные тесты незаменимыми при проведении аттестационных процедур, построении рейтинговых шкал, проверке «выживаемости»знаний. Применение подобных тестов -весомое основание к переходу от оценки к измерениям учебных достижений. Путь от разработки отдельных заданий в тестовой форме до создания надежного педагогического теста включает в себя несколько главных этапов. Во-первых, задания, сделанные преподавателем («teacher-made»), обязательно должны пройти редактирование и рецензирование. Одним из рецензентов выступает специалист в области предметного содержания контролируемого материала, другим - специалист в области педагогического тестирования (тестолог). Последний оценивает композицию заданий, соответствие формы заданий их содержанию и предназначению. Во-вторых, после проведения тестирования с применением разработанных заданий проводится статистическая обработка результатов. «Плохие» задания перерабатываются, заменяются или исключаются. На этом этапе определяются такие параметры заданий, как трудность cjj , дифференцирующая способность> (дискриминативность) и некоторые параметры корреляции заданий друг с другом и суммарным тестовым баллом (Клайн П.). Надо отметить, что для получения надежных данных о качестве педагогического теста не требуется таких огромных выборок, как для психологических тестов. Аудитория, проходящая предметное педагогическое тестирование, гораздо более однородна, имеет одинаковую предысторию, специально готовилась к прохождению теста. Размер выборки педагогического тестирования должен составлять не менее 200 учащихся по каждому варианту теста. Имея обширный банк заданий с известными параметрами, преподаватель может составить равноценные по трудности и дискриминативности варианты тестов. Особенно хорошо это удается в том случае, если задания имеют фасетный (многовариантный) характер. Сколько заданий и каких должен включать в себя надежный педагогический тест? Какая форма заданий предпочтительнее? Ответ на эти вопросы зависит от цели тестирования (входной контроль, текущий, рубежный, итоговый). Ниже приведены некоторые проверенные опытом рекомендации. ^ целью которого обычно является не выставление оценки, а проверка наличия или отсутствия некоторого образовательного минимума по теме или предмету, может проводиться с использованием большого числа «коротких» заданий закрытой формы с выбором одного ответа из двух, трех или четырех предложенных вариантов. 10 11  Дискриминативность такого теста невелика, но он позволяет проверить большой объем содержания и разделить учащихся на «сильную», «среднюю» и «слабую» группы. Для выполнения теста, составленного, например, только из 50 закрытых заданий с двумя ответами (верно-неверно), достаточно 15 минут. Если же дополнить входной тест несколькими «открытыми» заданиями, дискриминативность и надежность такого теста существенно возрастут.^ проводимый, обычно, после изучения темы в конце занятия, не должен ограничиваться только заданиями в тестовой форме. Рациональнее использовать комбинированный контроль, в котором доля заданий в тестовой форме невелика. Во-первых, преподаватели будут избавлены от проблемы шпаргалок с эталонами. Во-вторых, для выяснения усвоения темы необходимо проверить умение учащихся анализировать информацию, делать умозаключения, выводы в форме развернутого ответа на поставленные вопросы. Баллы за такой тест будут существенно различаться у сильных и слабых студентов, поскольку в тест могут быть включены задания от самых легких до самых трудных. ^ по сравнению с текущим, должен удовлетворять более строгим требованиям к надежности и валижности педагогических измерений. Модульный контроль - своеобразный мини-экзамен, к подготовке и проведению которого следует относиться также, как к курсовому экзамену. Тем более, что модульный принцип обучения, строго говоря, подразумевает, что учащийся, не сдавший 1-й модуль, не может бытъ допущен ко 2-му, так как обучение на первом этапе не завершено. Поскольку проверяется некоторый образовательный минимум, полученный по результатам изучения модуля, рубежный контроль лучше проводить в тестовой форме по унифицированным вариантам, одинаковым по трудности. Для получения надежного результата рекомендуется в рубежный тест включать не менее 25-30 заданий. ^ так же, как и рубежный, по сути является критериальным. Здесь к тестовым контролирующим материалам предъявляются самые строгие требования. Экзаменационные тесты должны иметь рецензии по форме и содержанию, отличаться высокой надежностью и содержательной валидностью. Число заданий в тесте, способных обеспечить эти требования, составляет не менее 50 (что соответствует времени тестирования 80-90 мин). Что касается выбора формы заданий, то специалисты отмечают, что профессионально сделанные тесты, как правило, моноформны. Не следует стремиться к разнообразию форм, если это не оправдано серьезными причинами. В рубежном и итоговом контроле не рекомендуется использовать задания на установление соответствия, так как они достаточно громоздки, долго выполняются, снижая, тем самым эффективность тестирования. Задания на установления правильной последовательности используются, в основном, на заключительных этапах обучения и контроля при предъявлении междисциплинарных тестов. Еще одно важное замечание относится к логике построения теста. Он может подчиняться логике изложения учебного материала. Однако, в этом случае разработчик теста вынужден «подстраивать» форму под изложение, и может получиться так, что возникнет «чехарда» форм. Такой тест будут выполнять медленнее, чем тот, который построен, руководствуясь логикой тестирования. Эта логика диктует расположить задания по мере нарастания их трудности, а также сгруппировав однотипные задания под одной общей инструкцией. Логика изложения материала для тестирования неважна. Качество теста определяется, в основном, мастерством разработчика, его опытом преподавания и знанием основ педагогического тестирования. Это и наука, и искусство (как и медицина). 12 13  К сожалению, основная масса тестовой продукции, попадающая в руки пользователя, имеет ряд типичных недостатков, характерных для «сырых», предтестовых заданий, составленных неопытными разработчиками. Ниже приведены наиболее неудачные примеры заданий в тестовой форме, заимствованные из [Типовые тестовые задания для итоговой государственной аттестации выпускников высших медицинских учебных заведений по специальности 060101 (040100) «Лечебное дело», в 2-х частях. Часть 1/Под ред.МА.Палъцева и др. -ФГОУ «ВУНМЦ Росздрава», 2006.- 480с]. Автор настоящих рекомендаций надеется, что ознакомление с подобными образцами поможет начинающим разработчикам заданий в тестовой форме избежать повторения чужих ошибок.2. Требования к заданиям в тестовой форме Чтобы избежать случайных ошибок и получить надежный результат тестирования, необходимо учесть ряд общих требований к заданиям в тестовой форме: 1. Задание формулируется в логической форме утверждения, которое становится истинным или ложным суждением в зависимости от ответа учащегося.
5. Текст задания не должен содержать материала, не относящегося к сути задания. 6. Б тексте задания не рекомендуется использовать отрицания. Во-первых, это приводит к противоречиям при чтении задания; во-вторых, за редким исключением, негативные знания не настолько важны, как позитивные. Во-первых, такие задания встречаются в тесте редко, и тестируемый может по инерции просто не обратить внимания на частицу «не». Во-вторых, выбор ответа с частицей «не» в данном случае требует от тестируемого интерпретации двойного отрицания. Двойное отрицание делает утверждение истинным. 7. Все ответы к одному заданию должны быть лаконичны, примерно одинаковой длины, желательно не более 3-4 слов или символов. Рекомендуется ответы писать строчными буквами и располагать их в середине листа. Преподаватели часто стараются сформулировать правильный вариант ответа как можно более подробно, добавляя пояснения. В результате получается более длинный, развернутый ответ. В большинстве случаев он и является верным. 8. Единицы измерения и повторяющиеся слова из ответов следует перенести в основной текст задания. Например: Из перечисленных видов статистических таблиц наилучшее представление об исследуемой совокупности дает а), простая таблица б), групповая таблица в), комбинационная таблица [33 ] Лучше представить в следующей редакции: Наилучшее представление об исследуемой совокупности таблица дает A. простая Б. групповая B. комбинационная Ответ: В 14 15 9. В ответах не рекомендуется использовать слова «все, каждый, ни одного, никогда, всегда, ни один из перечисленных, все перечисленные». В большинстве случаев варианты ответов, содержащие указанные выше термины, являются неверными. Слова «обычно», «часто», «иногда», «большинство», «многие», напротив, придают утверждениям оттенок правильности. Но они могут содержать в себе противоречие или неопределенность. Например: ^ А. да Б. нет В. иногда Ответ: Б 10. В дистракторах не допускается логическое объединение правильных и неправильных ответов, порождающее частично правильные ответы. 11. Из числа ответов исключаются те, которые вытекают один из другого. 12. К заданию прилагается инструкция для учащегося и эталоны правильных ответов («ключ») для преподавателя. 13. Для каждого задания приводится правило оценивания (дихотомическая или политомическая оценка).
Твердые жиры образованы глицерином и
Ответ: (1) В анилине в результате влияния -NH2 группы на радикал -СбН5
Ответ: (2) Когда исследователи проанализировали широкий круг учительских тестов, то они обнаружили, что правильный ответ - это одна из двух параллельных фраз, имеющих «зеркальную» формулировку. Понятно, что если правильный ответ «повышается», то первый вариант неправильного ответа, приходящий составителю задания на ум - «понижается». 16. Если для выбора предлагаются числа, то следует расположить их по рангу, это уменьшит время выполнения задания Объем аммиака, образовавшегося при взаимодействии 6 г водорода с избытком азота, равен (л)
Ответ: (2) Искушенные в тестировании знают, что правильный ответ обычно ближе к середине, так как человеческая природа преподавателя состоит в том, что он добавляет неправильные варианты ответов выше и ниже правильного ответа. Следует это учесть. 16 17 3. Советы начинающему составителю заданий (ошибки, которые следует избегать) 1. Отсутствие согласования текста задания и ответов 033 (Анатомия). Поджелудочная железа является железой:
Ответ: 3 Здесь ответ 4 никак не сочетается с текстом задания. Если в результате прочтения текста задания с вариантом ответа получается неудачная или неуклюжая грамматическая конструкция, то скорее всего этот вариант ответа неправильный. Руководства по прохождению тестирования советуют исключить ответы, которые грамматически не сочетаются с текстом задания. (Преподаватели формулируют неверные ответы не так тщательно, как правильные). Например: Гидроксид алюминия проявляет
Ответ: 3 2. Намек на правильный ответ: 101 (Инфекционные болезни) Назовите клинические формы рожи
18 Ответ: 5 010 (Дерматовенерология) Различают твердые шанкры:
Ответ: 5 008 (Офтальмология). Наиболее характерные признаки злокачественной опухоли орбиты: а) ограничение подвижности глазного яблока б) относительно быстрое снижение зрительной функции в) отек век и окружающих глаз тканей г) экзофтальм д) все перечисленное Ответ: д По сути дела, приведенные выше задания - это задания с выбором нескольких ответов. Кроме того, здесь вообще нет дистракторов! Т.е. составители просто перечислили правильные ответы и не потрудились над подбором дистракторов (в качестве которых могут быть выбраны наиболее часто встречающиеся неправильные ответы студентов). Правильный ответ на такие задания дадут даже те, кто не имеет медицинского образования. 3. ^ 048. Показатели, характерные для ответа острой фазы на повреждение: а) повышение содержания сывороточного железа; б) нейтрофилия; в) повышение содержания меди в сыворотке крови; г) гиперлипидемия
19 5) все перечисленные Ответ: 5. 4. Двойное отрицание в тексте задания 006«Биохимия». К абсолютно незаменимым аминокислотам не относится:
Ответ: 5 Как показывает опыт, подобные задания плохо понимаются, плохо дифференцируют знающих и незнающих студентов. 5. Двойная кодировка ответов - цифрами и буквами, например 002(Анатомия). Красный костный мозг : а)расположен в губчатом веществе костей; б) расположен в губчатом веществе только трубчатых костей; в) у детей занимает и костномозговую полость; г) существует только в детском и подростковом возрасте. 1)а,в 2)б,г
Ответ: 1 6. Две инструкции в одном задании 046. Выберите правильные характеристики мочепузырного треугольника: а) ограничен латерально мочеточниковыми отверстиями б) ограничен сзади межмочеточниковой складкой; в) характеризуется особо выраженными складками слизистой оболочки; г) в стенке этой части мочевого пузыря нет складок слизистой оболочки и отсутствует подслизистая основа; д) значительно растягивается при наполнении 20 мочевого пузыря. Выберите правильную комбинацию ответов:
Ответ: 1. 7. Нарушение принципа классификации, однородности ответов 003 (Фармакология) Для каких препаратов биотрансформация в печени наиболее значима?
Ответ: 2 Здесь вариант ответа (3) - выпадающий из ряда, непривлекательный дистрактор. При составлении заданий «закрытой» формы преподаватели часто ограничены в применении вариантов ответов и вынуждены придумывать их искусственно. В этом случае нарушается принцип однородности ответов (классификация ответов по одному основанию), появляются непривлекательные варианты ответов, которые тестируемые в большинстве случаев исключают из рассмотрения. Например: Крекинг - это
Ответ: (1) 8. Дезориентация тестируемых в числе правильных ответов: 21 Oi (Фармакология) К препаратам, блокирующим преимущественно -рецепторы, относят:
Ответ: 2 032. укажите, какие из перечисленных соединений относятся к повертосгно-активным веществам:
Ответ: 3 Здесь, кроме того, инструкция включена в текст задания, это один из распространенных недостатков. 9. Слишком краткий текст задания: 032 (Фармакология) Каптоприл:
Ответ: 2 Если прочесть только текст задания, то совершенно неясно его содержание. В большинстве таких заданий, которые довольно часто встречаются в тестах по клиническим дисциплинам, не соблюдается принцип классификации ответов (Механизм действия (фармакокинетика), показания-противопоказания, побочные эффекты.). По сути дела требуется оценить правильность каждого высказывания в отдельности (верно-неверно). Изучение содержания ответов, их классификация требуют времени, поэтому подобные задания малоэффективны. 4. Словарь терминов ^ основным критерием и мерой которой является корреляция с критерием (суммой баллов всех испытуемых за тест). Чем выше корреляция (г), тем лучше задание. Кроме того, при конструировании тестов представляет интерес корреляция заданий друг с другом, а также с индивидуальным тестовым баллом. Чем меньше задание коррелирует с другими (коэффициент корреляции г<0,3), тем больший специфический вклад оно вносит в общий результат. Однородный и дискриминативный тест может быть получен путем отбора заданий с трудностью в пределах 0,2-0,8 и, кроме того, имеющих высокую корреляцию с общим показателем (г>0,2) (Клайн П.). Валидностъ теста (от англ. valid -пригодный)- это та степень, в которой тест измеряет то, для чего он предназначен. В понятие «валидностъ» входит большое количество самой разнообразной информации о тесте. Различные категории этих сведений и способы их получения образуют типы валидности. Например, содержательная валидностъ теста учебных достижений определяется той степенью, в которой задания теста соответствуют содержанию предмета. Содержание теста, одобренное опытными преподавателями-экспертами, является основным критерием его валидности. Тест имеет конкурентную валидностъ в том случае, если тестовый балл хорошо коррелирует с одновременно проведенными независимыми измерениями и оценками (Ebel R.L.). 22 23 Диагностическая (конкурентная) - отражает способность теста дифференцировать испытуемых по изучаемому признаку Прогностическая - отражает временной интервал, на который распространяется результат тестирования. Текущая соответствие результатов тестирования независимому критерию в момент обследования. Критериальная корреляция баллов за тест с внешней оценкой. Конструктная - соответствие формы заданий содержанию и уровням усвоения, теоретическая обоснованность методики (степень выявления измеряемого свойства). Содержательная (лицевая, очевидная) - репрезентативность заданий теста по отношению к измеряемым свойствам (Бурлачук, Морозов). ^ - это тест, созданный для проверки знаний по одной учебной дисциплине. Он должен удовлетворят требованию предметной чистоты. ^ междисггиштинарный комплексный тест, состоящий из заданий по нескольким дисциплинам. Он предназначен для комплексной оценки знаний студентов в ходе аттестации или аккредитации. Существует два основных подхода к разработке комплексных тестов. Первый - это создание гомогенных субтестов по отдельным учебным дисциплинам, которые затем объединяются в комплексный тест. Второй - создание комплексных междисцшлинарных заданий, выполнение которых требует обобщенного знания и умения применять эти знания для решения профессиональных задач. ^ (различающая способность) тем больше, чем больше дисперсия тестовых баллов. Принимается во внимание также характер распределения результатов тестирования. Обычно создатели теста стремятся добиться нормального распределения за счет варьирования числа легких и трудных заданий. В сбалансированном тесте побольше заданий средней трудности и меньше откровенно легких или трудных заданий. Дистракторами (от англ. to distract - отвлекать) называются неправильные ответы Дистракторы должны быть равнопривлекательны, равноправдоподобны. Для оценки привлекательности дистракторов оценивают доли учащихся, принявших каждый из дистракторов за правильный ответ. Чем ближе эти доли, тем лучше дистракторы. Дистракторами могут быть, например, наиболее часто встречающиеся ^ j-того задания показывает, насколько хорошо оно отличает знания сильного студента от слабого. Удобной характеристикой дифференцирующей способности задания является «индекс дискриминативности» (или «индекс различения») D. Это разность долей правильных ответов pj на задание в группе «сильных» (High) и «слабых» (Low) студентов. D= рн - pt. Размер каждой группы составляет 27% от общего числа учащихся. Хорошими считаются задания, имеющие D> 0,30. Задания с D< 0,20 требуют улучшения или замены (Ebel R.L.). ^ выполнения заданий - 1 балл или 0 баллов в зависимости от того, совпадает ответ учащегося с эталоном, или не совпадает. Задание в тестовой форме - это наименьшая независимая единица теста. Это утверждение, которое надо признать истанным или ложным; это задание выбрать ответ из числа предложенных; это неполное утверждение, требующее дополнения; это содержательный пропуск в предложении, который надо заполнить (Ebel R.L.). ^ Х1.можно рассматривать как показатель уровня знаний студентов. Существует два подхода к интерпретации Xi. а) Нормативный подход, который основан на измерении отношения тестовых баллов студентов. При этом полагается, 24 25 что Xi / Х2 как знания 1-го относятся к знаниям 2-го. Тесты, ориентированные на нормы, дифференцируют студентов по суммарным показателям, что является основанием для построения рейтинговой шкалы учебных достижений в группе. Как правило, для нормативно-ориентированных тестов подбирают задания с трудностью су = 0,2- 0,8. Типичным примером нормативного теста является абитуриентский тест. б) ^ в котором Xi рассматривается как степень достижения учебной цели (успешности усвоения), преодоления установленного барьера для получения оценки "удовлетворительно", "хорошо" или "отлично". Отличительной особенностью тестов, ориентированных на критерии, является их высокая содержательная валидность. Количество заданий в критериально- ориентированных тестах обычно больше, чем в нормативно - ориентированных. Более того, при создании критериально - ориентированных тестов не стремятся получить максимум индивидуальных различий, а скорее наоборот. Итоговый контроль, аттестационные процедуры проводятся с использованием только критериально - ориентированных тестов. Абсолютные стандарты достижений устанавливаются в тех случаях, когда необходим минимальный обязательный уровень компетенции (врач, спасатель на воде, фармацевт, секретарь, железнодорожный инженер, пилот самолета). ^ связана с понятием точности измерений. Под надежностью подразумевается, во-первых, внутренняя согласованность теста и, во-вторых, воспроизводимость результатов тестирования. Наиболее понятным и простым способом оценки надежности является повторное тестирование в той же группе учащихся. Результаты обоих тестирований коррелируются. Чем выше коэффициент корреляции, тем выше надежность теста. Надежность при повторном тестировании через некоторое время называется ретестовой надежностью. 26 Можно оценить надежность и при однократном тестировании. Для этого делят тест пополам (например, на четные и нечетные задания) и полученные суммы баллов коррелируются специально разработанным для этого способом (Клайн П.). Наиболее статистически достоверным является метод оценки надежности с помощью параллельного теста. Параллельными называются тесты, одинаковые по содержанию, числу и форме заданий попарно равной трудности. Чем выше коэффициент корреляции между параллельными тестами, тем выше надежность теста. Существуют и другие методы оценки надежности тестов, основанные на применении дисперсионного и факторного анализа. Следует отметить, что все исследования надежности должны выполняться на больших (200 и более) и репрезентативных выборках. Одна из многих формул для расчета коэффициент надежности а имеет вид: K-V а2 у где К - число заданий в тесте, ^Prf; - сумма дисперсий 2 задании теста, о у - дисперсия тестовых баллов. Коэффициент а - это наиболее эффективный показатель надежности применительно к классической модели погрешности измерения. Коэффициент надежности теста должен быть не менее 0,7 (Клайн П.), в противном случае тест почти не имеет преимуществ по сравнению с традиционным контролем. ^ (тест учебных достижений) - это система заданий в тестовой форме, позволяющая качественно оценить структуру и измерить уровень знаний. Различают стандартизированные (научно обоснованные) педагогические тесты, имеющие четкие критерии качества, и нестандартизироваиные («teacher-made»), составленные 27 преподавателями для использования на собственных занятиях без последующего статистического анализа полученных результатов. ^ - подразумевает начисление баллов за частично правильный ответ. Псевдотесты - вид контрольных материалов, в которых четко прослеживается содержательная зависимость ответов. Если студент не ответит правильно на первое задание, то он не справится и с последуюпщми. При этом нарушается принцип статистической независимости тестовых заданий, сформулированный в математической теории тестов. Существует четыре типа псевдотестов: цепные, тематические, текстовые и ситуационные (Аванесов B.C.). ^ понятие, выражающее комплексность задания, его насыщенность элементами, существенными операциями. Сложное по конструкции задание может оказаться объективно легким, т.е преодолимым большинством учащихся. ^ - это задание в тестовой форме, прошедшее эмпирическую проверку с последующим анализом результатов и имеющее устойчивые показатели (трудность, дифференцирующая способность, корреляция с суммой баллов за тест (Аванесов B.C., 1989). Именно из таких заданий составляют научно обоснованные педагогические тесты. Пока же в реальной жизни понятия «тестовое задание» и «задание в тестовой форме» («сырое», «предтестовое», «teacher-made») используются как синонимы, так как в распоряжении преподавателей, как правило, нет заданий, научно обоснованных в достаточной степени. Трудность j-того задания q1 определяется долей студентов, давших на него неправильный ответ. Задания со значением q от 0,2 до 0,8 считаются удовлетворительными (Клайн П.). Если трудность задания равна 0,2 - 0,4, то это легкие задания, 0,4 - 0,6 - средней трудности, 0,6 - 0,8 - трудные задания. Задания со значением q меньше 0,2 и больше 0,8, как правило, исключаются из теста. ^ задание в тестовой форме, содержащее вариативную часть («фасет»), обычно вьделенную фигурными скобками, например: ЭНЕРГИЯ КВАНТА СВЕТА С ДЛИНОЙ ВОЛНЫ {500нм} РАВНА (Дж). 5. Список рекомендуемой литературы Аванесов B.C. Основы научной организации педагогического контроля в высшей школе.- М.: Исслед. центр проблем качества подготовки специалистов, 1989.167 с. Аванесов B.C. Современные методы обучения и контроля знаний. Учебное пособие для преподавателей вузов, техникумов, училищ, учителей школ, гимназий и лицеев, для студентов и аспирантов педагогических вузов. М.: Кидди, 1998. 103 с. Аванесов B.C. Форма тестовых заданий: Учеб.пособие. М., 1991. 36 с. Аванесов B.C. Научные проблемы тестового контроля знаний.-М.: Исслед. центр проблем качества подготовки специалистов, 1991.135 с. Аванесов B.C. Теоретические основы разработки заданий в 28 29 тестовой форме.- М.: Исслед. центр проблем качества подготовки специалистов, 1995. 95 с. Аванесов B.C. Композиция тестовых заданий.- М.: Ассоциация инженеров-педагогов, 1996.191 с. Аванесов B.C., Брусенина Н.Д., Ведеев А.И. Научные принципы и методические правила разработки заданий в тестовой форме: Научно-метод рекомендации для преподавателей стоматологических факультетов медицинских вузов/ Под ред.проф.Барера Г.М.- М.: ВУНМЦ, 1995. 32с. Анастази А., урбина С. Психологическое тестирование.- СПб.: Питер, 2001.- 688с. Беспалько В.П. Слагаемые педагогической технологии.- М.: Педагогика, 1989.192с. Бурлачук Л.Ф., Морозов СМ. Словарь-справочник по психодиагностике - СПб.: Издательство «Питер», 2000.- 528с. Ebel R.L. Measuring educational achievement.- Prentice-Hall Inc., Englewood Cliffs, New Jersey, 1965. 481 p. Ингенкамп К. Педагогическая диагностика.- М.: Педагогика, 1991. 240 с. Клайн П. Справочное руководство по конструированию тестов: Пер. с англ.- Киев: ПАН ЛТД, 1994. 283 с. Купер К. Индивидуальные различия/Пер.с англ.Т.М.Марютиной под ред.И.В.Равич-Щербо. -М.: Аспект Пресс, 2000.-527С. Латышев О.А. Системный подход к составлению и использованию клинических ситуационных задач как формы обучения и контроля в профессиональной подготовке врача: Метод.пособие для преподавателей клинических кафедр.-Ярославль: ЯГМА, 2007,- 61с. Методика комплексной оценки профессиональных действий и умений студентов при самостоятельной работе с амбулаторными больными: Метод.рекомендации для преподавателей / Сост. СХАЛатышев и др.; ЯГМА, Ярославль, 1999.14с. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов.- М.: 2000.168 с. Хегенхан В., Олсон М. Теории научения.- 6-е изд.- СПб.: Питер, 2004.- 474с. Чельппкова М.Б., Савельев Б.А. Методические рекомендации по разработке педагогических тестов для комплексной оценки подготовленности студентов в вузе.- М.: Исслед. центр проблем качества подготовки специалистов, 1995. 78 с. Щапов А.Н., Урванцева Г.А. Педагогическое тестирование: Учеб.-метод.пособие, 2-е изд., перераб. и доп. - Ярославль: ОНМиУД ПО, 1998. 30с. Щапов А.Н., Урванцева Г.А. Рейтинг и тесты в системе оценки знаний студентов: Учеб.-метод.пособие, 2-е изд., перераб. и доп. - Ярославль: Яросл.гос.мед.академия, 2002,- 60с. Якуба Ю.А. Методика тестирования качества производственного обучения. М.: Изд.центр АПО, 2001 .-57с. Ресурсы INTERNET: Test Taking Strategies.htm 30 31 |
Ваша оценка этого документа будет первой.
Ваша оценка:
Похожие:
База данных защищена авторским правом ©MedZnate 2000-2016
allo, dekanat, ansya, kenam
обратиться к администрации | правообладателям | пользователям
allo, dekanat, ansya, kenam
обратиться к администрации | правообладателям | пользователям