Оценка учебной программы и профессорско-преподавательского состава имеет решающее значение для всех высших учебных заведений, включая медицинские школы.Оценки преподавания студентами (SET) обычно принимают форму анонимных анкет, и хотя изначально они были разработаны для оценки курсов и программ, со временем они также использовались для измерения эффективности преподавания и последующего принятия важных решений, связанных с обучением.Профессиональное развитие учителя.Однако определенные факторы и предубеждения могут повлиять на результаты SET, и эффективность преподавания не может быть измерена объективно.Хотя литература по оценке курсов и преподавателей в общем высшем образовании хорошо известна, существуют опасения по поводу использования одних и тех же инструментов для оценки курсов и преподавателей в медицинских программах.В частности, SET в общем высшем образовании не может быть напрямую применен к разработке и реализации учебных программ в медицинских школах.В этом обзоре представлен обзор того, как можно улучшить SET на уровне инструмента, управления и интерпретации.Кроме того, в этой статье отмечается, что, используя различные методы, такие как экспертная оценка, фокус-группы и самооценка, для сбора и триангуляции данных из нескольких источников, включая студентов, сверстников, руководителей программ и самосознание, комплексная система оценки может быть построено.Эффективно измеряйте эффективность преподавания, поддерживайте профессиональное развитие медицинских преподавателей и улучшайте качество преподавания в медицинском образовании.
Оценка курсов и программ — это внутренний процесс контроля качества во всех высших учебных заведениях, включая медицинские школы.Оценка преподавания студентами (SET) обычно проводится в форме анонимной бумаги или онлайн-анкеты с использованием рейтинговой шкалы, такой как шкала Лайкерта (обычно пять, семь или выше), которая позволяет людям указать свое согласие или степень согласия.С конкретными утверждениями не согласен) [1,2,3].Хотя SET изначально были разработаны для оценки курсов и программ, со временем они также стали использоваться для измерения эффективности преподавания [4, 5, 6].Эффективность преподавания считается важной, поскольку предполагается, что существует положительная связь между эффективностью преподавания и обучением учащихся [7].Хотя в литературе нет четкого определения эффективности обучения, ее обычно определяют через конкретные характеристики обучения, такие как «групповое взаимодействие», «подготовка и организация», «обратная связь с обучающимися» [8].
Информация, полученная в результате SET, может предоставить полезную информацию, например, о том, есть ли необходимость корректировать учебные материалы или методы обучения, используемые в конкретном курсе.SET также используется для принятия важных решений, связанных с профессиональным развитием учителей [4,5,6].Однако целесообразность такого подхода сомнительна, когда высшие учебные заведения принимают решения относительно профессорско-преподавательского состава, например, о продвижении к высшим академическим чинам (часто связанным с выслугой лет и повышением заработной платы) и ключевым административным должностям внутри вуза [4, 9] .Кроме того, вузы часто требуют, чтобы новые преподаватели включали SET из предыдущих вузов в свои заявки на новые должности, тем самым влияя не только на продвижение преподавателей внутри вуза, но и на потенциальных новых работодателей [10].
Хотя литература по учебным программам и оценке преподавателей хорошо известна в сфере общего высшего образования, в сфере медицины и здравоохранения дело обстоит иначе [11].Учебная программа и потребности медицинских преподавателей отличаются от программ общего высшего образования.Например, командное обучение часто используется на курсах интегрированного медицинского образования.Это означает, что учебная программа медицинской школы состоит из серии курсов, которые преподают несколько преподавателей, имеющих подготовку и опыт работы в различных медицинских дисциплинах.Хотя студенты получают выгоду от глубоких знаний экспертов в этой области в рамках этой структуры, они часто сталкиваются с проблемой адаптации к различным стилям преподавания каждого учителя [1, 12, 13, 14].
Хотя существуют различия между общим высшим образованием и медицинским образованием, SET, используемый в первом, также иногда используется на курсах медицины и здравоохранения.Однако внедрение SET в общее высшее образование создает множество проблем с точки зрения учебной программы и оценки преподавателей в профессиональных программах здравоохранения [11].В частности, из-за различий в методах преподавания и квалификации учителей результаты оценки курсов могут не включать мнения учащихся обо всех учителях или классах.Исследования Ютенхааге и О'Нила (2015) [5] показывают, что просить студентов оценить всех отдельных учителей в конце курса может быть неуместно, поскольку студентам практически невозможно запомнить и прокомментировать несколько оценок учителей.категории.Кроме того, многие преподаватели медицинского образования также являются врачами, для которых преподавание является лишь небольшой частью их обязанностей [15, 16].Поскольку они в основном занимаются уходом за пациентами и, во многих случаях, исследованиями, у них часто мало времени для развития своих педагогических навыков.Однако врачи как преподаватели должны получать время, поддержку и конструктивную обратную связь от своих организаций [16].
Студенты-медики, как правило, высоко мотивированные и трудолюбивые люди, которые успешно поступают в медицинскую школу (путем конкурентного и требовательного процесса на международном уровне).Кроме того, в медицинской школе ожидается, что студенты-медики приобретут большой объем знаний и разовьют большое количество навыков за короткий период времени, а также добьются успеха в сложных внутренних и всесторонних национальных оценках [17,18,19 ,20].Таким образом, из-за высоких стандартов, ожидаемых от студентов-медиков, студенты-медики могут быть более критичными и иметь более высокие ожидания в отношении высокого качества преподавания, чем студенты, изучающие другие дисциплины.Таким образом, студенты-медики могут иметь более низкие оценки своих профессоров по сравнению со студентами других дисциплин по причинам, упомянутым выше.Интересно, что предыдущие исследования показали положительную связь между мотивацией учащихся и индивидуальными оценками учителей [21].Кроме того, за последние 20 лет большинство учебных программ медицинских школ по всему миру стали вертикально интегрированными [22], так что студенты знакомятся с клинической практикой с самых первых лет обучения по программе.Таким образом, за последние несколько лет врачи стали все активнее участвовать в обучении студентов-медиков, подчеркивая, даже на ранних этапах своих программ, важность разработки SET, адаптированных к конкретным преподавателям [22].
Ввиду упомянутой выше специфики медицинского образования, SET, используемые для оценки курсов общего высшего образования, преподаваемых одним преподавателем, должны быть адаптированы для оценки интегрированной учебной программы и клинического факультета медицинских программ [14].Поэтому существует необходимость разработки более эффективных моделей SET и комплексных систем оценивания для более эффективного применения в медицинском образовании.
В текущем обзоре описываются последние достижения в использовании SET в (общем) высшем образовании и его ограничения, а затем обрисовываются различные потребности SET для курсов медицинского образования и преподавателей.В этом обзоре представлена обновленная информация о том, как можно улучшить SET на инструментальном, административном и интерпретационном уровнях, и основное внимание уделяется целям разработки эффективных моделей SET и комплексных систем оценки, которые будут эффективно измерять эффективность преподавания, поддерживать развитие профессиональных преподавателей здравоохранения и улучшать качество преподавания в медицинском образовании.
Это исследование следует за исследованием Green et al.(2006) [23] за советы и Баумайстеру (2013) [24] за советы по написанию описательных обзоров.Мы решили написать описательный обзор на эту тему, потому что этот тип обзора помогает представить широкий взгляд на эту тему.Более того, поскольку нарративные обзоры опираются на методологически разнообразные исследования, они помогают ответить на более широкие вопросы.Кроме того, повествовательный комментарий может помочь стимулировать размышления и обсуждение темы.
Как SET используется в медицинском образовании и каковы проблемы по сравнению с SET, используемым в общем высшем образовании?
Поиск в базах данных Pubmed и ERIC проводился с использованием комбинации поисковых терминов «оценка преподавания студентов», «эффективность преподавания», «медицинское образование», «высшее образование», «оценка учебных программ и преподавателей», а для Peer Review 2000 — логических операторов. .статьи, опубликованные в период с 2021 по 2021 год. Критерии включения: включенные исследования представляли собой оригинальные исследования или обзорные статьи, и исследования относились к областям трех основных исследовательских вопросов.Критерии исключения: исследования, которые не были англоязычными, или исследования, в которых не удалось найти полнотекстовые статьи или которые не имели отношения к трем основным вопросам исследования, были исключены из текущего обзорного документа.После отбора публикаций они были организованы по следующим темам и связанным с ними подтемам: (а) Использование SET в общем высшем образовании и его ограничения, (b) Использование SET в медицинском образовании и его актуальность для решения проблем, связанных со сравнением SET (c ) Улучшение SET на инструментальном, управленческом и интерпретационном уровнях для разработки эффективных моделей SET.
На рисунке 1 представлена блок-схема избранных статей, включенных и обсуждаемых в текущей части обзора.
SET традиционно используется в высшем образовании и тема хорошо изучена в литературе [10, 21].Однако в большом количестве исследований были изучены их многочисленные ограничения и усилия по устранению этих ограничений.
Исследования показывают, что существует множество переменных, которые влияют на баллы SET [10, 21, 25, 26].Поэтому администраторам и учителям важно понимать эти переменные при интерпретации и использовании данных.В следующем разделе представлен краткий обзор этих переменных.На рисунке 2 показаны некоторые факторы, влияющие на баллы SET, которые подробно описаны в следующих разделах.
В последние годы использование онлайн-наборов увеличилось по сравнению с бумажными.Однако имеющиеся в литературе данные свидетельствуют о том, что онлайн-SET может быть пройден без того, чтобы учащиеся уделяли необходимое внимание процессу завершения.В интересном исследовании Уитдехааге и О'Нила [5] к SET были добавлены несуществующие учителя, и многие студенты предоставили отзывы [5].Более того, имеющиеся в литературе данные свидетельствуют о том, что студенты часто считают, что завершение SET не приводит к улучшению образовательного уровня, что в сочетании с плотным графиком студентов-медиков может привести к снижению показателей ответов [27].Хотя исследования показывают, что мнения студентов, сдающих тест, не отличаются от мнений всей группы, низкие показатели ответов все же могут привести к тому, что учителя будут менее серьезно относиться к результатам [28].
Большинство онлайн-заданий выполняются анонимно.Идея состоит в том, чтобы позволить учащимся свободно выражать свое мнение, не предполагая, что его выражение окажет какое-либо влияние на их будущие отношения с учителями.В исследовании Альфонсо и др. [29] исследователи использовали анонимные рейтинги и рейтинги, в которых оценщикам приходилось называть свои имена (публичные рейтинги), чтобы оценить эффективность преподавания преподавателей медицинских вузов ординаторами и студентами-медиками.Результаты показали, что учителя, как правило, набирали более низкие баллы по анонимным оценкам.Авторы утверждают, что студенты более честны при анонимном оценивании из-за определенных барьеров при открытом оценивании, таких как испорченные рабочие отношения с участвующими учителями [29].Однако следует также отметить, что анонимность, часто связанная с онлайн-SET, может привести к тому, что некоторые студенты будут проявлять неуважение и мстительные меры по отношению к преподавателю, если баллы оценивания не соответствуют ожиданиям студентов [30].Однако исследования показывают, что студенты редко дают неуважительную обратную связь, и последнюю можно еще больше ограничить, научив студентов давать конструктивную обратную связь [30].
Несколько исследований показали, что существует корреляция между баллами студентов по SET, их ожиданиями от результатов тестов и их удовлетворенностью тестами [10, 21].Например, Строуб (2020) [9] сообщил, что студенты вознаграждают легкие курсы, а учителя поощряют низкие оценки, что может способствовать плохому преподаванию и привести к завышению оценок [9].В недавнем исследовании Looi et al.(2020) [31] Исследователи сообщили, что более благоприятные SET взаимосвязаны и их легче оценить.Более того, имеются тревожные данные о том, что SET обратно пропорционален успеваемости учащихся на последующих курсах: чем выше рейтинг, тем хуже успеваемость учащихся на последующих курсах.Корнелл и др.(2016)[32] провели исследование, чтобы выяснить, научились ли студенты колледжей относительно большему от учителей, SET которых они высоко оценили.Результаты показывают, что когда обучение оценивается в конце курса, преподаватели с наивысшими оценками также способствуют обучению большинства студентов.Однако, когда обучение измеряется успеваемостью на последующих соответствующих курсах, учителя, набравшие относительно низкие баллы, являются наиболее эффективными.Исследователи предположили, что если сделать курс более сложным и продуктивным, это может снизить рейтинги, но улучшить обучение.Таким образом, оценки учащихся не должны быть единственной основой для оценки преподавания, но должны признаваться.
Некоторые исследования показывают, что на результативность SET влияет сам курс и его организация.Мин и Баочжи [33] обнаружили в своем исследовании, что существуют значительные различия в баллах SET среди учащихся по разным предметам.Например, клинические науки имеют более высокие баллы по SET, чем фундаментальные науки.Авторы объяснили, что это связано с тем, что студенты-медики заинтересованы в том, чтобы стать врачами, и поэтому имеют личный интерес и более высокую мотивацию к большему участию в курсах клинических наук по сравнению с курсами фундаментальных наук [33].Как и в случае с факультативами, мотивация учащихся к предмету также положительно влияет на баллы [21].Несколько других исследований также подтверждают, что тип курса может влиять на баллы SET [10, 21].
Более того, другие исследования показали, что чем меньше размер класса, тем выше уровень SET, достигнутый учителями [10, 33].Одно из возможных объяснений заключается в том, что меньшие размеры классов увеличивают возможности взаимодействия учителя и ученика.Кроме того, на результаты могут повлиять условия, в которых проводится оценка.Например, на баллы SET, по-видимому, влияют время и день преподавания курса, а также день недели, в который завершается SET (например, оценивания, выполненные в выходные дни, обычно дают более положительные оценки), чем завершенные оценивания. ранее на этой неделе.[10].
Интересное исследование Хесслера и др. также ставит под сомнение эффективность SET.[34].В этом исследовании рандомизированное контролируемое исследование было проведено в рамках курса неотложной медицинской помощи.Студенты-медики третьего курса были случайным образом распределены либо в контрольную группу, либо в группу, получавшую бесплатное печенье с шоколадной крошкой (группа печенья).Во всех группах преподавали одни и те же преподаватели, а содержание обучения и материалы курса были идентичны для обеих групп.После курса всем студентам было предложено выполнить набор.Результаты показали, что группа печенья оценивала учителей значительно лучше, чем контрольная группа, что ставит под сомнение эффективность SET [34].
Данные в литературе также подтверждают, что пол может влиять на баллы SET [35,36,37,38,39,40,41,42,43,44,45,46].Например, некоторые исследования показали связь между полом студентов и результатами оценивания: студентки набрали больше баллов, чем студенты мужского пола [27].Большинство данных подтверждает, что студенты оценивают учителей-женщин ниже, чем учителей-мужчин [37, 38, 39, 40].Например, Боринг и др.[38] показали, что студенты как мужского, так и женского пола считали, что мужчины более осведомлены и обладают более сильными лидерскими способностями, чем женщины.Тот факт, что пол и стереотипы влияют на SET, также подтверждается исследованием MacNell et al.[41], который сообщил, что студенты в его исследовании оценивали учителей-женщин ниже, чем учителей-мужчин, по различным аспектам преподавания [41].Более того, Морган и др. [42] предоставили доказательства того, что женщины-врачи получили более низкие рейтинги преподавателей в четырех основных клинических ротациях (хирургия, педиатрия, акушерство и гинекология и внутренняя медицина) по сравнению с врачами-мужчинами.
В исследовании Мюррея и др. (2020) [43] исследователи сообщили, что привлекательность преподавателей и интерес студентов к курсу были связаны с более высокими баллами SET.И наоборот, сложность курса связана с более низкими баллами SET.Кроме того, студенты дали более высокие баллы по SET молодым белым мужчинам-преподавателям гуманитарных наук и профессорско-преподавательскому составу.Не было никакой корреляции между оценками преподавания SET и результатами опроса учителей.Другие исследования также подтверждают положительное влияние физической привлекательности учителей на результаты оценивания [44].
Клейсон и др.(2017) [45] сообщили, что, хотя существует общее мнение, что SET дает надежные результаты и что средние показатели класса и учителя согласованы, несоответствия все еще существуют в индивидуальных ответах учащихся.Таким образом, результаты этого отчета об оценке показывают, что учащиеся не согласились с тем, что их просили оценить.Показатели надежности, полученные на основе оценок преподавания студентами, недостаточны для обеспечения основы для установления достоверности.Поэтому SET иногда может предоставлять информацию об учащихся, а не об учителях.
Санитарное образование SET отличается от традиционного SET, но преподаватели часто используют SET, доступный в общем высшем образовании, а не SET, специфичный для программ медицинских профессий, о которых сообщается в литературе.Однако исследования, проведенные на протяжении многих лет, выявили несколько проблем.
Джонс и др. (1994).[46] провели исследование, чтобы определить вопрос о том, как оценивать преподавателей медицинских вузов с точки зрения преподавателей и администраторов.В целом, наиболее часто упоминаемые вопросы связаны с оценкой преподавания.Наиболее распространенными были общие жалобы на неадекватность существующих методов оценки успеваемости, при этом респонденты также высказывали конкретные жалобы на SET и отсутствие признания преподавания в системах академического вознаграждения.Другие проблемы, о которых сообщалось, включали противоречивые процедуры оценки и критерии продвижения по службе в разных департаментах, отсутствие регулярных оценок и неспособность увязать результаты оценок с заработной платой.
Royal и др. (2018) [11] обрисовывают некоторые ограничения использования SET для оценки учебной программы и преподавателей в программах медицинских работников в общем высшем образовании.Исследователи сообщают, что SET в высшем образовании сталкивается с различными проблемами, поскольку его нельзя напрямую применить к разработке учебных программ и преподаванию курсов в медицинских школах.Часто задаваемые вопросы, в том числе вопросы о преподавателе и курсе, часто объединяются в одну анкету, поэтому студентам часто трудно их различить.Кроме того, курсы медицинских программ часто преподаются несколькими преподавателями.Это поднимает вопросы об обоснованности, учитывая потенциально ограниченное количество взаимодействий между учениками и учителями, оцененное Royal et al.(2018)[11].В исследовании Hwang et al.(2017) [14] исследователи изучили концепцию того, как ретроспективная оценка курсов всесторонне отражает восприятие студентами курсов различных преподавателей.Их результаты показывают, что индивидуальная оценка класса необходима для управления межфакультетскими курсами в рамках интегрированной учебной программы медицинской школы.
Уитдехааге и О'Нил (2015) [5] исследовали степень, в которой студенты-медики сознательно проходили SET в рамках аудиторного курса, проводимого на нескольких факультетах.На каждом из двух доклинических курсов присутствовал вымышленный инструктор.Студенты должны предоставить анонимные оценки всем преподавателям (включая вымышленных инструкторов) в течение двух недель после завершения курса, но могут отказаться давать оценку инструктору.В следующем году это повторилось, но портрет вымышленного лектора был включен.Шестьдесят шесть процентов студентов оценили виртуального инструктора без сходства, но меньше студентов (49%) оценили виртуального инструктора с наличием сходства.Эти данные свидетельствуют о том, что многие студенты-медики выполняют SET вслепую, даже если они сопровождаются фотографиями, без тщательного рассмотрения того, кого они оценивают, не говоря уже о работе преподавателя.Это препятствует повышению качества программ и может нанести ущерб академическому прогрессу учителей.Исследователи предлагают структуру, которая предлагает радикально иной подход к SET, который активно и активно привлекает студентов.
Существует множество других отличий образовательной программы медицинских программ от других программ общего высшего образования [11].Медицинское образование, как и профессиональное медицинское образование, четко ориентировано на развитие четко определенных профессиональных ролей (клинической практики).В результате учебные программы программ по медицине и здравоохранению становятся более статичными, с ограниченным выбором курсов и факультетов.Интересно, что курсы медицинского образования часто предлагаются в групповом формате, когда все студенты проходят один и тот же курс в одно и то же время каждый семестр.Поэтому набор большого количества студентов (обычно n = 100 и более) может повлиять на формат обучения, а также на отношения учителя и ученика.Более того, во многих медицинских школах психометрические свойства большинства инструментов не оцениваются при первоначальном использовании, и свойства большинства инструментов могут оставаться неизвестными [11].
Несколько исследований за последние несколько лет предоставили доказательства того, что SET можно улучшить, устранив некоторые важные факторы, которые могут повлиять на эффективность SET на инструментальном, административном и интерпретативном уровнях.На рисунке 3 показаны некоторые шаги, которые можно использовать для создания эффективной модели SET.В следующих разделах представлено более подробное описание.
Улучшите SET на инструментальном, управленческом и интерпретационном уровнях для разработки эффективных моделей SET.
Как упоминалось ранее, литература подтверждает, что гендерная предвзятость может влиять на оценки учителей [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46].Петерсон и др.(2019) [40] провели исследование, в ходе которого изучалось, влияет ли пол учащихся на реакцию учащихся на усилия по смягчению предвзятости.В этом исследовании SET применялся в четырех классах (два преподавали учителя-мужчины и два - учителя-женщины).В рамках каждого курса учащиеся были случайным образом распределены для получения стандартного инструмента оценки или того же инструмента, но с использованием языка, предназначенного для уменьшения гендерных предубеждений.Исследование показало, что учащиеся, которые использовали инструменты оценки, исключающие предвзятость, дали учителям-женщинам значительно более высокие баллы SET, чем учащиеся, которые использовали стандартные инструменты оценки.При этом различий в рейтингах учителей-мужчин между двумя группами не было.Результаты этого исследования значительны и демонстрируют, как относительно простое языковое вмешательство может уменьшить гендерную предвзятость в оценках преподавания учащимися.Поэтому хорошей практикой является тщательное рассмотрение всех SET и использование языка, чтобы уменьшить гендерную предвзятость в их развитии [40].
Чтобы получить полезные результаты от любого SET, важно заранее тщательно продумать цель оценки и формулировку вопросов.Хотя в большинстве опросов SET четко указывается раздел, посвященный организационным аспектам курса, т. е. «Оценка курса», и раздел, посвященный преподавателям, т. е. «Оценка учителей», в некоторых опросах разница может быть неочевидной или среди студентов может возникнуть путаница. о том, как оценить каждую из этих областей в отдельности.Поэтому дизайн анкеты должен быть соответствующим, разъяснять две разные части анкеты и информировать учащихся о том, что следует оценивать в каждой области.Кроме того, рекомендуется провести пилотное тестирование, чтобы определить, интерпретируют ли студенты вопросы заданным образом [24].В исследовании Oermann et al.(2018) [26], исследователи провели поиск и синтезировали литературу, описывающую использование SET в широком спектре дисциплин в бакалавриате и последипломном образовании, чтобы предоставить преподавателям рекомендации по использованию SET в программах сестринского дела и других профессиональных программах здравоохранения.Результаты показывают, что инструменты SET следует оценивать перед использованием, включая пилотное тестирование инструментов со студентами, которые могут быть не в состоянии интерпретировать элементы или вопросы инструментов SET так, как задумал инструктор.
В нескольких исследованиях изучалось, влияет ли модель управления SET на участие студентов.
Домье и др.(2004) [47] сравнили рейтинги студентов, прошедших инструкторскую подготовку в классе, с рейтингами, собранными онлайн, путем сравнения количества ответов и оценок.Исследования показывают, что онлайн-опросы обычно имеют более низкий процент откликов, чем очные опросы.Тем не менее, исследование показало, что онлайн-оценки не дают существенных отличий от традиционных оценок в классе.
Сообщалось об отсутствии двусторонней связи между учащимися и преподавателями во время заполнения онлайновых (но часто распечатанных) SET, что приводило к отсутствию возможности для разъяснений.Поэтому смысл вопросов SET, комментариев или оценок учащихся не всегда может быть ясен [48].Некоторые учебные заведения решили эту проблему, собирая студентов вместе на час и выделяя определенное время для прохождения SET онлайн (анонимно) [49].В своем исследовании Malone et al.(2018) [49] провели несколько встреч, чтобы обсудить со студентами цель SET, кто будет видеть результаты SET и то, как эти результаты будут использоваться, а также любые другие вопросы, поднятые студентами.SET проводится во многом как фокус-группа: коллективная группа отвечает на открытые вопросы посредством неформального голосования, дебатов и разъяснений.Уровень ответов составил более 70–80%, что позволило учителям, администраторам и комитетам по учебным программам получить обширную информацию [49].
Как упоминалось выше, в исследовании Уитдехааге и О'Нила [5] исследователи сообщили, что учащиеся в их исследовании оценивали несуществующих учителей.Как упоминалось ранее, это обычная проблема на курсах медицинских вузов, где каждый курс может преподаваться многими преподавателями, но студенты могут не помнить, кто внес свой вклад в каждый курс или что делал каждый преподаватель.Некоторые учебные заведения решили эту проблему, предоставив фотографию каждого лектора, его/ее имя и тему/дату представления, чтобы освежить память студентов и избежать проблем, которые ставят под угрозу эффективность SET [49].
Пожалуй, самая важная проблема, связанная с SET, заключается в том, что учителя не могут правильно интерпретировать количественные и качественные результаты SET.Некоторые учителя могут захотеть провести статистические сравнения за разные годы, некоторые могут рассматривать незначительное увеличение/уменьшение средних баллов как значимые изменения, некоторые хотят верить каждому опросу, а другие совершенно скептически относятся к любому опросу [45,50, 51].
Неспособность правильно интерпретировать результаты или обрабатывать отзывы учащихся может повлиять на отношение учителей к преподаванию.Результаты Lutovac et al.(2017) [52] Поддерживающая подготовка учителей необходима и полезна для обеспечения обратной связи со студентами.Медицинское образование остро нуждается в обучении правильной интерпретации результатов SET.Следовательно, преподаватели медицинских вузов должны пройти обучение тому, как оценивать результаты и важным областям, на которых им следует сосредоточиться [50, 51].
Таким образом, описанные результаты предполагают, что SET следует тщательно разрабатывать, проводить и интерпретировать, чтобы гарантировать, что результаты SET окажут значимое влияние на все соответствующие заинтересованные стороны, включая преподавателей, администраторов медицинских школ и студентов.
Из-за некоторых ограничений SET нам следует продолжать стремиться к созданию комплексной системы оценки, чтобы уменьшить предвзятость в эффективности преподавания и поддержать профессиональное развитие медицинских преподавателей.
Более полное понимание качества преподавания клинических преподавателей можно получить путем сбора и триангуляции данных из нескольких источников, включая студентов, коллег, администраторов программ и самооценки преподавателей [53, 54, 55, 56, 57].В следующих разделах описаны возможные другие инструменты/методы, которые можно использовать в дополнение к эффективному SET, чтобы помочь выработать более адекватное и полное понимание эффективности обучения (рис. 4).
Методы, которые можно использовать для разработки комплексной модели системы оценки эффективности преподавания в медицинском вузе.
Фокус-группа определяется как «групповое обсуждение, организованное для изучения определенного набора вопросов» [58].За последние несколько лет медицинские школы создали фокус-группы для получения качественной обратной связи от студентов и устранения некоторых ловушек онлайн-SET.Эти исследования показывают, что фокус-группы эффективны в обеспечении качественной обратной связи и повышении удовлетворенности студентов [59, 60, 61].
В исследовании Brundle et al.[59] Исследователи внедрили процесс групповой оценки студентов, который позволил директорам курсов и студентам обсуждать курсы в фокус-группах.Результаты показывают, что обсуждения в фокус-группах дополняют онлайн-оценку и повышают удовлетворенность студентов общим процессом оценки курса.Студенты ценят возможность напрямую общаться с директорами курсов и считают, что этот процесс может способствовать улучшению образования.Они также чувствовали, что способны понять точку зрения директора курса.Помимо студентов, руководители курсов также отметили, что фокус-группы способствуют более эффективному общению со студентами [59].Таким образом, использование фокус-групп может дать медицинским школам более полное представление о качестве каждого курса и эффективности преподавания соответствующего факультета.Однако следует отметить, что сами фокус-группы имеют некоторые ограничения, например, в них участвует лишь небольшое количество студентов по сравнению с онлайн-программой SET, которая доступна всем студентам.Кроме того, проведение фокус-групп для различных курсов может оказаться трудоемким процессом для консультантов и студентов.Это накладывает существенные ограничения, особенно для студентов-медиков, у которых очень плотный график и которые могут проходить клиническую практику в разных географических точках.Кроме того, фокус-группы требуют большого количества опытных координаторов.Однако включение фокус-групп в процесс оценки может дать более подробную и конкретную информацию об эффективности обучения [48, 59, 60, 61].
Шикиерка-Шваке и др.(2018) [62] изучили восприятие студентами и преподавателями нового инструмента для оценки успеваемости преподавателей и результатов обучения студентов в двух немецких медицинских школах.С преподавателями и студентами-медиками были проведены обсуждения в фокус-группах и индивидуальные интервью.Учителя высоко оценили личную обратную связь, предоставляемую инструментом оценки, а учащиеся сообщили, что необходимо создать цикл обратной связи, включая цели и последствия, чтобы стимулировать представление данных оценки.Таким образом, результаты данного исследования подтверждают важность замыкания цикла общения со студентами и информирования их о результатах оценивания.
Программы экспертной оценки преподавания (PRT) очень важны и реализуются в сфере высшего образования уже много лет.PRT включает в себя совместный процесс наблюдения за преподаванием и предоставления обратной связи наблюдателю для повышения эффективности обучения [63].Кроме того, упражнения по саморефлексии, структурированные последующие обсуждения и систематическое назначение обученных коллег могут помочь повысить эффективность PRT и культуру преподавания на кафедре [64].Сообщается, что эти программы имеют много преимуществ, поскольку они могут помочь учителям получить конструктивную обратную связь от учителей-сверстников, которые, возможно, сталкивались с аналогичными трудностями в прошлом, и могут оказать большую поддержку, предоставив полезные предложения по улучшению [63].Более того, при конструктивном использовании рецензирование может улучшить содержание курса и методы его проведения, а также помочь преподавателям-медикам улучшить качество преподавания [65, 66].
Недавнее исследование Campbell et al.(2019) [67] предоставляют доказательства того, что модель поддержки коллег на рабочем месте является приемлемой и эффективной стратегией развития учителей для преподавателей клинического здоровья.В другом исследовании Caygill et al.[68] провели исследование, в ходе которого преподавателям здравоохранения Мельбурнского университета была разослана специально разработанная анкета, чтобы они могли поделиться своим опытом использования PRT.Результаты показывают, что среди медицинских преподавателей существует сдержанный интерес к PRT и что формат добровольной и информативной экспертной оценки считается важной и ценной возможностью для профессионального развития.
Стоит отметить, что программы PRT должны быть тщательно разработаны, чтобы избежать создания осуждающей, «управленческой» среды, которая часто приводит к повышенной тревожности среди наблюдаемых учителей [69].Таким образом, целью должна быть тщательная разработка планов ГВП, которые будут дополнять и способствовать созданию безопасной среды и обеспечивать конструктивную обратную связь.Поэтому для подготовки рецензентов необходима специальная подготовка, а в программах PRT должны участвовать только действительно заинтересованные и опытные преподаватели.Это особенно важно, если информация, полученная от PRT, используется при принятии профессорско-преподавательскими решениями таких решений, как продвижение на более высокие уровни, повышение заработной платы и продвижение на важные административные должности.Следует отметить, что ПРТ требует много времени и, как и фокус-группы, требует участия большого количества опытных преподавателей, что затрудняет реализацию этого подхода в медицинских школах с низкими ресурсами.
Ньюман и др.(2019) [70] описывают стратегии, используемые до, во время и после обучения, наблюдения, которые подчеркивают лучшие практики и определяют решения проблем обучения.Исследователи предоставили рецензентам 12 предложений, в том числе: (1) выбирайте слова с умом;(2) позволяют наблюдателю определять направление дискуссии;(3) сохранять конфиденциальность и форматирование обратной связи;(4) сохранять конфиденциальность и форматирование обратной связи;Обратная связь фокусируется на навыках преподавания, а не на отдельном учителе;(5) Познакомьтесь со своими коллегами (6) Будьте внимательны к себе и другим (7) Помните, что местоимения играют важную роль в обеспечении обратной связи, (8) Используйте вопросы, чтобы пролить свет на точку зрения преподавания, (10) Установите доверие к процессам и обратная связь в наблюдениях коллег, (11) сделать наблюдение за обучением беспроигрышным вариантом, (12) создать план действий.Исследователи также изучают влияние предвзятости на наблюдения и то, как процесс обучения, наблюдения и обсуждения обратной связи может предоставить ценный опыт обучения для обеих сторон, что приведет к долгосрочному партнерству и повышению качества образования.Гомалий и др.(2014) [71] сообщили, что качество эффективной обратной связи должно включать (1) разъяснение задачи путем предоставления указаний, (2) повышенную мотивацию для поощрения больших усилий и (3) восприятие получателем ее как ценного процесса.предоставлено авторитетным источником.
Хотя преподаватели медицинских вузов получают отзывы о PRT, важно обучить преподавателей тому, как интерпретировать отзывы (аналогично рекомендации пройти обучение по интерпретации SET) и предоставить преподавателям достаточно времени для конструктивного размышления над полученными отзывами.
Время публикации: 24 ноября 2023 г.