Оценка учебных программ и преподавательского состава имеет решающее значение для всех высших учебных заведений, включая медицинские школы. Студенческие оценки преподавания (СОП) обычно проводятся в форме анонимных анкет, и хотя изначально они были разработаны для оценки курсов и программ, со временем их стали использовать также для измерения эффективности преподавания и, следовательно, для принятия важных решений, связанных с преподаванием. Профессиональное развитие преподавателей. Однако на результаты СОП могут влиять определенные факторы и предвзятости, и эффективность преподавания не может быть измерена объективно. Хотя литература по оценке курсов и преподавательского состава в общем высшем образовании хорошо изучена, существуют опасения по поводу использования тех же инструментов для оценки курсов и преподавателей в медицинских программах. В частности, СОП в общем высшем образовании не может быть напрямую применена к разработке и внедрению учебных программ в медицинских школах. В этом обзоре представлен обзор того, как можно улучшить СОП на уровне инструментария, управления и интерпретации. Кроме того, в этой статье указывается, что с помощью различных методов, таких как экспертная оценка, фокус-группы и самооценка, для сбора и сопоставления данных из множества источников, включая студентов, коллег, руководителей программ и самосознание, может быть построена комплексная система оценки. Эффективно измерять результативность преподавания, поддерживать профессиональное развитие преподавателей медицинских вузов и повышать качество преподавания в медицинском образовании.
Оценка курсов и программ является внутренним процессом контроля качества во всех высших учебных заведениях, включая медицинские вузы. Оценка студентами качества преподавания (ОСП) обычно проводится в форме анонимной анкеты или онлайн-опросника с использованием рейтинговой шкалы, такой как шкала Ликерта (обычно пять, семь или выше), которая позволяет людям указать степень своего согласия или несогласия с конкретными утверждениями [1,2,3]. Хотя ОСП изначально были разработаны для оценки курсов и программ, со временем они также стали использоваться для измерения эффективности преподавания [4, 5, 6]. Эффективность преподавания считается важной, поскольку предполагается, что существует положительная взаимосвязь между эффективностью преподавания и обучением студентов [7]. Хотя в литературе нет четкого определения эффективности обучения, она обычно определяется через конкретные характеристики обучения, такие как «групповое взаимодействие», «подготовка и организация», «обратная связь со студентами» [8].
Информация, полученная с помощью SET, может предоставить полезные сведения, например, о необходимости корректировки учебных материалов или методов обучения, используемых в конкретном курсе. SET также используется для принятия важных решений, связанных с профессиональным развитием преподавателей [4,5,6]. Однако целесообразность такого подхода вызывает сомнения, когда высшие учебные заведения принимают решения, касающиеся преподавательского состава, например, о повышении в звании до более высоких академических рангов (часто связанных со стажем и повышением заработной платы) и ключевых административных должностей в учреждении [4, 9]. Кроме того, учреждения часто требуют от новых преподавателей включать результаты SET из предыдущих учреждений в свои заявления на новые должности, тем самым влияя не только на продвижение преподавателей внутри учреждения, но и на потенциальных новых работодателей [10].
Хотя литература по вопросам учебных программ и оценки преподавателей хорошо разработана в области общего высшего образования, в области медицины и здравоохранения ситуация иная [11]. Учебные программы и потребности преподавателей медицинских вузов отличаются от потребностей общего высшего образования. Например, в интегрированных курсах медицинского образования часто используется командное обучение. Это означает, что учебная программа медицинского вуза состоит из серии курсов, преподаваемых несколькими преподавателями, имеющими подготовку и опыт в различных медицинских дисциплинах. Хотя студенты получают пользу от глубоких знаний экспертов в данной области в рамках такой структуры, они часто сталкиваются с проблемой адаптации к различным стилям преподавания каждого преподавателя [1, 12, 13, 14].
Хотя существуют различия между общим высшим образованием и медицинским образованием, метод SET, используемый в первом, иногда применяется и в курсах медицины и здравоохранения. Однако внедрение SET в общее высшее образование сопряжено со многими трудностями с точки зрения учебного плана и оценки преподавателей в программах подготовки медицинских специалистов [11]. В частности, из-за различий в методах преподавания и квалификации преподавателей результаты оценки курса могут не включать мнения студентов обо всех преподавателях или группах. Исследование Уйтенхаге и О'Нила (2015) [5] предполагает, что просьба к студентам оценить всех преподавателей в конце курса может быть неуместной, поскольку студентам практически невозможно запомнить и прокомментировать оценки нескольких преподавателей. Кроме того, многие преподаватели медицинского образования также являются врачами, для которых преподавание составляет лишь небольшую часть их обязанностей [15, 16]. Поскольку они в основном занимаются уходом за пациентами и, во многих случаях, исследованиями, у них часто мало времени для развития своих преподавательских навыков. Тем не менее, врачи как преподаватели должны получать время, поддержку и конструктивную обратную связь от своих организаций [16].
Студенты-медики, как правило, являются высоко мотивированными и трудолюбивыми людьми, успешно поступающими в медицинские вузы (через конкурентный и требовательный международный процесс). Кроме того, во время обучения в медицинском вузе от студентов-медиков ожидается приобретение большого объема знаний и развитие множества навыков за короткий период времени, а также успешное прохождение сложных внутренних и комплексных национальных оценок [17,18,19,20]. Таким образом, из-за высоких стандартов, предъявляемых к студентам-медикам, они могут быть более критичными и предъявлять более высокие требования к качеству преподавания, чем студенты других дисциплин. Следовательно, студенты-медики могут получать более низкие оценки от своих преподавателей по сравнению со студентами других дисциплин по причинам, указанным выше. Интересно, что предыдущие исследования показали положительную взаимосвязь между мотивацией студентов и индивидуальными оценками преподавателей [21]. Кроме того, за последние 20 лет большинство учебных программ медицинских вузов по всему миру стали вертикально интегрированными [22], так что студенты знакомятся с клинической практикой с самых первых лет обучения. Таким образом, в последние несколько лет врачи стали все активнее участвовать в обучении студентов-медиков, поддерживая, даже на ранних этапах их обучения, важность разработки SET, адаптированных к конкретным группам преподавателей [22].
Ввиду специфики медицинского образования, упомянутой выше, SET, используемые для оценки общих курсов высшего образования, преподаваемых одним преподавателем, должны быть адаптированы для оценки интегрированной учебной программы и клинического факультета медицинских программ [14]. Поэтому существует необходимость в разработке более эффективных моделей SET и комплексных систем оценки для более эффективного применения в медицинском образовании.
В данном обзоре описываются последние достижения в использовании SET в (общем) высшем образовании и его ограничения, а затем излагаются различные потребности SET для курсов медицинского образования и преподавателей. Этот обзор предоставляет обновленную информацию о том, как можно улучшить SET на инструментальном, административном и интерпретационном уровнях, и фокусируется на целях разработки эффективных моделей SET и комплексных систем оценки, которые будут эффективно измерять эффективность преподавания, поддерживать развитие профессиональных преподавателей здравоохранения и повышать качество преподавания в медицинском образовании.
Данное исследование опирается на работу Грина и др. (2006) [23] в качестве источника рекомендаций и Баумейстера (2013) [24] в качестве источника рекомендаций по написанию нарративных обзоров. Мы решили написать нарративный обзор по этой теме, поскольку этот тип обзора помогает представить широкую перспективу по теме. Более того, поскольку нарративные обзоры опираются на методологически разнообразные исследования, они помогают ответить на более широкие вопросы. Кроме того, нарративный комментарий может способствовать размышлениям и обсуждению темы.
Как используется методология SET в медицинском образовании и с какими проблемами она сталкивается по сравнению с использованием SET в общем высшем образовании?
Поиск проводился в базах данных PubMed и ERIC с использованием комбинации поисковых терминов «оценка преподавания студентами», «эффективность преподавания», «медицинское образование», «высшее образование», «оценка учебных программ и преподавательского состава», а также логических операторов Peer Review 2000. Включались статьи, опубликованные в период с 2021 по 2021 год. Критерии включения: Включенные исследования представляли собой оригинальные исследования или обзорные статьи, относящиеся к областям трех основных исследовательских вопросов. Критерии исключения: Из данного обзора были исключены исследования, написанные не на английском языке, или исследования, в которых не удалось найти полные тексты статей, или исследования, не относящиеся к трем основным исследовательским вопросам. После отбора публикаций они были сгруппированы по следующим темам и соответствующим подтемам: (а) Использование оценки преподавания студентами в общем высшем образовании и ее ограничения; (б) Использование оценки преподавания студентами в медицинском образовании и ее актуальность для решения вопросов, связанных со сравнением оценок преподавания студентами; (в) Совершенствование оценки преподавания студентами на инструментальном, управленческом и интерпретативном уровнях для разработки эффективных моделей оценки преподавания студентами.
На рисунке 1 представлена блок-схема отобранных статей, включенных и обсуждаемых в текущей части обзора.
Методика SET традиционно используется в высшем образовании, и эта тема хорошо изучена в литературе [10, 21]. Однако большое количество исследований посвящено изучению ее многочисленных ограничений и попыткам устранить эти ограничения.
Исследования показывают, что существует множество переменных, влияющих на результаты теста SET [10, 21, 25, 26]. Поэтому администраторам и учителям важно понимать эти переменные при интерпретации и использовании данных. В следующем разделе представлен краткий обзор этих переменных. На рисунке 2 показаны некоторые факторы, влияющие на результаты теста SET, которые подробно описаны в следующих разделах.
В последние годы использование онлайн-тестов увеличилось по сравнению с бумажными. Однако данные литературы свидетельствуют о том, что онлайн-тесты могут быть пройдены без должного внимания студентов к процессу их выполнения. В интересном исследовании Уитдехаге и О'Нила [5] к тесту были добавлены несуществующие преподаватели, и многие студенты предоставили обратную связь [5]. Более того, данные литературы свидетельствуют о том, что студенты часто считают, что прохождение теста не приводит к улучшению успеваемости, что в сочетании с плотным графиком студентов-медиков может привести к более низким показателям ответов [27]. Хотя исследования показывают, что мнения студентов, прошедших тест, не отличаются от мнений всей группы, низкие показатели ответов все же могут привести к тому, что преподаватели будут воспринимать результаты менее серьезно [28].
Большинство онлайн-тестов по оценке преподавания проводятся анонимно. Идея заключается в том, чтобы позволить студентам свободно выражать свое мнение, не предполагая, что их высказывание как-либо повлияет на их будущие отношения с преподавателями. В исследовании Альфонсо и др. [29] исследователи использовали анонимные оценки и оценки, в которых оценщики должны были указывать свои имена (публичные оценки), для оценки эффективности преподавания преподавателей медицинского факультета ординаторами и студентами-медиками. Результаты показали, что преподаватели, как правило, получали более низкие оценки в анонимных тестах. Авторы утверждают, что студенты более честны в анонимных оценках из-за определенных барьеров в открытых оценках, таких как испорченные рабочие отношения с участвующими преподавателями [29]. Однако следует также отметить, что анонимность, часто связанная с онлайн-тестами по оценке преподавания, может привести к тому, что некоторые студенты будут проявлять неуважение и мстить преподавателю, если оценки не соответствуют ожиданиям студентов [30]. Тем не менее, исследования показывают, что студенты редко дают неуважительную обратную связь, и последнее можно дополнительно ограничить, обучив студентов давать конструктивную обратную связь [30].
Несколько исследований показали, что существует корреляция между оценками студентов по тесту SET, их ожиданиями от результатов теста и их удовлетворенностью тестом [10, 21]. Например, Строуб (2020) [9] сообщил, что студенты поощряют легкие курсы, а преподаватели — слабые оценки, что может способствовать плохому преподаванию и завышению оценок [9]. В недавнем исследовании Лоой и др. (2020) [31] сообщили, что более благоприятные оценки SET связаны с более легкой оценкой. Более того, существуют тревожные данные о том, что оценка SET обратно пропорциональна успеваемости студентов на последующих курсах: чем выше оценка, тем хуже успеваемость студентов на последующих курсах. Корнелл и др. (2016) [32] провели исследование, чтобы выяснить, учатся ли студенты колледжа относительно больше у преподавателей, чьи оценки SET они высоко оценили. Результаты показывают, что когда обучение оценивается в конце курса, преподаватели с самыми высокими оценками также вносят наибольший вклад в обучение студентов. Однако, когда обучение измеряется успеваемостью на последующих соответствующих курсах, преподаватели с относительно низкими оценками оказываются наиболее эффективными. Исследователи выдвинули гипотезу, что повышение сложности курса продуктивным способом может снизить оценки, но улучшить усвоение материала. Таким образом, оценки студентов не должны быть единственным основанием для оценки преподавания, но их следует учитывать.
Несколько исследований показывают, что на результаты SET влияет сам курс и его организация. Мин и Баочжи [33] в своем исследовании обнаружили значительные различия в баллах SET среди студентов разных специальностей. Например, студенты клинических наук имеют более высокие баллы SET, чем студенты фундаментальных наук. Авторы объяснили это тем, что студенты-медики заинтересованы в том, чтобы стать врачами, и поэтому имеют личный интерес и более высокую мотивацию к участию в курсах клинических наук по сравнению с курсами фундаментальных наук [33]. Как и в случае с факультативными курсами, мотивация студентов к предмету также положительно влияет на баллы [21]. Несколько других исследований также подтверждают, что тип курса может влиять на баллы SET [10, 21].
Более того, другие исследования показали, что чем меньше размер класса, тем выше уровень SET, достигнутый учителями [10, 33]. Одно из возможных объяснений заключается в том, что меньший размер класса увеличивает возможности для взаимодействия учителя и ученика. Кроме того, условия, в которых проводится оценка, могут влиять на результаты. Например, на оценки SET, по-видимому, влияют время и день проведения курса, а также день недели, в который проводится оценка (например, оценки, проведенные в выходные дни, как правило, дают более положительные результаты), чем оценки, проведенные в начале недели [10].
Интересное исследование Хесслера и др. также ставит под сомнение эффективность SET [34]. В этом исследовании был проведен рандомизированный контролируемый эксперимент на курсе неотложной медицины. Студенты третьего курса медицинского факультета были случайным образом распределены либо в контрольную группу, либо в группу, получавшую бесплатное печенье с шоколадной крошкой (группа с печеньем). Все группы обучались у одних и тех же преподавателей, и содержание обучения и учебные материалы были идентичны для обеих групп. После курса всем студентам было предложено выполнить задание. Результаты показали, что группа с печеньем оценила преподавателей значительно лучше, чем контрольная группа, что ставит под сомнение эффективность SET [34].
В литературе также имеются данные, подтверждающие, что гендер может влиять на результаты SET [35,36,37,38,39,40,41,42,43,44,45,46]. Например, некоторые исследования показали взаимосвязь между полом студентов и результатами оценки: студентки получили более высокие оценки, чем студенты [27]. Большинство данных подтверждают, что студенты оценивают преподавателей-женщин ниже, чем преподавателей-мужчин [37, 38, 39, 40]. Например, Боринг и др. [38] показали, что как студенты мужского, так и женского пола считали, что мужчины более осведомлены и обладают более сильными лидерскими качествами, чем женщины. Тот факт, что гендер и стереотипы влияют на SET, также подтверждается исследованием МакНелла и др. [41], которые сообщили, что студенты в его исследовании оценили преподавателей-женщин ниже, чем преподавателей-мужчин по различным аспектам преподавания [41]. Более того, Морган и др. [42] представили доказательства того, что женщины-врачи получали более низкие оценки за преподавание в четырех основных клинических ротациях (хирургия, педиатрия, акушерство и гинекология, а также внутренняя медицина) по сравнению с мужчинами-врачами.
В исследовании Мюррея и др. (2020) [43] исследователи сообщили, что привлекательность преподавателей и интерес студентов к курсу были связаны с более высокими баллами SET. Напротив, сложность курса была связана с более низкими баллами SET. Кроме того, студенты давали более высокие баллы SET молодым белым мужчинам-преподавателям гуманитарных наук и преподавателям, занимающим должности профессоров. Корреляции между оценками преподавания по шкале SET и результатами опросов преподавателей не было. Другие исследования также подтверждают положительное влияние физической привлекательности преподавателей на результаты оценки [44].
Клейсон и др. (2017) [45] сообщили, что, хотя существует общее согласие относительно того, что SET дает надежные результаты и что средние оценки класса и учителя согласуются, в ответах отдельных студентов все еще существуют несоответствия. В целом, результаты этого отчета об оценке показывают, что студенты не согласились с тем, что их просили оценить. Показатели надежности, полученные на основе оценок студентами преподавания, недостаточны для того, чтобы обеспечить основу для установления валидности. Поэтому SET иногда может предоставлять информацию о студентах, а не о преподавателях.
Методы обучения в сфере здравоохранения отличаются от традиционных методов обучения, однако преподаватели часто используют методы, доступные в системе высшего образования общего профиля, а не методы, специфичные для программ подготовки специалистов здравоохранения, описанные в литературе. Тем не менее, проведенные за эти годы исследования выявили ряд проблем.
Джонс и др. (1994). [46] провели исследование, чтобы определить вопрос о том, как оценивать преподавателей медицинских школ с точки зрения преподавателей и администраторов. В целом, наиболее часто упоминаемые проблемы были связаны с оценкой преподавания. Наиболее распространенными были общие жалобы на неадекватность существующих методов оценки эффективности, при этом респонденты также высказывали конкретные жалобы на SET и отсутствие признания преподавательской деятельности в академических системах поощрения. Другие отмеченные проблемы включали непоследовательность процедур оценки и критериев продвижения по службе в разных департаментах, отсутствие регулярных оценок и неспособность связать результаты оценки с заработной платой.
Ройал и др. (2018) [11] описывают некоторые ограничения использования SET для оценки учебных программ и преподавателей в программах подготовки медицинских специалистов в рамках общего высшего образования. Исследователи сообщают, что SET в высшем образовании сталкивается с различными проблемами, поскольку его нельзя напрямую применять к разработке учебных программ и преподаванию курсов в медицинских вузах. Часто задаваемые вопросы, включая вопросы о преподавателе и курсе, часто объединяются в один вопросник, поэтому студентам часто трудно их различать. Кроме того, курсы в медицинских программах часто преподаются несколькими преподавателями. Это поднимает вопросы о достоверности, учитывая потенциально ограниченное количество взаимодействий между студентами и преподавателями, оцененных Ройалом и др. (2018) [11]. В исследовании Хванга и др. (2017) [14] исследователи изучили концепцию того, как ретроспективные оценки курсов всесторонне отражают восприятие студентами курсов различных преподавателей. Их результаты показывают, что индивидуальная оценка занятий необходима для управления междисциплинарными курсами в рамках интегрированной учебной программы медицинского вуза.
Уитдехаге и О'Нил (2015) [5] исследовали, в какой степени студенты-медики намеренно проходили тесты SET в рамках многопрофильного аудиторного курса. В каждом из двух доклинических курсов был вымышленный преподаватель. Студенты должны были анонимно оценить всех преподавателей (включая вымышленных) в течение двух недель после завершения курса, но могли отказаться от оценки преподавателя. В следующем году это повторилось, но уже с портретом вымышленного лектора. Шестьдесят шесть процентов студентов оценили виртуального преподавателя без сходства, но меньшее число студентов (49%) оценили виртуального преподавателя с наличием сходства. Эти результаты показывают, что многие студенты-медики проходят тесты SET вслепую, даже с фотографиями, не задумываясь о том, кого они оценивают, не говоря уже о качестве работы преподавателя. Это препятствует повышению качества программы и может нанести ущерб академическому прогрессу преподавателей. Исследователи предлагают структуру, которая предлагает радикально иной подход к тестированию SET, активно и целенаправленно вовлекающий студентов.
Существует множество других различий в учебных программах медицинских вузов по сравнению с другими программами общего высшего образования [11]. Медицинское образование, как и профессиональное образование в области здравоохранения, четко ориентировано на развитие четко определенных профессиональных ролей (клиническая практика). В результате учебные программы медицинских и оздоровительных вузов становятся более статичными, с ограниченным выбором курсов и преподавателей. Интересно, что курсы медицинского образования часто предлагаются в когортном формате, когда все студенты проходят один и тот же курс в одно и то же время каждый семестр. Поэтому набор большого количества студентов (обычно n = 100 или более) может повлиять на формат обучения, а также на отношения между преподавателем и студентом. Более того, во многих медицинских вузах психометрические свойства большинства инструментов не оцениваются при первом использовании, и свойства большинства инструментов могут оставаться неизвестными [11].
За последние несколько лет ряд исследований показал, что эффективность SET можно повысить, рассмотрев ряд важных факторов, влияющих на ее результативность на инструментальном, административном и интерпретационном уровнях. На рисунке 3 показаны некоторые шаги, которые можно использовать для создания эффективной модели SET. В следующих разделах приведено более подробное описание.
Совершенствование теории обмена знаниями на инструментальном, управленческом и интерпретационном уровнях для разработки эффективных моделей теории обмена знаниями.
Как уже упоминалось ранее, литература подтверждает, что гендерная предвзявость может влиять на оценки учителей [35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46]. Петерсон и др. (2019) [40] провели исследование, в котором изучалось, влияет ли пол учащихся на их реакцию на меры по смягчению предвзятости. В этом исследовании тест SET был проведен в четырех классах (два класса, которые вели учителя-мужчины, и два класса, которые вели учителя-женщины). В каждом классе учащиеся были случайным образом распределены на две группы: одна получала стандартный инструмент оценки, а другая – тот же инструмент, но с использованием языка, разработанного для уменьшения гендерной предвзявости. Исследование показало, что учащиеся, которые использовали инструменты оценки, направленные на снижение предвзятости, ставили учителям-женщинам значительно более высокие оценки SET, чем учащиеся, которые использовали стандартные инструменты оценки. Более того, различий в оценках учителей-мужчин между двумя группами не было. Результаты этого исследования являются значимыми и демонстрируют, как относительно простое языковое вмешательство может уменьшить гендерную предвзявость в оценках преподавания учащимися. Поэтому целесообразно тщательно рассматривать все SET и использовать язык, позволяющий уменьшить гендерную предвзятость при их разработке [40].
Для получения полезных результатов от любой оценки SET важно заранее тщательно продумать цель оценки и формулировку вопросов. Хотя большинство опросов SET четко указывают на раздел, посвященный организационным аспектам курса, т.е. «Оценка курса», и раздел, посвященный преподавательскому составу, т.е. «Оценка преподавателя», в некоторых опросах разница может быть неочевидной, или у студентов может возникнуть путаница относительно того, как оценивать каждую из этих областей по отдельности. Поэтому дизайн анкеты должен быть соответствующим, разъяснять две разные части анкеты и информировать студентов о том, что следует оценивать в каждой области. Кроме того, рекомендуется провести пилотное тестирование, чтобы определить, правильно ли студенты интерпретируют вопросы [24]. В исследовании Оерманна и др. (2018) [26] исследователи провели поиск и обобщили литературу, описывающую использование SET в широком спектре дисциплин в бакалаврском и магистерском образовании, чтобы предоставить преподавателям руководство по использованию SET в программах подготовки медсестер и других специалистов здравоохранения. Результаты показывают, что инструменты SET следует оценивать перед использованием, включая пилотное тестирование инструментов со студентами, которые могут не уметь интерпретировать пункты или вопросы инструмента SET так, как это задумано преподавателем.
В ряде исследований изучалось, влияет ли модель управления SET на вовлеченность студентов.
Домье и др. (2004) [47] сравнили оценки студентов по обучению инструкторов, пройденному в классе, с оценками, собранными онлайн, путем сравнения количества ответов и оценок. Исследование показывает, что онлайн-опросы обычно имеют более низкий процент ответов, чем опросы в классе. Однако исследование показало, что онлайн-оценки не привели к существенным отличиям средних оценок от традиционных оценок в классе.
Сообщалось об отсутствии двусторонней связи между студентами и преподавателями во время выполнения онлайн-тестов (но часто в печатном виде), что приводило к отсутствию возможности для разъяснений. Поэтому смысл вопросов, комментариев или оценок студентов в тестах может быть не всегда ясен [48]. Некоторые учебные заведения решили эту проблему, собрав студентов на час и выделив им определенное время для выполнения теста онлайн (анонимно) [49]. В своем исследовании Мэлоун и др. (2018) [49] провели несколько встреч, чтобы обсудить со студентами цель теста, кто увидит результаты теста и как они будут использоваться, а также любые другие вопросы, поднятые студентами. Тест проводится во многом как фокус-группа: коллективная группа отвечает на открытые вопросы посредством неформального голосования, дебатов и разъяснений. Уровень отклика составил более 70–80%, что предоставило преподавателям, администраторам и учебным комитетам обширную информацию [49].
Как упоминалось выше, в исследовании Уитдехаге и О'Нила [5] исследователи сообщили, что студенты в их исследовании оценивали несуществующих преподавателей. Как уже говорилось, это распространенная проблема в медицинских вузах, где каждый курс может преподаваться многими преподавателями, но студенты могут не помнить, кто внес свой вклад в каждый курс или что делал каждый преподаватель. Некоторые учебные заведения решили эту проблему, предоставив фотографию каждого лектора, его/ее имя и тему/дату, чтобы освежить память студентов и избежать проблем, которые снижают эффективность SET [49].
Возможно, наиболее важной проблемой, связанной с SET, является то, что учителя не могут правильно интерпретировать количественные и качественные результаты SET. Некоторые учителя могут хотеть проводить статистические сравнения между годами, некоторые могут рассматривать незначительные увеличения/уменьшения средних баллов как значимые изменения, некоторые хотят верить каждому опросу, а другие откровенно скептически относятся к любому опросу [45, 50, 51].
Неправильная интерпретация результатов или обработка отзывов студентов может повлиять на отношение преподавателей к преподаванию. Результаты исследования Лутоваца и др. (2017) [52] показывают, что поддерживающая подготовка преподавателей необходима и полезна для предоставления обратной связи студентам. Медицинское образование остро нуждается в обучении правильной интерпретации результатов SET. Поэтому преподаватели медицинских вузов должны пройти обучение тому, как оценивать результаты и на каких важных областях им следует сосредоточиться [50, 51].
Таким образом, описанные результаты свидетельствуют о том, что исследования SET следует тщательно разрабатывать, проводить и интерпретировать, чтобы гарантировать, что результаты SET окажут значимое влияние на все заинтересованные стороны, включая преподавателей, администрацию медицинских вузов и студентов.
Ввиду некоторых ограничений SET, нам следует продолжать стремиться к созданию всеобъемлющей системы оценки, чтобы уменьшить предвзятость в оценке эффективности преподавания и поддержать профессиональное развитие преподавателей медицинских вузов.
Более полное понимание качества преподавания клинических преподавателей может быть получено путем сбора и сопоставления данных из различных источников, включая студентов, коллег, администраторов программ и самооценки преподавателей [53, 54, 55, 56, 57]. В следующих разделах описываются возможные другие инструменты/методы, которые можно использовать в дополнение к эффективному SET для формирования более адекватного и полного понимания эффективности обучения (Рисунок 4).
Методы, которые можно использовать для разработки комплексной модели системы оценки эффективности преподавания в медицинском вузе.
Фокус-группа определяется как «групповое обсуждение, организованное для изучения определенного набора вопросов» [58]. В последние несколько лет медицинские школы создавали фокус-группы для получения качественной обратной связи от студентов и устранения некоторых недостатков онлайн-обучения. Эти исследования показывают, что фокус-группы эффективны в предоставлении качественной обратной связи и повышении удовлетворенности студентов [59, 60, 61].
В исследовании Брандла и др. [59] исследователи внедрили процесс групповой оценки студентов, который позволил руководителям курсов и студентам обсуждать курсы в фокус-группах. Результаты показывают, что обсуждения в фокус-группах дополняют онлайн-оценку и повышают удовлетворенность студентов общим процессом оценки курса. Студенты ценят возможность напрямую общаться с руководителями курсов и считают, что этот процесс может способствовать улучшению образования. Они также чувствовали, что могут понять точку зрения руководителя курса. Помимо студентов, руководители курсов также оценили, что фокус-группы способствовали более эффективному общению со студентами [59]. Таким образом, использование фокус-групп может предоставить медицинским школам более полное понимание качества каждого курса и эффективности преподавания соответствующего преподавательского состава. Однако следует отметить, что сами фокус-группы имеют некоторые ограничения, такие как небольшое количество студентов, участвующих в них, по сравнению с онлайн-программой SET, которая доступна всем студентам. Кроме того, проведение фокус-групп для различных курсов может быть трудоемким процессом для консультантов и студентов. Это создает значительные ограничения, особенно для студентов-медиков, у которых очень плотный график и которые могут проходить клиническую практику в разных географических местах. Кроме того, для проведения фокус-групп требуется большое количество опытных модераторов. Однако включение фокус-групп в процесс оценки может предоставить более подробную и конкретную информацию об эффективности обучения [48, 59, 60, 61].
Шикерка-Шваке и др. (2018) [62] исследовали восприятие студентами и преподавателями нового инструмента оценки эффективности работы преподавателей и результатов обучения студентов в двух немецких медицинских школах. Были проведены фокус-групповые дискуссии и индивидуальные интервью с преподавателями и студентами-медиками. Преподаватели высоко оценили персональную обратную связь, предоставляемую инструментом оценки, а студенты отметили, что следует создать цикл обратной связи, включающий цели и последствия, чтобы стимулировать предоставление данных оценки. Таким образом, результаты этого исследования подтверждают важность замыкания цикла коммуникации со студентами и информирования их о результатах оценки.
Программы взаимной оценки преподавания (ВОП) имеют большое значение и уже много лет внедряются в высшем образовании. ВОП включает в себя процесс сотрудничества, включающий наблюдение за преподаванием и предоставление обратной связи наблюдателю для повышения эффективности преподавания [63]. Кроме того, упражнения по саморефлексии, структурированные последующие обсуждения и систематическое распределение обученных коллег могут способствовать повышению эффективности ВОП и улучшению культуры преподавания на кафедре [64]. Сообщается, что эти программы имеют множество преимуществ, поскольку они помогают преподавателям получать конструктивную обратную связь от коллег, которые, возможно, сталкивались с аналогичными трудностями в прошлом, и могут оказывать большую поддержку, предоставляя полезные предложения по улучшению [63]. Более того, при конструктивном использовании взаимная оценка может улучшить содержание курса и методы преподавания, а также помочь медицинским преподавателям повысить качество своего преподавания [65, 66].
Недавнее исследование Кэмпбелла и др. (2019) [67] предоставляет доказательства того, что модель взаимной поддержки на рабочем месте является приемлемой и эффективной стратегией развития преподавателей для клинических медицинских работников. В другом исследовании Кейгилл и др. [68] провели исследование, в котором специально разработанная анкета была разослана преподавателям медицинских дисциплин в Мельбурнском университете, чтобы они могли поделиться своим опытом использования PRT. Результаты показывают, что среди медицинских преподавателей существует скрытый интерес к PRT, и что добровольный и информативный формат взаимной оценки рассматривается как важная и ценная возможность для профессионального развития.
Стоит отметить, что программы PRT должны быть тщательно разработаны, чтобы избежать создания осуждающей, «управленческой» среды, которая часто приводит к повышению тревожности среди наблюдаемых преподавателей [69]. Поэтому целью должно быть тщательное создание планов PRT, которые будут дополнять и способствовать созданию безопасной среды и обеспечивать конструктивную обратную связь. Следовательно, необходима специальная подготовка для обучения рецензентов, а программы PRT должны включать только действительно заинтересованных и опытных преподавателей. Это особенно важно, если информация, полученная в ходе PRT, используется при принятии решений преподавательским составом, таких как продвижение на более высокие должности, повышение заработной платы и продвижение на важные административные должности. Следует отметить, что PRT — это трудоемкий процесс, и, как и фокус-группы, требует участия большого числа опытных преподавателей, что затрудняет внедрение этого подхода в медицинских школах с ограниченными ресурсами.
Ньюман и др. (2019) [70] описывают стратегии, используемые до, во время и после обучения, наблюдения, которые выявляют лучшие практики и определяют решения проблем обучения. Исследователи предложили 12 рекомендаций рецензентам, в том числе: (1) тщательно подбирайте слова; (2) позвольте наблюдателю определить направление обсуждения; (3) сохраняйте конфиденциальность и форматированность обратной связи; (4) сохраняйте конфиденциальность и форматированность обратной связи; обратная связь фокусируется на навыках преподавания, а не на отдельном преподавателе; (5) познакомьтесь со своими коллегами; (6) будьте внимательны к себе и другим; (7) помните, что местоимения играют важную роль в предоставлении обратной связи; (8) используйте вопросы, чтобы пролить свет на точку зрения преподавателя; (10) устанавливайте доверительные отношения и обратную связь в ходе наблюдений коллег; (11) сделайте наблюдение за обучением взаимовыгодным; (12) создайте план действий. Исследователи также изучают влияние предвзятости на наблюдения и то, как процесс обучения, наблюдения и обсуждения обратной связи может обеспечить ценный опыт обучения для обеих сторон, что приводит к долгосрочному партнерству и повышению качества образования. Гомали и др. (2014) [71] сообщили, что качество эффективной обратной связи должно включать (1) уточнение задачи путем предоставления указаний, (2) повышение мотивации для поощрения больших усилий и (3) восприятие получателем ее как ценного процесса, предоставляемого авторитетным источником.
Хотя преподаватели медицинских вузов получают обратную связь по PRT, важно обучить их тому, как интерпретировать эту обратную связь (аналогично рекомендации пройти обучение интерпретации SET), и предоставить им достаточно времени для конструктивного осмысления полученной обратной связи.
Дата публикации: 24 ноября 2023 г.