Что такое оскэ в экзаменах

Объективный структурированный клинический экзамен (ОСКЭ) — это метод, используемый для оценки клинической компетентности. Рональд Харден, в 1975 г. впервые применивший этот метод оценки, дает ему следующее определение:

«Под­ход к оценке клинической или профес­сиональной компетентности, в котором компоненты! компетентности оценивают планомерно и структурированно, с особым вниманием к объективности оценки».

В основе метода лежит комплексная оценка с конечным множеством (обычно от 10 до 20) оценочных станций, модели­рующих различные аспекты клинической компетентности. Все участники проходят одинаковые испытания, последователь­но переходя от станции к станции в соот­ветствии с расписанием, результаты вы­полнения заданий при этом оценивают с использованием чек-листов. Для про­ведения ОСКЭ могут быть использова­ны различные тренажеры и симуляторы, стандартизированные или реальные па­циенты, а также дополнительные диа­гностические элементы (результаты ЭКГ, рентгенограммы, КТ, МРТ).

Суть ОСКЭ заключается в создании для экзаменуемых репродуцируемых клини­ческих ситуаций, позволяющих продемон­стрировать приобретенные технические, дедуктивные (диагностические, когнитив­ные) и коммуникативные навыки. ОСКЭ имитирует (симулирует) процесс обследо­вания и лечения пациента, поэтому прак­тические испытания на станциях ОСКЭ обычно представляют собой задания на интерпретацию исследований, оценку коммуникативных навыков (сбор анам­неза, сообщение плохих новостей), а так­же технических навыков. Таким образом, ОСКЭ — это больше, чем комплексный эк­замен. Правильно разработанные станции ОСКЭ позволяют проверить клинические компетенции, связанные с самостоятель­ным осуществлением медицинской дея­тельности. В отличие от традиционных методов оценки, эта методика позволяет оценить и продемонстрировать, что уча­щиеся делают, а не то, что они знают или теоретически могут либо будут делать.

За 40 лет, прошедших со времени изо­бретения метода Рональдом Харденом, на­блюдается стабильный рост использования ОСКЭ для проведения экзаменов у студен­тов, ординаторов и практикующих врачей во всем мире. ОСКЭ используется при по­вышении квалификации в системе непре­рывного медицинского образования (НМО) и в качестве средства получения обратной связи для коррекции процесса обучения. Сегодня ОСКЭ используется в качестве:

• средства оценки достижения мини­мально приемлемого стандарта для студентов и резидентов при пере­водных и выпускных экзаменах в большинстве медицинских школ США, Великобритании и Канады. В Казахстане ОСКЭ стал обязательным экзаменом после III, V и VII курсов во всех медицинских вузах;
• средства оценки интернов при назна­чении на более высокие должно­сти в Королевских коллегиях вра­чей различных специальностей в Великобритании;
• средства текущей, формативной оцен­ки и самооценки для коррекции обуче­ния студентов-медиков;
• средства суммативной (итоговой) оценки выпускников, претендующих на лицензию для занятия должно­сти или на сертификат для практиче­ской деятельности. На модели ОСКЭ основаны 2-я часть экзамена PLAB в Великобритании, Квалификационный экзамен-II Медицинского совета Канады [The Medical Council of Canada Qualifying Examination Part II (MCCQE)] и раздел оценки клинических умений экзамена для получения медицинской лицен­зии в США [The United States Medical Licensing Examination® (USMLE®)];
• с 2016 г. методика ОСКЭ применяет­ся в качестве 2-го этапа первичной аккредитации специалистов в России.

Сильные и слабые стороны

ОСКЭ как инструмент для оценки клини­ческой компетентности обладает многими преимуществами по сравнению с другими методами оценки: тестирование с выбором правильного ответа, собеседование по пред­мету и т.п. Правильно разработанные стан­ции ОСКЭ более объективны, легко воспро­изводимы (репродуцируемы), реалистичны, соответствуют действительности (валидны). Некоторые авторы утверждают, что ОСКЭ с его многочисленными вариациями сегод­ня доминирует в сфере оценки компетент­ности. Как правило, чем больше станций с различными практическими испытаниями в рамках ОСКЭ, тем выше степень надежно­сти его результатов. Результаты исследова­ний, проведенных Аккредитационным со­ветом по последипломному медицинскому образованию США (ACGME), указывают, что добиться необходимой степени надежности можно при внедрении ОСКЭ, состоящего из 20 практических испытаний. Исследование, проведенное ACGME, показывает корре­ляцию от 0,59 до 0,71 между результатами ОСКЭ и предаттестационных экзаменов. Та­ким образом, при достаточном количестве станций ОСКЭ может считаться надежным инструментом проверки знаний, умений и навыков с достаточно высокой степенью надежности.

Преимущества объективного структурированного клинического экзамена

Валидность — степень, в которой со­держание метода оценки позволяет оце­нить действительно приобретенные или подлежащие проверке знания, навыки и умения, которые отражают поведение в реальной клинической ситуации.

Формы валидности

Валидность содержания обеспечивает­ся в том случае, когда экзамен составлен таким образом, что он достоверно тестиру­ет реальные современные знания, навыки и нормы поведения, соответствующие эта­лонным, т.е. отражает поведение в данном клиническом контексте большинства экс­пертов в этой области в реальной практике.Валидность построения — способность экзамена правильно различать (диф­ференцировать) группы тестируемых по уровню экспертизы (например, постав­ленная задача может достоверно и надеж­но отличить начинающих клиницистов от экспертов).

Конвергентная, дивергентная и предсказа­тельная валидность

• Валидность также может проявляться в надежности (силе) взаимосвязи баллов, полученных одним измерением, с другими методами измерения на экзамене.
• Конвергентная валидность — надеж­ность экзамена и его способность давать равные оценки по одной и той же зада­че, используя различные элементы (или методы) оценки. Например, принятие ре­шения начать закрытый массаж сердца и время от остановки сердца до начала закрытого массажа сердца. Оба факто­ра должны быть отражены в чек-листе. Таким образом, 2 измерения позволяют оценить способность правильно начать реанимацию.
• Дивергентная валидность — способ­ность и надежность экзамена давать раз­личные оценки по одной и той же задаче, используя различные элементы (или ме­тоды) оценки.
• Предсказательная валидность — спо­собность экзамена предсказать поведе­ние и работу конкретного медработника в будущей практике (например, врачи, сдавшие экзамен по лапароскопическим навыкам, оперируют с меньшим количе­ством осложнений, чем те, кто не сдавал экзамен).

Как уже отмечалось выше, по сравне­нию с традиционным подходом к клини­ческим экзаменам ОСКЭ обеспечивает более достоверную оценку клинической компетентности. Составители экзаменов должны заранее определить, что необхо­димо проверить, и планировать содержа­ние экзамена для проверки определенных знаний, умений и навыков. При этом мож­но контролировать не только содержание, но и степень сложности экзамена: более простые случаи для студентов младших курсов, более сложные для старших. Ак­цент оценки может быть смещен с про­верки фактических знаний на тестирова­ние широкого спектра умений и навыков, включая сбор анамнеза. Помимо наиболее распространенных методов клинического обследования, можно включить методы исследований, применяемые узкими спе­циалистами, такими как офтальмологи, оториноларингологи.

С развитием ОСКЭ, помимо традици­онно охватываемых им доменов, таких как коммуникационные навыки, клинический осмотр, выполнение медицинских проце­дур и интерпретация данных, в содержа­ние экзамена все чаще включают оценку профессионализма, безопасность пациен­тов и межпрофессиональные навыки.

Надежность (воспроизводимость результа­тов тестирования)

ОСКЭ характеризуется не только боль­шей достоверностью, но и большей надежностью, — результат экзамена мало зависит от конкретного экзаменатора и стандартизированного пациента (СП) (конечно, и экзаменаторы, и пациенты-актеры должны быть обучены и откалиброваны). Использование экзаменаторами чек-листов и тестовых заданий закрытого типа (с выбором одного наилучшего от­вета) обеспечивает более объективную оценку. Дополнительное преимущество ОСКЭ заключается в том, что большой на­бор станций позволяет оценить более ши­рокий спектр навыков учащихся.

Высокую надежность ОСКЭ обусловли­вают следующие факторы:

• экзаменуемые проходят через набор станций, помогающих оценить разные аспекты клинической компетентности;
• все экзаменуемые получают одинако­вый набор заданий;
• каждого экзаменуемого оценивает множество подготовленных экзамена­торов, наблюдающих за выполнением заданий на различных станциях;
• на станциях, включающих выполне­ние процедур, используются симуляторы с электронным или компьютер­ным контролем и объективной оценкой в реальном времени;
• в чек-листах, разрабатываемых для каждой станции отдельно, отражено то, что должно оцениваться в рамках экзамена.

Практичность

Еще одно преимущество ОСКЭ — воз­можность оценивать большие группы студентов. При этом можно регулиро­вать нагрузку экзаменаторов, оставляя их только на тех станциях, где их присут­ствие необходимо: наблюдение за сбором анамнеза или обследованием пациента. В отличие от традиционных устных эк­заменов, формирование четких инструк­ций и чек-листов для оценки на каждой станции позволяет привлекать в качестве экзаменаторов более широкий круг пре­подавателей и клиницистов. ОСКЭ позво­ляет заранее определить критерии сдачи экзамена и после его проведения предо­ставить обратную связь профессорско-преподавательскому составу и студентам.

Гибкость

Гибкость ОСКЭ как метода оценки ста­ла причиной его широкого использования в самых разных дисциплинах и на различ­ных этапах медицинского образования. Соблюдая общие принципы, можно ши­роко варьировать количество, время вы­полнения станций и соответственно про­должительность экзамена; использование тренажеров, симуляторов, СП для оценки различных компетенций; формат заданий и ожидаемых от экзаменуемого ответов, привлечение экзаменаторов, формат об­ратной связи и т.д.

Справедливость оценки

Справедливость — характеристика метода оценки, демонстрирующая отсут­ствие влияния на результат и дискрими­нации экзаменуемых. Для справедливо­сти оценки необходимо жестко следовать установленным правилам и стандартам. Справедливость, выгодно отличающая ОСКЭ от традиционных методов оценки, обеспечивается следующими факторами:

• в отличие от традиционных методов с вытягиванием билета, все экзаме­нуемые выполняют одинаковый набор заданий;
• каждый экзаменуемый оценивается множеством экзаменаторов с исполь­зованием заранее согласованных чек-листов и шкал оценки;
• используются симуляторы и тренаже­ры с объективной компьютерной или электронной оценкой правильности выполнения процедур;
• СП отобраны в соответствии с полом, возрастом, данным в задании и обща­ются со всеми экзаменуемыми строго по стандарту;
• содержание экзамена соответствует учебному плану и ожидаемым резуль­татам обучения, профессиональным стандартам;
• в большинстве случаев экзамен запи­сывают на видео, что позволяет объ­ективно проводить апелляцию.

Недостатки объективного структурированного клинического экзамена

Нельзя не упомянуть о недостатках ОСКЭ, ограничивающих его примени­мость. При использовании ОСКЭ не про­веряется способность студента рассма­тривать пациента как нечто целое, знания и навыки студентов тестируются отдель­ными блоками компетенций. Поэтому, учитывая, что при оценке клинической компетентности каждый подход имеет собственные преимущества, не нужно ограничиваться одним подходом к оценке, необходимо применять и другие методы, позволяющие оценить способность сту­дента справляться с клиническим случаем в целом, — для этого можно использовать виртуальных пациентов. При оценке кли­нической компетентности выпускников и ординаторов ОСКЭ может быть дополнен оценкой работы в палате по отчетам на­ставников.

Существенный недостаток ОСКЭ для многих образовательных организаций — необходимость больших финансовых затрат и затрат сил организаторов и эк­заменаторов. Экзаменаторы и пациенты-актеры должны быть обучены и откалиброваны, экзаменаторы должны быть очень внимательны, многократно наблю­дая одно и то же задание. Можно попы­таться снизить нагрузку на экзаменато­ров, обеспечив их ротацию по станциям, однако при этом необходимо устроить для экзаменаторов дополнительный брифинг и дать им время для тщательного ознаком­ления с новыми станциями.

При использовании для экзамена ре­альных пациентов их следует тщательно подбирать, а инструкции для экзаменуе­мых должны минимизировать неудобства, которые могут причиняться пациентам. При оценке владения определенной ме­тодикой в распоряжении экзаменатора должно быть несколько пациентов, чтобы обеспечить им отдых; необходимо обе­спечить однородность пациентов по полу, возрасту, проявлениям основного заболе­вания. Использование симуляторов зна­чительно упрощает проведение экзамена.

Участие в ОСКЭ может быть стрессом для студентов, не знакомых с его мето­дикой, поэтому важно использовать этот метод не только для итоговой, но и для текущей (формативной) оценки. Важно проводить экзамен в специально под­готовленных помещениях, максимально реалистично повторяющих клинические условия.

Для подготовки к ОСКЭ необходимо потратить больше времени, чем для традиционного (тестирование) экзамена, однако нужно отметить, что эти усилия компенсируются не только вышеперечис­ленными преимуществами. При каждом последующем проведении ОСКЭ подго­товка занимает меньше времени, а банк готовых блоков объективного экзамена и контрольных листов позволяет умень­шить затрачиваемые время и усилия.

Применение объективного структурированного клинического экзамена

ОСКЭ может использоваться практиче­ски во всех ситуациях, в которых требуется оценить уровень клинической компетент­ности.

Этапы медицинского образования

ОСКЭ широко применяется на стадии от­бора абитуриентов в медицинские вузы, для профессиональной ориентации, в качестве итогового экзамена в конце курса обучения или как метод промежуточной оценки.

Отбор абитуриентов

Традиционно факторами, определяющими отбор аби­туриентов в медицинские вузы, являются их академические достижения по опреде­ленным дисциплинам, однако, оставляя в стороне методы их оценки, этих факто­ров недостаточно для отбора студентов, которые могут стать хорошими врачами. Дополнительные испытания при приеме абитуриентов, которые вузы имеют право вводить на собственное усмотрение, могут быть сосредоточены на выявлении навы­ков общения, способности к сопережива­нию, мотивации к обучению, критического мышления, поведения в кризисных си­туациях. ОСКЭ хорошо подходит для оценки таких категорий, и его модификации (Multiple Mini-Interview — MMI) применяют­ся для отбора абитуриентов в ряде стран. Многолетнее исследование, проведенное в Канаде, показало прямую корреляцию между результатами, продемонстрирован­ными абитуриентами на таком экзамене, с их дальнейшими успехами при обучении и в национальном лицензионном экзаме­не. Систематический обзор исследований использования MMI показал его валидность, надежность и применимость в ка­честве метода отбора абитуриентов.

Додипломное образование (специалитет)

В Данди (Шотландия), где этот метод был впервые применен, студен­там присваивают степени за клиниче­скую компетентность в конце осеннего, весеннего и летнего триместров на 3-м и 4-м годах обучения. Данные степени учитываются экзаменаторами при заклю­чительной оценке, проводимой в конце V курса. ОСКЭ также может быть подходя­щим методом для проведения последи­пломных экзаменов, для которых были описаны проблемы с оценкой клиниче­ской компетентности. В Казахстане ОСКЭ применяется в качестве переводного экзамена после III курса, после V курса -при завершении обучения в бакалавриа­те как итоговый экзамен, после VII курса -при итоговой аттестации после обучения в 2-летней интернатуре.

В США 101 из 130 аккредитованных медицинских школ используют ОСКЭ в ка­честве итогового экзамена и промежуточ­ных экзаменов после клинических циклов. Вертикальная интеграция дисциплин с ранним включением в программы обу­чения на начальных курсах клинических аспектов позволяет использовать методи­ку уже после 1-го года обучения.

ОСКЭ используется и для рутинной оценки прогресса студентов во время обу­чения, как по отдельным дисциплинам, так и по общей успеваемости.

Обучение в ординатуре

ОСКЭ широко используется как наиболее релевантный инструмент оценки выпускников про­грамм ординатуры (резидентуры). ACGME рекомендует использование ОСКЭ для оценки после каждого года резидентуры, а также для оценки отдельных доменов EPA (Entrusted professional activities — до­веренная самостоятельная профессио­нальная деятельность): помимо клиниче­ских компетенций, это навыки, связанные с передачей пациента и его безопасно­стью, с телефонными коммуникациями.

Непрерывное медицинское образова­ние

Практика применения ОСКЭ в НМО чаще всего сосредоточена на оценке про­грамм обучения, а также на выявлении об­разовательных пробелов и потребностей. Например, в Великобритании ОСКЭ при­меняется для ревалидации лицензии при подозрении на наличие потенциальных проблем, а также при лицензировании врачей-иностранцев.

Области применения

ОСКЭ особенно хорошо подходит для критериально-ориентированных, барьер­ных экзаменов, которые проводятся для принятия решения об успешности завер­шения программы обучения и заключе­ния о достижении студентом критериев, предусмотренных программой обучения или стандартами, и его готовности к само­стоятельной практической деятельности или переходу к следующей части курса. В ряде стран ОСКЭ является частью экзамена для допуска к специальности. Так, в США с 2004 г. ОСКЭ является частью национального лицензионного экзамена. Этап 2CS (Clinical Skills) включает 12 стан­ций ОСКЭ по 15 мин, ранее разработан­ных Educational Commission for Foreign Medical Graduates (ECFMG) для оценки иностранных выпускников.

C 2016 г. ОСКЭ используется в каче­стве 2-го этапа первичной аккредитации в Российской Федерации. Как и любое новшество, экзамен ОСКЭ вызывает ряд проблемных вопросов. Организация, ад­министрирование и проведение экза­мена ОСКЭ требуют обширных знаний и планирования. Первый опыт, нако­пленный в процессе 2-летней первичной аккредитации специалистов здраво­охранения в России, говорит о том, что целесообразно создавать специальные рабочие группы, отвечающие за различ­ные аспекты ОСКЭ. Необходима предва­рительная большая методическая работа по созданию паспортов станций ОСКЭ. В состав паспортов должны войти переч­ни клинических сценариев, максимально приближенных к реальным условиям будущей профессиональной деятельно­сти испытуемых, алгоритмы выполнения практических навыков, оценочные чек-листы, инструкции для экзаменаторов и испытуемых, информация о необхо­димых тренажерах и симуляторах и т.д. В дальнейшем предполагается подклю­чить к экзамену ОСКЭ СП, как это дела­ется во многих странах мира, где их роли исполняют специально подготовленные актеры. Таким образом, экзамен ОСКЭ в России находится в самом начале свое­го пути и проходит стадию становления и интенсивного развития.

ОСКЭ также широко используется в ка­честве инструмента формативной оценки для выявления областей знаний, в кото­рых у студента имеются пробелы и в ко­торых ему необходимо приобрести допол­нительные навыки. Экзамен может быть составлен таким образом, чтобы отбирать студентов, обладающих определенными навыками или способностями, например, для выявления учащихся со способностя­ми выше средних, как, например, в экза­мене на членство в Королевском обществе терапевтов в Великобритании.

Для лучшего понимания областей при­менения ОСКЭ, важно понять связь между компетентностью и способностью к выпол­нению клинической работы. Часто ОСКЭ характеризуют как инструмент для оцен­ки практических умений. Это не совсем верно, так как умения — это только один аспект клинической деятельности. Любой инструмент оценки способности к клини­ческой деятельности должен содержать задачи разного уровня сложности — для обучающихся, выпускников и для профес­сионалов/экспертов. ОСКЭ в комбинации с высокореалистичными симуляциями идеально подходит для тестирования ком­плекса когнитивных и технических навы­ков в критических ситуациях.

Ключевое различие между ОСКЭ и оценкой на рабочем месте заключается в условиях, в которых проводится оценка, а не в том, что первый экзамен оценивает умения, а второй — способности к клини­ческой деятельности, как часто считается. Тем не менее различие между ними очень существенно, так как выполнение одних и тех же задач одним и тем же человеком может существенно различаться в за­висимости от контекста. Соответственно, чек-листы правильных действий и оценки могут разительно отличаться. Поэтому для всех практических целей ОСКЭ следует рассматривать как инструмент для оцен­ки выполнения задач в смоделированных условиях.

ОСКЭ следует планировать для оценки определенных знаний и умений, которые невозможно адекватно оценить с помо­щью устного, письменного или компью­терного экзамена. Типичными примерами таких умений являются способность экза­менуемого собирать анамнез или выпол­нять медицинские манипуляции. В то же время существует риск того, что при про­ведении ОСКЭ можно выделить отдель­ные практические умения для их оценки. Это приводит к снижению генерализуемости (обобщаемости) — способности метода всесторонне оценивать выполнение за­дач экзаменуемым. Крайне важно, чтобы практические умения, необходимые для выполнения медицинских процедур, те­стировались не изолированно, а в сочета­нии с другими умениями, например, с ком­муникативными навыками или умением составлять план лечения, что позволяет более глобально оценить способность эк­заменуемого к самостоятельной клиниче­ской деятельности.

Безусловно, использовать ОСКЭ для оценки способности экзаменуемого ин­терпретировать рентгеновский снимок или распознать повышенный уровень мочеви­ны и назвать его возможные причины вне контекста общения с пациентом нецеле­сообразно. Эти когнитивные навыки лег­ко оценить при письменной оценке, и они требуют привлечения меньших ресурсов. Планирование станции ОСКЭ для оцен­ки способности экзаменуемого поставить мочевой катетер приводит к риску изоли­рованного выполнения отдельного практического умения, тогда как в реальности экзаменуемым придется одновременно общаться с пациентом и применять знания о процедуре в процессе ее выполнения.

Воздействие на процесс обучения

Многочисленные исследования по­казывают положительное воздействие ОСКЭ на процесс обучения. Одним из оче­видных преимуществ применения данной методики является то, что внимание уча­щихся сосредоточено на приобретении клинических умений и навыков. Знания учащихся испытывают в максимально приближенных к клиническим условиях, которые помогут наиболее точно оценить их умения и компетенции, необходимые в клинической практике. Как упоминалось выше, ОСКЭ обеспечивает высокую досто­верность и хорошую обратную связь при текущей оценке знаний учащегося. Иссле­дованиями было установлено, что участие в ОСКЭ улучшает степень владения компетенцией при прохождении последующих практических испытаний, а также улучша­ет качество учебного опыта испытуемых. В то же время результаты ОСКЭ позволяют правильно изменять и адаптировать учеб­ный план для достижения поставленных академических задач.

ОСКЭ может оказывать потенциально негативное воздействие на процесс обу­чения, так как предполагает прохождение ограниченного количества практических испытаний, иллюстрирующих уровень компетенций в области клинической ме­дицины. При этом существует опасность того, что учащийся может подготовиться к экзамену, сосредоточившись на освоении отдельных навыков по некоторым катего­риям, не понимая их связь с клинической деятельностью. Поэтому ОСКЭ следует рас­сматривать только как один из компонен­тов комплексного процесса оценки и раз­вития клинической подготовки.

Участие СП, использование симуляторов и манекенов с объективной оценкой и немедленной обратной связью позволяют оценить практические и клинические компетенции в виде текущей (форматив­ной) оценки, выявить пробелы и сосредо­точить внимание учащегося на этих ком­петенциях.

Подготовка и планирование объективного структурированного клинического экзамена

Организационная структура

Для успешного осуществления ОСКЭ требуется многочисленный коллектив спе­циалистов, как преподавателей, так и прак­тикующих экспертов. Как правило, в меди­цинских вузах существуют подразделения или ответственные лица, контролирующие процедуры оценки знаний учащихся. Вне­дрение ОСКЭ должно осуществляться с по­мощью этого подразделения. Рациональ­ным подходом может стать формирование отдельного подразделения, которое будет заниматься внедрением ОСКЭ в существу­ющие программы оценки. После успеш­ного внедрения ОСКЭ это подразделение должно осуществлять непрерывный ана­лиз и обеспечение качества, используемые и в отношении других методик оценки.

В рамках этого подразделения реко­мендуется назначить руководителя группы по проведению ОСКЭ, в обязанности кото­рого будут входить контроль разработки, планирования, организации и проведения экзамена и соответствующая отчетность. Этот человек должен обладать знаниями экспертного уровня или предшествующим опытом проведения ОСКЭ. Если соблюсти все условия невозможно, назначенный ру­ководитель должен пройти обучение, со­брать необходимую информацию путем анализа литературы, посещения специали­зированных семинаров и обращения за по­мощью к специалистам из других центров.

Проектирование экзамена

Составление проекта — это процесс определения содержания, валидности и надежности экзамена. В данном ОСКЭ это подразумевает отбор совокупности компонентов оцениваемых компетенций и частоту, с которой каждый из них дол­жен демонстрироваться в ходе экзамена. В каждом проекте ОСКЭ должны учиты­ваться контекст экзамена, те знания и уме­ния, которые нужно оценить в соответствии с учебным планом, и необходимость повто­рения оценки тех или иных областей зна­ний с помощью различных методов.

Как мы уже отмечали выше, в первую очередь ОСКЭ подразумевает оценку спо­собности, готовности к выполнению опре­деленных манипуляций в смоделирован­ных условиях, т.е. в основном определяет результаты обучения тем или иным клини­ческим компетенциям.

Процесс проектирования должен обе­спечить формирование необходимого набора элементов из учебного плана, от­носящихся к овладению предусмотрен­ными образовательным и/или профес­сиональным стандартами компетенциями, таким образом, экзамен должен отражать содержание обучения. Как правило, про­ект ОСКЭ состоит из двумерной матрицы, в которой одна ось отражает основные подлежащие тестированию компетенции (например, сбор анамнеза, коммуникатив­ные навыки, физикальное обследование, планирование тактики ведения больного и т.д.), а вторая представляет те проблемы или состояния, в отношении которых де­монстрируются эти умения. Пример такого проекта показан в таблице 1 и более подробно в приложении 2. Проектирование авто­номно может проводить аттестационная комиссия, однако в случае наиболее важ­ных экзаменов темы, включаемые в тесто­вый проект, могут быть согласованы с по­мощью метода экспертной оценки Дельфи или других методик опроса экспертов.

Длительность экзамена (количество станций)

Для разработки проекта экзамена не­обходимо предварительно определить его длительность. Она будет зависеть от числа станций ОСКЭ и продолжительности пре­бывания экзаменуемого на станции. Как правило, станция ОСКЭ включает одно за­дание, а его выполнение четко ограничено по времени: обычно на его выполнение кандидатам отводится 5-10 мин. Досто­верность и валидность зависят от числа станций и общей длительности экзамена. Адекватное и реалистичное определение времени, необходимого для выполнения заданий, способствует повышению валидности тестирования. В то же время увели­чение объема оцениваемых знаний и уме­ний, обычно за счет введения в экзамен необходимого числа станций, способству­ет повышению достоверности. Доказа­но, что специфичность заданий является основной причиной недостаточной досто­верности;таким образом, для проведения достоверного обобщения профессиональ­ных способностей кандидата необходи­мо оценивать клинические компетенции в широком диапазоне.

Число станций, необходимых для по­лучения достоверного показателя, отра­жаемое альфой Кронбаха или коэффи­циентом обобщаемости (G), определяет продолжительность экзамена. Значение коэффициента G от 0,7 до 0,8 отражает приемлемую достоверность в случае эк­заменов особой важности. Подробное обсуждение этого предмета выходит за рамки данной статьи, интересующиеся могут обратиться к руководствам AMEE № 49, 54 и 66.

В практическом плане при принятии решения о продолжительности теста не­обходимо учитывать, с одной стороны, ко­эффициенты достоверности, а с другой -проблемы, связанные с возможностями воплощения и наличием необходимых ре­сурсов. В большинстве случаев при четко построенных станциях ОСКЭ достаточной достоверности удается достичь с помо­щью 12-20 станций продолжительностью по 5-10 мин каждая.

Традиционно станции, связанные со сбором анамнеза, занимают больше времени, а технические станции (про­вести элементы физикального осмо­тра) — меньше. Поскольку экзаменуемые переходят от станции к станции по сиг­налу, на некоторых этапах им приходит­ся находиться на станции после того, как они выполнили всю задачу, ожидая сигнала. Такое ожидание может быть до­статочно дискомфортно для них, нужно приложить усилия по ориентированию экзаменуемых, чтобы такая ситуация была нормальной, а лишнее время мож­но было использовать для, например, продолжения сбора анамнеза в надежде набрать дополнительные баллы или по­втора элементов физикального осмотра с той же целью.

Разработка банка станций объективного структурированного клинического экзамена

Прежде чем к банку заданий будут добавлены новые станции, они долж­ны пройти процесс независимой оценки и пилотного включения. По возможно­сти следует использовать психометриче­ские данные на каждом отдельном этапе, включая оценку возможности дифференцировки экзаменуемых. Представленная схема содержит описание одного из под­ходов к формированию совокупности эта­пов ОСКЭ, обеспечивающих оценку вы­полнения расписания (рис. 1). Эта схема может использоваться в качестве поша­гового руководства или адаптироваться к индивидуальным требованиям. Кроме того, используя ее, можно обновить суще­ствующий набор станций или оценить их качество, выполняя определенные шаги алгоритма.

Выбор тем для новых станций

В тех организациях, где ОСКЭ предсто­ит использовать впервые, проект экзаме­на, в основе которого лежат результаты, предполагаемые учебным планом, может стать приемлемой стартовой точкой, опре­деляющей задания, входящие в состав новых станций ОСКЭ. Если последова­тельность станций ОСКЭ уже определена, руководитель группы по проведению ОСКЭ или эксперты по соответствующим учеб­ным дисциплинам, могут проанализиро­вать эту последовательность и определить недостатки при возможной оценке тех или иных умений или разделов знаний.Необходимость добавления новых станций может возникнуть и при внесении изменений в учебный план или коррек­ции задач обучения в рамках отдельных модулей либо дисциплин. Оценку знаний и умений необходимо сопоставлять с объ­емом обучения по выбранным темам в со­ответствии с учебным расписанием. При аккредитации специалистов содержание экзамена целесообразно определять еди­нообразно на всей территории страны с утверждением требований к экзамену на федеральном уровне.

После того как определена область оцениваемых знаний, важно удостове­риться, что в формате ОСКЭ за ограни­ченное время, отведенное на каждую станцию, можно реально оценить компе­тенции, которыми, как предполагается, должны владеть экзаменуемые.

Выбор авторов для станции

Руководитель группы по проведению ОСКЭ отвечает за отбор сотрудников, ко­торые будут планировать и составлять станции ОСКЭ. Если уже есть группа опытных экзаменаторов, очевидным решением будет поиск добровольцев для составления вопросов в этой группе. В других случаях при составлении вопро­сов в качестве консультантов могут быть приглашены эксперты по тем или иным учебным дисциплинам. Для того чтобы специалист, занимающийся составлени­ем тестовых материалов, мог выполнить эту работу надлежащим образом, важно, чтобы он был ознакомлен с фундамен­тальными принципами ОСКЭ. Для специа­листов, впервые сталкивающихся с такой задачей, должны быть проведены краткие ознакомительные семинары или разрабо­таны письменные инструкции.

Выбор типа станции

Руководитель группы по проведению ОСКЭ или лицо, координирующее состав­ление вопросов, должен проконсультиро­вать составителей вопросов о том, какие именно требуются вопросы. Понимание различных форматов вопросов ОСКЭ крайне важно при выборе необходимых типов станций, позволяющих оценить те или иные результаты обучения (табл. 2).

Для экзамена, включающего свыше 10 станций, рекомендуется сделать комна­ту отдыха в середине экзамена.

Выбор шаблона для станции объективного структурированного клинического экзамена

После того как выбран тип станции, необходимо разработать подходящий шаблон для составления задания или ис­пользовать уже имеющийся шаблон. Он помогает авторам разрабатывать задания, имеющие общий формат, который соот­ветствует формату других заданий банка. Подобная стандартизация позволяет из­бежать ситуации, при которой кандидаты оказываются в невыгодном положении из-за того, что задания предлагаются в непривычном формате, и помогает со­хранить объективность оценок.

Руководство для экзаменатора

Содержание руководства для экзаме­натора по оценке для каждой станции бу­дет зависеть от раздела оценки, избран­ной в качестве стандарта для экзамена. Ниже подробно обсуждаются различные типы оценки. Если есть список контроль­ных вопросов (чек-лист) или оценочная шкала, составителю следует дополнять их по мере составления вопросов. Если пред­полагается использовать единую оценоч­ную шкалу, формировать критерии оценки для индивидуальных этапов не нужно.

Собрание экзаменаторов

Проведение собраний с экзаменато­рами — один из методов обеспечения каче­ства новых станций ОСКЭ. После того как экзаменаторы составят новые задания, им предлагается представить эти вопросы на собрании в небольших группах. Это по­зволит всем участникам изучить задания, составленные другими. Благодаря присут­ствию авторов отдельных станций на этих заседаниях упрощается процесс внесения изменений в станции.

Помимо того что процесс независимой оценки позволяет проанализировать кли­ническую точность и адекватность задач, предлагаемых на том или ином этапе эк­замена, он помогает выявить проблемы, связанные с валидностью и генерализуемостью экзамена.

Пилотное выполнение

После независимого анализа на собра­нии экзаменаторов необходимо провести пилотный прогон станции, который поможет выявить проблемы, связанные с практиче­ским выполнением и распределением вре­мени на выполнение тех или иных этапов задания. При необходимости при тестиро­вании можно внести изменения в станции для повышения качества оценки этапов. На этой стадии можно провести первичный психометрический анализ достоверности и качества станций. При выявлении любых проблем, связанных с конкретной станцией, ее следует перепланировать и вновь прове­сти пробный прогон.

Часто пилотирование проводят в рам­ках пробного или этапного экзамена, в результате чего дополнительным пре­имуществом могут стать ориентирование экзаменуемых и непосредственное предо­ставление информации об их профессио­нальных возможностях.

Если те или иные станции пилотиру­ются в рамках экзаменов высокой сте­пени значимости, важно поставить эк­заменуемых в известность о включении пилотной станции в экзамен и о том, что ее результаты не повлияют на общую экзаменационную оценку. В связи с не­обходимостью получения валидных и до­стоверных данных о результатах пилот­ных станций, включенных в реальный экзамен, сведения о том, какие именно станции пилотируются, обычно не раз­глашают (рис. 2).

Психометрический анализ

При разработке новых станций, если в рамках пробного ОСКЭ используется пол­ный набор новых заданий, психометри­ческий анализ продемонстрирует общую достоверность набора вопросов. Исполь­зование G-теории позволит определить число сходных станций, необходимых для обеспечения достаточной надежности те­стирования путем проведения исследова­ний или исследования принятия решений на основании имеющихся данных. Для по­лучения данных об источниках вариабель­ности или ошибок рекомендуется примене­ние Item Response Theory (IRT). Эта теория может использоваться в том случае, если одна или несколько станций пилотируют­ся в ходе реального экзамена. Подробное обсуждение этого предмета также выходит за пределы данной статьи, но достаточно подробно разбирается в руководстве AMEE № 49; G-теория подробно рассматривается в руководстве AMEE № 68.

Выбор типа оценки

При разработке банка станций для ОСКЭ необходимо определить применяе­мый тип оценки, соответствующий ожида­ниям, связанным с выполнением задания. Выделяют 2 основных типа оценки: ана­литические и холистические.

Аналитический метод балльной оценки

Список контрольных вопросов, или чек-лист, — это список утверждений, опи­сывающих действия, выполнения которых ожидают от экзаменуемых на определен­ном этапе. Этот список готовят заранее, на основании консультации с группой, за­нимающейся разработкой станций ОСКЭ, и в соответствии с оцениваемыми компе­тенциями.

Чек-листы могут быть бинарными («да/ нет», «выполняется/не выполняется»), при этом оценку кандидатам выставляют в зависимости от того, выполнено или не выполнено задание, без уточнения каче­ства его выполнения, и хорошо используются для определения минимального уровня компетентности (например, сту­дент попытался оценить наличие выпота в коленном суставе, и неважно, присут­ствовал ли этот симптом у конкретного СП; за правильное действие, студент получит плюс в чек-листе). Такие чек-листы не всегда позволяют определить низкий или высокий уровень выполнения задания.

В некоторых случаях чек-листы могут включать 5-7-балльные оценочные шка­лы, что позволяет экзаменаторам выстав­лять оценки кандидатам в зависимости от качества выполнения ими заданных действий. Эти чек-листы с оценочными шкалами отличаются от глобальной (холи­стической) оценки, описываемой ниже, но так же как и глобальные оценки, они при­вносят больший элемент субъективности.

Традиционно основным преимуще­ством бинарных чек-листов считается их потенциальная способность давать объ­ективную оценку и обеспечивать большую степень согласия между различными эк­заменаторами. Действительно, первоначально такие контрольные списки исполь­зовались Р. Харденом, который впервые разработал методику ОСКЭ. Тем не менее накапливаются доказательства, ставящие под сомнение эту точку зрения и показы­вающие, что объективность не всегда обе­спечивает более высокую достоверность оценки результатов экзамена.

Надо отметить, что в случае приме­нения чек-листов для оценки обычно не имеет значения правильность последова­тельности действий при проведении физикального осмотра или порядка вопро­сов в сборе анамнеза. Чем больше баллов экзаменуемый набрал за отведенное вре­мя, тем выше общая оценка за станцию. Иногда экзаменуемый получает высокий общий балл, но весь процесс получения информации или проведения осмотра катастрофически не структурирован и не организован, поэтому в дополнение к чек-листам во многих случаях используются глобальные оценочные шкалы.

Примеры бинарных чек-листов и оце­ночных шкал (которые можно рассматри­вать как мини-глобальные оценки, посколь­ку в этом случае оценивается один элемент всей специальности) показаны в табл. 3.

Холистическая оценка (глобальная оценоч­ная шкала)

В отличие от контрольных списков, характеризующихся специфичностью для конкретного задания, глобальные оце­ночные шкалы позволяют экзаменатору оценить весь процесс в целом. При оцен­ке специалиста высокого класса, который, возможно, не следует заранее определен­ной последовательности шагов, указан­ной в проверочном листе, но все же легко и быстро выполняет задание в соответ­ствии с высшими стандартами, мы сталкиваемся с тем, что навыки кандидата может отразить только общая (глобальная) оцен­ка процесса выполнения задания.

Глобальные шкалы позволяют экзаме­натору определить не только факт выпол­нения действия, но и то, насколько хорошо оно было выполнено. Таким образом, этот метод позволяет лучше оценивать навыки, для которых качество выполнения столь же важно, как и сам факт их выполнения.

Примером может стать оценка способ­ности кандидатов сопереживать пациентам на этапах демонстрации коммуникативных навыков. Следовательно, холистические шкалы более полезны при оценке таких сфер, как суждение, сопереживание, ор­ганизация знаний и технические навыки. В некоторых случаях пациент (реальный или стандартизированный) привлекается к оценке экзаменуемого и заполняет мини-вопросник или дает глобальную оценку по­ведения экзаменуемого.

Глобальные шкалы отличаются от вы­шеописанных оценочных шкал в кон­трольных списках, вследствие того что ис­пользование глобальных шкал позволяет получить более целостное представление о выполнении задания на станции. Нака­пливаются доказательства того, что гло­бальная оценка имеет высокую степень корреляции с чек-листами по определе­нию уровня компетентности.

Формирование коллектива экзаменаторов

Участие в экзамене квалифицирован­ных экзаменаторов играет решающую роль в обеспечении достоверности оце­нок. Обучение и повышение квалифика­ции экзаменаторов — это непрерывный процесс, в ходе которого к коллективу до­бавляются новые экзаменаторы, а уже ра­ботающие получают новые знания.

Отбор потенциальных экзаменаторов

Достоверность оценок, выставляемых экзаменаторами, зависит не только от по­следовательной системы осуществляемой ими проверки знаний, но и от клиническо­го опыта экзаменаторов, оценивающих экзаменуемых на тех или иных станциях ОСКЭ.

Как правило, врачи оценивают компе­тенции будущих врачей, а медицинские сестры — будущих медицинских сестер, однако владение профессиональными на­выками, связанными со станциями, может обусловливать дополнительную гибкость и снижать временные издержки. Необхо­димый уровень опыта экзаменаторов за­висит от контекста станции. Например, для оценки клинического мышления и приня­тия решений необходим эксперт, тогда как простые процедуры может оценить не экс­перт. Более того, определение эксперта в контексте ОСКЭ тоже неоднозначно. Например, оценить осмотр нервной систе­мы у здорового СП можгу равнозначно и семейный врач, и терапевт, и невролог. В целом уровень необходимой экспертизы экзаменатора должен быть как минимум равен уровню компетенции, которая оце­нивается на данном этапе.

Для проведения ОСКЭ в качестве итого­вого экзамена для обеспечения объектив­ности важно привлекать экзаменаторов, не знакомых с экзаменуемыми и не принимав­ших участия в их обучении. При проведении переводных экзаменов в качестве экзаме­наторов можно привлечь преподавателей старших курсов, при итоговой аттестации необходимо привлекать внешних экзаме­наторов. Они могут быть приглашены из различных учреждений, могут проконтро­лировать соблюдение стандартов по срав­нению с другими учреждениями, а также подтвердить, что процесс оценки достиже­ний студента носит строгий и справедливый характер и осуществляется в соответствии с утвержденными приказами и правилами.

Помимо работников образователь­ных или научных организаций, к прове­дению итоговых экзаменов желательно, а в случае с аккредитацией специали­стов — обязательно, привлекать специали­стов из практического здравоохранения. Большинство потенциальных врачей-экзаменаторов работают в местных лечебно-профилактических учреждениях; важно выявлять и обращаться к тем из них, кто проявляет особый интерес к ме­дицинскому образованию.

Как правило, экзаменаторы не получа­ют дополнительного финансового возна­граждения, а также испытывают трудно­сти, связанные с отсутствием на основном месте работы во время проведения экзаменов, поэтому их участие в проведении экзаменов следует рассматривать как часть их образовательной активности в рамках НМО и профессиональной под­готовки с зачислением соответствующего количества часов.

Необходимо провести калибровку экзаминаторов. Традиционно все потенци­альные экзаменаторы смотрят запись пи­лотной станции ОСКЭ и независимо запол­няют чек-листы. Дальнейшее обсуждение результатов выявляет отклонение в оцен­ках. В процессе обсуждения оценки коррек­тируют, еще раз тестируют эту же станцию с участием другого экзаменуемого, и про­цесс повторяют до достижения приемлемо­го уровня разницы между наблюдателями (0,7). В любом случае каждый новый экза­мен, каждая новая станция и каждый новый экзаменатор требуют калибровки.

Семинары для обучения экзаменаторов

Семинары для обучения и повышения квалификации экзаменаторов должны проводиться задолго до начала экзаме­нов. Уровень подготовки зависит от ис­ходной ситуации и возможностей экза­менаторов. Как и в случае других видов обучения, результаты семинаров по по­вышению квалификации экзаменаторов должны быть разносторонними.

Эти семинары могут быть организова­ны в форме мастер-классов, как правило, они включают вводную лекцию, групповое обсуждение и практическую часть, в ходе которой экзаменаторам дается возмож­ность выставить оценки за пробный ОСКЭ или просмотреть видеозапись реального ОСКЭ с выставлением оценок. Разрабо­таны средства онлайн-обучения для эк­заменаторов, включающие видеозаписи правильного и некорректного поведения экзаменатора при проведении ОСКЭ.

Цели и ожидаемые результаты обу­чения экзаменаторов

• Понимать сферу применения и прин­ципы экзамена ОСКЭ.
• В ходе экзамена демонстрировать последовательное профессиональное поведение.
• Понимать и использовать оценочные рубрики для обеспечения стандарти­зации оценки.
• Дать письменное заключение о про­фессиональной пригодности, если это потребуется, при итоговых экзаменах.
• Дать устное заключение по окончании станции экзамена при промежуточных экзаменах.
• Обеспечить конфиденциальность экза­менационных ведомостей кандидатов.

Несмотря на то что многие экзаменато­ры регулярно участвуют в экзаменах и под­держивают свои умения, им необходимо обновлять знания. Кроме того, потребность в дополнительном обучении экзаменато­ров может возникнуть в результате изме­нения формата экзамена или правил вы­ставления оценок, а также при изменении требований регулирующих органов. Такое обновление знаний может осуществлять­ся либо с помощью онлайн-ресурсов, либо в рамках отдельных семинаров.

Формирование цепочки и подбор оборудования для объективного структурированного клинического экзамена

Цепочка объективного структурированного клинического экзамена

Цепочка — это термин, используемый для описания комплекса станций, обе­спечивающих безостановочный поток кандидатов во время экзамена. Каждый экзаменуемый на протяжении экзамена должен посетить каждый пункт цепочки. Количество экзаменуемых в каждой группе должно быть равно числу экзаменацион­ных пунктов, если только не используется система перевалочных станций. Каждому кандидату назначается начальная станция, а затем он переходит от станции к станции по направлению цепочки до тех пор, пока все станции не будут пройдены. За постро­ение этой цепочки несет ответственность группа по проведению по ОСКЭ.

При формировании отдельных станций следует позаботиться о назначении поме­щений, оборудования и персонала, подхо­дящих для выполнения тех или иных за­даний. Например, станция, не требующая участия экзаменатора, на которой канди­дату представляются результаты инстру­ментального исследования и несколько письменных вопросов, потребует только уголка, в котором поместятся стул и стол, тогда как база для оценки выполнения ме­роприятий первой помощи потребует до­статочного пространства для размещения манекена, дефибриллятора и рабочего ме­ста экзаменатора.

На каждой станции должны быть над­лежащие приспособления для выполнения всех манипуляций, предусмотренных зада­нием, например регулируемое освещение при осмотре глазного дна или тихая зона для аускультации грудной клетки (рис. 4-6).

В зависимости от выбранного для стан­ции задания можно создать имитационный родильный блок, палаты педиатрического профиля или интенсивной терапии, про­цедурный кабинет, смотровую или опера­ционную. Во всех случаях следует руко­водствоваться требованиями к оснащению подобных помещений в клинике. В поме­щениях должна быть обеспечена техни­ческая возможность записывать видеои­зображения и аудиосигналы. Для прямого наблюдения и дистанционного управления тренажерами желательно соединять ими­тационные классы с кабинетами наблю­дения при помощи окон с односторонними зеркальными стеклами в смежной стене. При этом должна быть предусмотрена воз­можность двусторонней трансляции звука из помещения в операторскую, и наоборот. В качестве имитационных кабинетов реко­мендуется использовать помещения пло­щадью не менее 8 м2.

Симуляционное оборудование

Оборудование, необходимое для каж­дой станции ОСКЭ, должно быть включено в документацию на этапе описания каж­дой станции. Все оборудование должно быть доставлено заблаговременно, задол­го до проведения ОСКЭ, и приведено в ра­бочее состояние. В наличии всегда долж­ны быть запасное оборудование, сменные части, расходные материалы и батареи на случай поломки или отказа основного обо­рудования.

Следует принять решение об исполь­зовании студентами во время экзамена собственных инструментов и оборудова­ния. Если предполагается, что студенты должны иметь собственный стетоскоп, им нужно об этом заблаговременно сообщить.

Если требуется более сложное обо­рудование, например высокореалистич­ные симуляторы пациента, должен быть технический персонал, способный про­граммировать и управлять этим оборудо­ванием, поскольку большинство экзаме­наторов не знакомы с такими устройствами (рис. 7-13).

Проведение экзамена

Подготовка

После принятия решения о дате прове­дения экзамена, а также согласования его содержания и оценок, нужно выполнить следующие задачи:

1. Назначение координатора экзамена. Данное лицо будет ответственно за все аспекты организации экзамена.
2. Необходимо провести собрание всех экзаменаторов и вспомогательного пер­сонала для обсуждения организации экзамена. Должна быть согласована роль каждого экзаменатора.

   Если по какой-либо причине экзаменатор не может при­сутствовать на таком собрании, материа­лы собрания должны быть переданы ему в печатном виде, и все возникающие во­просы должны быть обговорены до начала экзамена.

3. Должен быть назначен по меньшей мере один запасной экзаменатор, способ­ный занять место того, который не может присутствовать в день экзамена в нужное время.
4. Необходимо назначить лицо, ответ­ственное за соблюдение графика прове­дения экзамена. Эту функцию может вы­полнять лаборант или секретарь. Сигналом для смены станций может служить звонок или зуммер. Он должен быть отчетливо слышен, и в то же время не быть слишком громким.
5. Должен быть назначен сотрудник, который проведет инструктаж студентов в день экзамена.
6. Должны быть назначены сотруд­ники, выполняющие во время экзамена роли администратора, следящего за вре­менем, и проводников.
7. На данной стадии следует проин­формировать секретаря комиссии, чтобы дать ему возможность запланировать вре­мя, необходимое для подготовки:

— контрольных материалов;
— инструкций для экзаменаторов и кан­дидатов;
— списка студентов, сдающих экзамен;
— списка всех станций с указанием поме­щений;
— списков экзаменаторов и оборудова­ния с распределением по станциям;
— плана расположения станций.

8. Вахтеры или дежурные на входе в здание, где проводится экзамен, долж­ны быть проинформированы о том, какие помещения используются для экзамена, чтобы не допустить путаницы при поис­ке нужных помещений экзаменуемыми и внешними экзаменаторами.
9. При проведении экзамена на терри­тории медицинской организации меди­цинский персонал должен быть проинфор­мирован об ограничении перемещений, а пациенты и их родственники извещены о том, что во время экзамена посещение пациентов будет запрещено.
10. При участии в экзамене пациентов последних нужно отбирать заранее, по меньшей мере за 1 нед до экзамена, чтобы обеспечить время для обследования каж­дого из них экзаменатором соответствую­щей станции и организатором экзамена, а также для составления необходимой до­кументации и вопросов.
11. Пациенты, участвующие в экза­мене, должны быть проинформированы о том, что от них ожидается, и заполнить форму информированного согласия на участие в экзамене.
12. Симуляторы, используемые в эк­замене, должны быть проверены на до­стоверность воспроизведения симптомов и возможность объективного контроля выполнения задания для данной станции экзаменатором соответствующей станции и организатором экзамена.
13. На станциях, включающих обсле­дование студентами пациента, при тести­ровании больших групп студентов должно присутствовать не менее 3 схожих по воз­расту, полу и проявлениям основного за­болевания пациентов.
14. Рекомендуется запланировать за­пасную станцию на случай невозможно­сти использования одной из запланиро­ванных.
15. Если пациенты, принимающие уча­стие в экзамене, амбулаторные, следует принять меры по их доставке в больницу и из больницы в день экзамена. Пациенты должны прибыть в палату не менее чем за 30 мин до начала экзамена.
16. Студенты должны быть заблаговре­менно проинструктированы о типе экзамена.
17. Студенты должны быть проинфор­мированы о том, какие инструменты им потребуются во время экзамена, напри­мер, стетоскоп, неврологический молото­чек, мерная лента. Должны быть согласо­ваны меры на случай отсутствия у студента необходимого оборудования: будет ли оно предоставляться, будет ли студент допу­щен к экзамену.
18. Методика фиксации и подсчета баллов, которая будет применяться на экзамене, должна быть предварительно спланирована. Если для этой цели плани­руется использовать программные сред­ства, необходимо их тщательно проверить во время пробного экзамена.
19. Необходимо проверить наличие всех инструментов, необходимых для проведения экзамена (например, камертона для исследования слуха).
20. Должны быть сделаны все надле­жащие приготовления, чтобы обеспечить наличие и бесперебойную работу систем видеонаблюдения и аудиоконтроля.
21. Необходимо предусмотреть осве­жающие напитки для экзаменаторов, па­циентов и, при необходимости, студентов.

В день перед экзаменом

1. Станции должны быть четко обозна­чены перед экзаменом. Это принципиально важно. Необходимо проверить, может ли лицо, не участвующее в планировании, най­ти дорогу от одной станции к следующей.
2. Необходимо проверить наличие обо­рудования, требующееся для проведения экзамена. Данное оборудование может включать медицинские инструменты, симуляционное оборудование, расходные материалы, имитаторы лекарственных средств, а также устройство для сигнали­зации о необходимости перехода на сле­дующую станцию.
3. Необходимо проверить системы видеонаблюдения и аудиоконтроля, убедиться в возможности бесперебойной за­писи экзамена, достаточного объема сво­бодного места на устройствах хранения данных для записи всего экзамена.
4. Учитывая невозможность оставления экзаменатором рабочего места в течение длительного времени, желательно обеспе­чить наличие освежающих напитков.
5. Экзаменаторы должны пройти за­ключительный инструктаж по экзамену в целом и их конкретной роли в нем. Каж­дому экзаменатору должно быть предо­ставлено:

— напоминание о времени и месте про­ведения экзамена (экзамен не может быть начат, пока не соберутся все экзаменаторы);
— список станций экзамена с обозначе­нием их станции;
— план расположения станций;
— инструкция для экзаменатора на стан­ции;
— чек-лист для их станции.
6. Для экзаменуемых должны быть подготовлены следующие документы:

— набор общих инструкций (пример представлен в Приложении 1);
— план расположения станций;
— карточки с маршрутом;
— бейджи с крупно нанесенными после­довательными номерами по числу сту­дентов;
— при наличии компьютеризированной системы контроля доступа — бескон­тактные идентификационные карты.

В день экзамена

Собрания в день экзамена

• Инструктаж.
• Описание цепочки с указанием стар­тового пункта, перевалочных пунктов (при наличии).
• Напоминание о правилах и нормах поведения.
• Карантинные процедуры.
• Правила противопожарной безопас­ности.

Собрание экзаменаторов

• Цель экзамена (этапный или итого­вый).
• Проверка соответствия экзаменуемых списку в начале экзамена.
• Ознакомление с чек-листами и пра­вилами заполнения экзаменационных ведомостей.
• Важность поддержания конфиденци­альности станций и оценок.
• Недопустимость сообщения экзаме­нуемым информации сверх того, что допускается сценарием.
• Необходимость одинакового отноше­ния ко всем экзаменуемым.
• Процедуры сообщения о проблемах.
• Заполнение документов после оконча­ния экзамена.
• Правила противопожарной безопас­ности.
• Собрание стандартизированных па­циентов
• Важность стандартизации поведения.
• Роль СП в обеспечении обратной связи.
• Помещения для отдыха, время пере­рывов и приема пищи.
• Правила противопожарной безопас­ности.

Проведение экзамена

1. Организатор экзамена должен при­быть не менее чем за 1 ч до запланиро­ванного начала экзамена.
2. Он должен проверить расположение и нумерацию станций и провести послед­нюю проверку оборудования и стандарти­зированных или реальных пациентов.
3. Оборудование, предназначенное для экзамена, должно быть распределено по станциям, где оно будет использоваться.
4. Оборудование для видеонаблюдения и аудиоконтроля должно быть включено и подготовлено к началу записи.
5. Экзаменуемые должны пройти ин­структаж в отдельном помещении и иметь возможность поставить вопросы. Пример «Инструкций для студентов» представлен в Приложении 1.
6. Организатор должен убедиться в том, что все экзаменаторы прибыли и заняли соответствующие станции. При необхо­димости нужно заменить отсутствующего экзаменатора запасным.
7. После того как все подготовлено к экзамену, начать регистрацию экзаме­нуемых, с выдачей им бейджей со случай­ными номерами, регистрируемыми адми­нистратором экзамена в списке студентов вручную или с помощью компьютера кар­точек с индивидуальным маршрутом.
8. По сигналу экзаменуемые должны занять исходную станцию, которая была им назначена. После того как все студенты и экзаменаторы займут свои места, по сиг­налу (обычно в виде звонка, зуммера или голосовой команды), который должен быть отчетливо слышен, начинается экзамен.
9. Лицо, следящее за временем, долж­но звонить в звонок с интервалом, задан­ным при проектировании экзамена для перехода на следующую станцию и начала ознакомления с заданием, а затем через 60 с для входа на станцию.
10. Если в тот же день экзамен должна пройти вторая группа экзаменуемых, необходимо проверить, что они находятся в зоне для инструктажа до завершения первой части экзамена и отделены от своих коллег, прошедших первую часть экзамена. При невозможности одновре­менного сбора экзаменуемых необходимо обеспечить «карантин» для завершив­ших экзамен, чтобы ограничить их обще­ние с вновь прибывающими претенден­тами.
11. Следует убедиться в том, что в кон­це экзамена у всех экзаменаторов были собраны контрольные листы с отметками. Данные материалы передаются секрета­рю комиссии.
12. После завершения экзамена, про­водимого в медицинской организации, необходимо проинформировать об этом медицинский персонал и пациентов.

Решение проблем

В день экзамена могут возникнуть раз­личные проблемы. Некоторые распро­страненные проблемы при проведении ОСКЭ и их возможные решения описаны ниже (в данной главе не разбираются проблемы, возникающие при проведе­нии централизованной первичной аккре­дитации, не связанные непосредственно с процедурой ОСКЭ).

Поломки оборудования

Всегда следует иметь под рукой за­пасное оборудование. Если экзаменуемые теряют время на ожидание запасного обо­рудования, можно перенести станцию эк­замена на конец цепочки.

Непредсказуемое поведение студентов

Экзаменуемые в условиях стресса ча­сто ведут себя непредсказуемо. В част­ности, они могут потеряться в месте про­ведения экзамена или на этапах цепочки ОСКЭ. Заранее назначенные проводники должны помогать экзаменуемым пере­двигаться в правильном направлении между станциями. Экзаменаторам иногда необходимо поторопить студента, чтобы он своевременно перешел на следующую станцию, если он пропустил звонок или голосовую команду.

Экзаменуемые уносят инструкции или оборудование из экзаменационных помещений

Инструкции должны быть надежно за­креплены на стене, столе или подставке или отображаться на мониторах перед входом на станцию. Экзаменаторы и вспо­могательный персонал должны внима­тельно следить, чтобы экзаменуемые не забрали из экзаменационного помещения оборудование.

Экзаменатор уносит экзаменаци­онные ведомости или информацию об экзаменационной станции

В резуль­тате информация о содержании экзаме­на может быть разглашена и не может использоваться для следующих групп экзаменующихся.

Экзаменаторы должны быть предупре­ждены о том, что все документы должны оставаться в месте проведения экзамена. Вспомогательный персонал собирает все документы, прежде чем экзаменаторы по­кинут экзаменационные помещения, для того чтобы снизить вероятность такого происшествия.

Различные характеристики СП, вли­яющие на стандартизацию станции экзамена

В редких случаях СП могут вести себя по-разному с различными студентами или предоставлять ненужную информацию. Тщательный отбор и тренировочные про­цедуры должны свести к минимуму значи­мость этой проблемы.

После экзамена

1. Необходимо обеспечить подсчет ре­зультатов экзамена или заполнение компью­терных форм и выставление оценок в ведо­мости в соответствии с исходным планом.
2. Студентам в кратчайшие сроки сле­дует предоставить обратную связь. Это может быть сделано путем раздачи ин­дивидуальных контрольных листов с ком­ментариями экзаменаторов или обсуж­дения экзамена со студентами, особенно с теми, кто получил плохие результаты.
3. Необходимо фиксировать и докумен­тировать любые возможные проблемы, возникшие при организации экзамена, чтобы не допустить их в будущем.
4. Фиксируйте любые предложения, ко­торые могут быть полезны при организа­ции следующего экзамена.
5. Кураторы и экзаменаторы должны обсудить успешность студентов для вы­явления очевидных пробелов в знаниях и умениях и принятия надлежащих мер по их устранению.

Обеспечение успеха объективного структу­рированного клинического экзамена

Для успешного использования ОСКЭ необходимы тщательная подготовка и жесткое соблюдение правил проведе­ния экзамена. Можно выделить несколько факторов, критически влияющих на на­дежность и валидность ОСКЭ.

Количество станций. Использование большой выборки клинических случаев в экзамене существенно повышает его надежность, при этом для обеспечения надежной оценки общей компетентности экзаменуемых очень важно правильно определить продолжительность отдель­ных станций.

Стандартизированные шкалы оценки. Важно заранее разработать и утвердить шкалы оценки, обеспечивающие оценку экзаменаторами разных экзаменуемых по одним и тем же критериям, что уменьшает разброс оценок между разными экзамена­торами и экзаменуемыми.

Привлечение обученных экзаменато­ров. Подготовка экзаменаторов снижает разброс оценок между разными экзамена­торами и повышает единообразие их по­ведения, а значит, и надежность оценки. Кроме того, возможность ротации экза­менаторов по станциям может уменьшить системную погрешность, связанную с эк­заменаторами.

Использование помещений и обору­дования. Для каждой станции необходи­мо отдельное помещение или отделение с использование мобильных перегоро­док. Важно обеспечить видеонаблюдение и аудиозапись. На станциях, включаю­щих выполнение процедур, должны ис­пользоваться симуляторы с электронным контролем и объективной оценкой в ре­альном времени. Применение систем ме­неджмента симуляционного центра повы­шает надежность и существенно снижает трудоемкость подготовки и проведения экзамена.

Стандартизованное поведение пациен­тов. Плохо стандартизованные пациенты, поведение которых может варьироваться с разными экзаменуемыми, могут суще­ственно снижать надежность экзамена.

Стандартизованное поведение экзаме­наторов. В идеале экзаменаторы должны находиться за зеркалом Гизелла (односто­роннее зеркало) или наблюдать действие на мониторе. В реальности в большинстве случаев экзаменатор находится в той же комнате, где происходит действие. Пра­вильное поведение экзаменатора — ней­тральное присутствие. В большинстве случаев экзаменатор приветствует эк­заменуемого, проверяет и сверяет лич­ность и предлагает следовать инструкци­ям. Все последующее действие проходит без каких-либо комментариев со стороны экзаменатора, кроме тех сценариев, где предусматривается вопрос (например, по окончании демонстрации осмотра грудной клетки, в сценарии станции предусматри­вается, что экзаменатор задает вопрос: «Как отличить шум трения перикарда от шума трения при плеврите?»). Исключе­ние составляют ОСКЭ для текущей (фор­мативной) оценки. В таких случаях допу­скаются наводящие вопросы.

Экзаменатор ни в коем случае не может комментировать действия экзаменуемого, а тем более давать оценку действия в конце станции. Плохая организация ОСКЭ может привести к тому, что экзаменуемые будут учиться проходить экзамен, а не улучшать реальное выполнение клинических за­дач. В то же время важно не допустить перегрузки экзаменуемых оценкой, пыта­ясь оценить слишком много компонентов выполнения задач на одной экзамена­ционной станции. Примером такой пере­грузки является задание экзаменуемому на одной станции собрать анамнез, об­следовать пациента с кровохарканьем, интерпретировать рентгеновский снимок и пояснить возможный диагноз. Хотя это может отражать реальную жизнь за счет помещения оцениваемых умений в опре­деленный контекст, маловероятно, что можно адекватно оценить все эти умения на одной станции, учитывая ограничения по времени.

В заключение необходимо отметить что ОСКЭ — это инструмент, и результаты его использования в первую очередь за­висят от усилий и квалификации органи­заторов. Как и любые достижения, все преимущества оценки с использованием ОСКЭ достигаются ценой значительных усилий.

Приложение 1. Пример инструкций для студентов

Объективный структурированный клинический экзамен — инструкции для студентов

Цель экзамена — определить ваши знания по терапии и компетентность в диагности­ке и лечении пациентов.

Для успешной сдачи экзамена вам необходимо получить как минимум 70% по стан­ции и как минимум 75% средний балл по всем станциям в целом. В случае, когда общий балл превысит 74%, но баллы по одной или более станций ниже 70%, вам представится возможность пересдать эти станции. Если вы набрали <75%, вам представится возмож­ность пересдать весь экзамен.

1. Вы будете переходить между 20 станциями (нумерованными от 1 до 20), проводя на каждой по 5 мин. В начале экзамена и в конце каждого 5-минутного периода будет звучать звонок. Это даст вам время для перехода на следующую станцию.
2. После 10-й станции следует 5-минутная станция отдыха.
3. На каждой станции вам будут представлены четкие письменные инструкции отно­сительно того, что от вас требуется. Пожалуйста, внимательно их прочтите.
4. Перед началом экзамена вам будет выдан бейдж с номером. Этот бейдж необхо­димо носить на себе таким образом, чтобы он был виден экзаменаторам на протяжении всего экзамена.
5. Перед началом экзамена вам будет выдана карточка с номерами станций. Это ваш индивидуальный маршрут. Необходимо четко соблюдать указанную в нем последова­тельность станций.
6. Экзаменаторы не будут отвечать на ваши вопросы по контексту станции и не будут разъяснять инструкций. Экзаменаторам запрещено озвучивать вашу оценку за станцию. Все вопросы и комментарии вы можете направить директору экзамена по его завершении.
7. Во время экзамена производится видеозапись. Она используется для апелляци­онного процесса и для оценки качества. Видеозапись является конфиденциальным до­кументом и уничтожается через 30 дней после экзамена.

Приложение 2. Пример временного графика для объективного структурированного клинического экзамена

Образец временного графика для ОСКЭ для 40 студентов в одной цепочке, с 20 стан­циями и 5 мин, отводимыми на каждую станцию