Досрочный период ЕГЭ 2022 года прошел без сбоев
Уважаемые родители и учащиеся!
Напоминаем, что завтра в школе проходит апробация ЕГЭ.
Уроки по расписанию — только в 1-4 классах.
5-11 классы едут на учебные экскурсии или получили задания для домашней работы.
скачать
Термины ЕГЭ
В этом словаре даны определения, раскрывающие тот смысл, который имеют данные термины ТОЛЬКО в контексте складывающейся модели единого экзамена.
Апробация теста — пробное тестирование, предшествующее основному и предпринимаемое с цепью устранения ошибок и неточностей в заданиях, а также приблизительная оценка трудности теста и его отдельных частей (заданий). Апробацию следует отличать от более широкомасштабной стандартизации теста, а также от экспертной апробации (одобрения теста авторитетной комиссией экспертов).
Аттестационное заключение — это заключение об уровне подготовки учащегося, принимаемое комиссией на основании сравнения результатов экзамена, с одной стороны, и итоговой годовой оценки — с другой. На первом этапе эксперимента по ЕГЭ результат аттестации — это аттестационный балл, который является средним баллом между единым экзаменом и годовой оценкой, а в случае расхождения в один балл — любой более высокий балл.
Аттестационный балл (балл аттестата, школьный балл) — это балл по традиционной пятибалльной шкале, проставляемый в школьный аттестат зрелости (аттестационное заключение).
Балл свидетельства — сертификационный балл.
Бланк ответов (ответный лист) — это бумажный формуляр, в который экзаменуемый обязан вписать свои ответы в строгом соответствии с образцом заполнения и который после экзамена является главным документом о результатах учащегося. На первом этапе один учащийся использует два бланка ответов в ходе одного экзамена: первый — для заданий типа «А» и «В», второй — для заданий типа С».
Вузовский балл (конкурсный балл) — сертификационный балл, или балл свидетельства.
Задание теста (задание тестовое) — минимальная составляющая единица которая состоит из условия (вопроса) и в зависимости от типа задания скрытый или открытый тип) может содержать, а может и не содержать набор ответов для выбора.
Задание закрытое (задание закрытой формы) — задание теста с выбором ответа из нескольких предложенных вариантов. В бланке ответов ЕГЭ эти задания помечены буквой «А».
Задание открытое (задание открытой формы) — задание теста, в котором отсутствуют варианты ответа и экзаменуемый должен самостоятельно сформировать свой ответ.
Задания с кратким свободным ответом — это тестовые задания, на которые учащийся должен записать ответ словом, словосочетанием или числом. Является частным случаем заданий открытых. В бланке ответов ЕГЭ эти задания помечены буквой «В».
Задания с развернутым ответом — это тестовые задания, на которые учащийся должен записать ответ в виде одного или нескольких предложений или формул. Является частным случаем заданий открытых. В бланке ответов ЕГЭ эти задания помечены буквой «С». Проверка правильности ответов на эти замечания производится с помощью независимых экспертов (проверяющих) на местах и в ЦТМО.
Задачи — это любые тестовые задания.
Измерение — формализованный процесс оценивания, который завершается количественной оценкой; в случае педагогического измерения это оценка уровня образовательных достижений.
КИМ (контрольно-измерительный материал) — это комплект (вариант) тестовых заданий разного типа (открытого и закрытого), подготовленных для апробации; синонимичный термин — предтест.
Ключ к заданию — это правильный ответ на тестовое задание. В случае заданий с развернутым ответом единственный формализованный ключ к тестовому заданию отсутствует и правильность ответа устанавливают независимые эксперты (проверяющие), действующие на основе авторской инструкции и эталонных ответов на конкретные задания этого типа.
Ключ к тесту (ключи ответов) — это набор ключей ко всем заданиям, включенным в данный тестовый вариант (КИМ).
Нормы (нормы теста) — это границы между интервалами на шкале тестовых баллов, которым ставится определенное аттестационное заключение, в частности школьные отметки.
Окончательная обработка результатов — это статистическая обработка, выполняемая на основе всех собранных результатов по данному тесту; на основе этой Обработки вносят поправки в предварительные тестовые нормы, а также производится более точный расчет сертификационного балла (балла свидетельства) с учетом реальной трудности тестовых заданий.
Отметка — школьный тестовый балл, имеющий четыре градации, как это
принято в традиционной школьной шкале оценки, — «пять», «четыре», «три» и «два».
Оценивание — любой процесс, формализованный или экспертный, который завершается оценкой, в случае ЕГЭ — оценкой уровня образовательных достижений учащегося. Формализованный вариант оценивания, который дает количественные оценки, называется измерением.
Оценка — результат любого процесса оценивания. В частном случае оценкой являются баллы стандартизированных испытаний, выполненных на основе тестов.
Ошибка измерения — статистический (показатель, характеризующий степень точности отдельных измерений, погрешность измерений; это величина интервала на шкале тестовых баллов, внутри которого истинная оценка учащегося может находиться фактически с равной вероятностью.
Пятибалльная оценка — оценка с использованием традиционной шкалы с четырьмя градациями «пять», «четыре», «три», «два». В едином экзамене ПО используется в аттестационном заключении, иными словами — при формировании балла аттестата.
Сертификат — это свидетельство о результате ЕГЭ, в котором балл учащегося за экзамен выражен на стобалльной шкале.
Сертификационный балл (балл свидетельства, вузовский балл) — это балл по стобалльной шкале, получаемый с помощью специальной статистической обработки заполненных бланков на этапе окончательной обработки результатов. В отличие от аттестационного балла СБ предназначен для учета вузовскими приемными комиссиями.
Стандартизация — построение уточненной стобалльной шкалы тестовых баллов на основе статистического учета результатов всех участников, выполнивших данный тест (вариант) в стране. Результатом стандартизации является стандартизированный балл (сертификационный балл).
Стобалльная шкала — шкала, по которой измеряется сертификационный балл;
СШ предназначена для использования вузовскими приемными комиссиями с целью более высокой дифференциации (различения) уровня подготовки абитуриентов в вузах с разными условиями приема (требованиями, уровнем конкурса и т.п.). Вузовским приемным комиссиям предоставляется право самим устанавливать на стобалльной шкале границы своих баллов или вообще никак не пересчитывать стобалльные показатели в традиционные пятибалльные.
Тест — измерительная процедура, включающая инструкцию и набор заданий, прошедшая широкую апробацию и стандартизацию.
Тестирование (стандартизированное испытание) — измерение, или формализованное оценивание на основе тестов, то есть завершающееся количественной оценкой, которая опирается на шкалы и нормы, обоснованные статистически.
Тестовый буклет (тестовый комплект) — это печатный текст, в котором содержатся все формулировки тестовых заданий, предназначенных для предъявления одному учащемуся в ходе одного экзамена (в рамках одного варианта); в отличие от тестовой тетради ТБ не требует обязательного занесения учащимися ответов в сам буклет и предполагает работу учащегося с бланком ответов.
Тестовая тетрадь — это печатный текст, в котором содержатся все формулировки тестовых заданий, предназначенный для предъявления одному учащемуся в ходе одного экзамена (в рамках одного варианта); в отличие от тестового буклета работа с тестовой тетрадью не предполагает использования отдельного бланка ответов, так как все ответы учащийся заносит собственно в тестовую тетрадь. На первом этапе эксперимента ТТ не используются.
Тестология — наука о создании и применении тестов. В области педагогических измерений — это теоретико-методологическое и методическое обоснование процессов разработки и применения педагогических тестов.
Тестовые шкалы (шкала) — упорядоченные множества числовых оценок результатов тестирования; для разных целей создаются различные тестовые шкалы (пятибалльная шкала, стобалльная шкала).
Тестовый комплект — набор материалов, предназначенный для одного учащегося при проведении экзамена. ТК включает тестовый буклет и бланк ответов или тестовую тетрадь.
Тип задания — это разновидность тестовых заданий, обладающих определенной формальной структурой. В ЕГЭ задания бывают закрытого (или с заданными ответами) и открытого типа; последние в свою очередь делятся на задания с краткими свободными и развернутыми ответами.
Трудность задания — характеристика задания, отражающая статистический уровень его выполнения на выборке стандартизации. ТЗ отражает процент ошибок, допущенных учащимися при выполнении данного задания.
ЦТМО — сокращение от «Центр тестирования Министерства образования
Российской Федерации».
Части теста (часть) — в тестах ЕГЭ присутствуют две части: первая содержит легкие задания (так называемые базовые задания) и облегчает получение всеми учащимися положительной оценки; вторая содержит трудные задания, а также больше заданий открытого типа и предназначена для конкурсного отбора в вузы.
Шкалирование результатов—это процесс формирования тестовых шкал и
тестовых норм, то есть правил начисления тестовых баллов по результатам тестирования на основе статистических данных.
Экзамен — это процесс оценивания образовательных достижений учащихся с целью аттестации или конкурсного отбора. В едином экзамене в качестве инструмента его проведения используются тесты.
скачать
Апробация проведения ЕГЭ с применением технологии печати полного комплекта экзаменационных материалов в пунктах проведения экзаменов (ППЭ) и перевода бланков ответов участников в электронный вид пройдет на территории Зерноградского района 24 апреля и 17 мая.
В тренировочных мероприятиях примут участие организаторы, технические специалисты, члены государственной экзаменационной комиссии, а также 127 обучающихся 11 классов, которым предоставлена возможность выполнить экзаменационные задания по обществознанию 17 мая. Апробация печати комплекта экзаменационных материалов по географии пройдет 24 апреля без привлечения обучающихся.
В 2018 году все пункты проведения экзаменов Зерноградского района перейдут на технологию печати экзаменационных материалов для участников ЕГЭ в аудиториях. При этом будут печататься не только контрольные измерительные материалы (КИМ), а полный комплект экзаменационных материалов для участников ЕГЭ, включая бланки. Это позволит еще больше повысить информационную безопасность ЕГЭ, сократить возможность влияния человеческого фактора, сэкономит средства на доставку экзаменационных материалов на места, снизит нагрузку на организаторов экзаменов.
Печать полного комплекта для одного участника ЕГЭ занимает от 20 до 30 секунд. В среднем печать полных комплектов в аудитории из 15 человек будет занимать 10-12 минут. Также в 2018 году планируется расширить использование технологии сканирования работ участников ЕГЭ в штабе ППЭ после завершения экзамена. Это даст возможность сократить время первичной обработки бланков на региональном уровне.
Целью тренировочного мероприятия является проверка организационных и технологических решений, использующихся при проведении экзамена.
Анзор Ахмедович, именно ваша служба будет проводить ЕГЭ по всей стране. Что такое пробный экзамен и зачем он нужен?
Анзор Музаев: Это пробный экзамен не для учеников, а для взрослых. Для организаторов, технических специалистов, медицинских работников. Если раньше они дежурили на экзаменах в медпункте, на случай, если к ним кто-то обратится, то сейчас медицинские работники будут измерять температуру учеников на входе, следить за тем, чтобы у всех организаторов были маски и защитные перчатки. Плюс — чтобы была проведена дезинфекция — не только помещений, но и дезинфекция рук всех участников ЕГЭ. Это новая реальность.
И мы никогда не сталкивались с необходимостью организовать дистанцию между участниками экзамена. Помните картинку во всех новостях прошлых лет — «начинается ЕГЭ»? Школа, линейка, стоят учителя с табличками, и очень много детей вокруг. Они все рядом, стоят группами, общаются. В этом году такого допустить нельзя. Нужно отработать механизм дистанцирования.
На самом деле процесс подготовки к ЕГЭ намного сложнее, чем кажется со стороны. Нужно организовать бесперебойную работу в пунктах проведения экзаменов, работу программного обеспечения, правильно распечатать материалы и раздать их. Чтобы не было никакой путаницы. Чтобы сотни тысяч ребят вовремя получили свои результаты.
Правовые аспекты образования эксперты «РГ» разбирают в рубрике «Юрконсультация»
В предыдущие годы начиная с февраля и до старта ЕГЭ мы проводили по пять-шесть таких апробаций. В этом году была только одна. Другие тесты провести не успели. Нас спрашивают: а почему нельзя этого сделать сейчас или в июне? Ответ очевиден: большинство регионов еще сохраняют режим самоизоляции. Мы максимально не хотим сейчас выводить учителей в школы, вплоть до момента начала проведения ЕГЭ. Чтобы с этой пандемией в конце концов покончить раз и навсегда, чтобы ЕГЭ не стал источником новой вспышки.
Мы проводили совещание с министерством просвещения, министерством науки и высшего образования, с Российским союзом ректоров, с Роспотребнадзором. Есть общее понимание — провести пробный экзамен для всех взрослых. Для тех, кто отвечает за безопасность ЕГЭ, за здоровье ребят.
Последнее опубликованное расписание ЕГЭ — окончательное?
Анзор Музаев: Сегодняшняя версия расписания ЕГЭ: с 29 июня по 25 июля пройдет основная волна. С 3 по 8 августа — вторая волна. На сайте у нас это есть. Сейчас министерство просвещения и Рособрнадзор по датам определились, готовим совместный приказ. Как только закрепим всю нормативную базу и подтвердим ее в Министерстве юстиции РФ (а я думаю, что это должно произойти в течение недели), то можно будет сказать: все, эти даты больше не будут меняться. Но при условии, что во всей Российской Федерации, во всех субъектах у нас эпидемиологическая ситуация будет успокаиваться и идти на спад. Опять же, этого предсказать никто не может.
Кто сможет сдать ЕГЭ в августе?
Анзор Музаев: Традиционно у нас была весенняя волна ЕГЭ, куда приходили в основном выпускники прошлых лет. Из-за коронавируса мы были вынуждены отказаться от нее. Есть основная волна, в которой предусмотрены основные дни и резервные. В «резерв» тоже допускались выпускники прошлых лет, те, кто пропустил экзамен по уважительным причинам, например заболел. Или те, у кого в пункте проведения экзамена случился форс-мажор. К примеру, у нас ежегодно случаются ураганы: столбы покосились, в пункте проведения экзамена нет электроэнергии. Что делать? Приходилось переносить на резервные дни. То есть бывают очень разные ситуации. А у нас 6 тысяч пунктов проведения экзаменов, 60 тысяч аудиторий. Если сделать основной период ЕГЭ слишком коротким, то есть риски, что сотни выпускников останутся без шанса поступить или что-то пересдать. Вот для этих ребят есть четыре дня ЕГЭ в августе. Мы должны дать шанс всем выпускникам поступить в вузы. И Владимир Владимирович об этом сказал.
Все ли ребята успеют подать документы в вузы?
Анзор Музаев: Успеют. Поступление в вузы зависит от того, в какие даты у нас выпускники сдают ЕГЭ. Нынешнее расписание устраивает и министерство науки и высшего образования, и Российский союз ректоров. Фактически прием документов в вузы после ЕГЭ начнется, если не ошибаюсь, уже с конца июля. И приемная кампания продлится вплоть до последних чисел августа. Приказы о зачислении будут опубликованы перед самым первым сентября. То есть система высшего образования с 1 сентября готова будет начать занятия.
У нас 25 июля — последний основной день экзаменов. Мы будем обрабатывать результаты быстрее. 8 августа — последний день для тех, кто не успевал сдать ЕГЭ в основную волну. В любом случае, в самой, скажем так, форс-мажорной ситуации у выпускника будет одна неделя, чтобы подать документы. Я думаю, что этого будет достаточно. Тем более что принимать документы вузы будут дистанционно.
Анзор Музаев: Регионы сами будут решать, надо ли выпускникам надевать маски на ЕГЭ или нет. Фото: Сергей Красноухов / ТАСС
Будут ли легче задания ЕГЭ в этом году? Ведь во время «дистанционки» было немало проблем…
Анзор Музаев: Менять задания мы считаем нецелесообразным. Мотивированные школьники начали подготовку к ЕГЭ не в четвертой четверти, и даже не год назад, а перейдя из 9-го класса в 10-й. Мы никогда не принимаем кардинальных и резких решений, которые касаются содержания ЕГЭ. Если что-то меняем, то заявляем об этом с перспективой на два года. Именно потому, чтобы у выпускников была возможность выбрать. И до 1 сентября мы говорим, что через два года в ЕГЭ будут такие-то изменения. Чтобы девятиклассник, прежде чем пойти в 10-й класс, понимал, с чем ему придется столкнуться. Это честно и это правильно. И если сейчас, когда подавляющая часть выпускников готовились почти полтора года (но вот эта последняя четверть сыграла злую шутку), мы поменяем правила игры, то это вызовет море негатива. Именно со стороны тех ребят, которые реально готовились к экзаменам и для которых правила игры вдруг внезапно изменились. Это может вызвать ухудшение результатов, а не улучшение. Поэтому никаких правил в плане облегчения или утяжеления заданий мы менять не будем. Тем более, четвертая четверть — это закрепление материала, подведение итогов.
В этом году мы сделали беспрецедентную акцию, на сайте Федерального института педагогических измерений были опубликованы методические рекомендации по каждому предмету и даже реальные варианты ЕГЭ досрочного периода, который отменился. Мы этого никогда не делали. Анализ основных ошибок, которые допускали выпускники прошлых лет, процент решенных и нерешенных заданий… За 4 дня было 2 миллиона просмотров и скачиваний. Такого интереса никогда не было.
И еще момент: если дети на самоизоляции с умом, грамотно распределили свое время, то, я думаю и надеюсь, результаты экзамена у нас будут даже лучше, чем в прошлые годы.
Спрашивают выпускники: будут ли им выдавать маски на ЕГЭ? Маски будут для детей обязательными?
Анзор Музаев: Ситуация в регионах разная. Тем более к июлю она еще может поменяться. Нас часто спрашивают не только про маски, но и про перчатки. Представляете, каково это, просидеть в июле в перчатках 4 часа? И в масках в том числе — это непросто. С Роспотребнадзором у нас отработана такая рекомендация: в «тяжелых» регионах местные власти сами будут принимать решение, надо это или нет. В тех регионах, где опасности заражения нет, инфекция на летний период приобрела формат, скажем так, нулевой, использовать эти средства необходимости не будет. Это выбор субъектов. Мы сейчас одну жесткую формулу дать всем не можем. Поэтому рекомендации максимально общие и простые.
Мы будем ориентировать регионы проводить апелляции на ЕГЭ дистанционно. Там, где это возможно
Как будут проходить апелляции? Возможно ли их проведение в дистанционном режиме?
Анзор Музаев: Москва давно проводит апелляции в дистанционном режиме. И мы будем ориентировать регионы именно на дистанционный формат. Особенно если в субъекте ситуация это позволяет, связь работает, все имеют доступ к Сети.
Справка «РГ»
Сейчас проект расписания ЕГЭ выглядит так: 29 июня и 30 июня — пробные экзамены; 3 июля — ЕГЭ по географии, литературе и информатике; 6 и 7 июля — самый массовый ЕГЭ по русскому языку; 10 июля — по профильной математике; 13 июля — по истории и физике; 16 июля — по обществознанию и химии; 20 июля — по биологии и письменная часть ЕГЭ по иностранным языкам; 22 и 23 июля — устная часть ЕГЭ по иностранным языкам. Резервные дни -24 июля (по всем предметам, кроме русского и иностранных языков) и 25 июля — по всем предметам.
Для тех, кто по уважительным причинам не сможет принять участие в ЕГЭ в июле, будет дополнительный период экзаменов в августе. Расписание составлено так, чтобы все участники смогли успеть подать документы в вузы: 3 августа — ЕГЭ по географии, литературе, информатике, биологии, истории и устной части экзамена по иностранным языкам; 5 августа — ЕГЭ по русскому языку; 7 августа — по обществознанию, химии, физике, профильной математике и письменной части ЕГЭ по иностранным языкам; 8 августа — резервный день по всем предметам.
Результаты государственной итоговой аттестации (далее – ГИА) являются показателем уровня освоения программы среднего общего образования и практически единственным источником данных для анализа и оценки многих характеристик системы образования Российской Федерации, связанных с качеством образования. В современных условиях невозможно достичь максимальной эффективности процедуры ГИА без использования информационных технологий, которые, в свою очередь, бурно и интенсивно развиваются именно под воздействием стоящих перед системой образования Российской Федерации стратегических и тактических задач. Эти перемены несут системе образования существенную выгоду, однако при этом они требуют и гораздо более серьезного внимания к сфере безопасности.
Решение задач обеспечения информационной безопасности процедуры ГИА на всех этапах ее проведения (формирование, организация хранения и доставки контрольно-измерительных материалов (далее – КИМ)), гарантирования конфиденциальности вариантов КИМ, используемых участниками единого государственного экзамена (далее – ЕГЭ) при выполнении экзаменационной работы является, несомненно, важным в условиях постоянно возрастающего количества информационных угроз и рисков, а также недостаточного уровня обеспечения информационной безопасности в существующих информационных системах (далее – ИС).
Ключевым элементом управления информационными рисками, является эффективная методология их снижения за счет реализации определенных контрмер, направленных на ликвидацию уязвимостей и ликвидацию угроз в ИС. В связи с этим особый интерес представляют вопросы, связанные с разработкой организационно-технологических и методических подходов к обеспечению конфиденциальности вариантов КИМ, используемых участниками ЕГЭ при выполнении экзаменационной работы. Схема проведения ЕГЭ, при которой варианты КИМ генерируются за небольшой промежуток времени до начала экзамена, позволяет сократить время существования вариантов КИМ, и, соответственно, риск утечек информации о составе заданий в конкретных вариантах существенно снижается. Сложность, однако, представляет задача обеспечения одинаковой трудности вариантов в процессе их генерации, что требует разработки соответствующих научных и технологических решений, а также проведения работ по специализированной разметке банка заданий, из которых планируется генерировать варианты КИМ [1-4].
В качестве инструментария, позволяющего генерировать варианты КИМ, предлагается использовать технологию и программное обеспечение формирования КИМ, включенную в функциональные возможности платформы online-gia.ru.
Апробация технологии и программного обеспечения формирования КИМ, включая подготовку банков заданий для проведения автоматической генерации вариантов КИМ, прошла в 12 регионах Российской Федерации. По каждой экзаменационной модели в процедуре выполнения обучающимися разработанных вариантов КИМ участвовали более 10 000 экзаменуемых.
Апробация проводилась на информационной платформе https://www.online-gia.ru (рисунок 1).
Рисунок 1. Информационная платформа проведения апробации моделей проведения ГИА
Апробация представляла собой процедуру выполнения обучающимися разработанных вариантов КИМ, причем каждый обучающийся выполнял задания выданного ему варианта КИМ. Алгоритм проведения апробации представлен на рисунке 2.
Рисунок 2. Алгоритм проведения апробации
Для проведения апробации были разработаны инструктивно-методические материалы для всех категорий участников апробации: организаторов, учителей, обучающихся. Пример алгоритма работы учителя в автоматизированной системе online-gia.ru представлен на рисунке 3.
Рисунок 3. Алгоритм работы учителя в автоматизированной системе
Апробационный экзамен предусматривал выполнение экзаменационной работы как в бумажном формате, так и с использованием информационно-коммуникационных технологий. По результатам апробации каждой образовательной организации были предоставлены сводные результаты по всем участникам апробации из данной организации (в рамках личного кабинета).
Основными параметрами КИМ являются статистические характеристики тестовых заданий и вариантов в целом. Основными параметрами тестовых заданий являются:
- Трудность задания. В классической тестовой теории этот показатель определяется долей экзаменующихся, которые ответили правильно на данное задание. Оценивается через средний процент выполнения и средний первичный балл.
- Надежность, как характеристика внутренней согласованности, определяется связью элементов теста с общим результатом, тем, насколько элементы теста входят в противоречие друг с другом, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Надежность рассчитывается через коэффициент надежности Кронбаха и считается высокой если он больше 0,9. Такая надежность говорит и о правильно подобранной длине теста. При его значении менее 0,7 можно сделать вывод о низкой надежности и необходимости совершенствования КИМ.
- Дифференцирующая способность задания – это показатель для определения различия среди экзаменующихся по уровню подготовки по оцениваемой дисциплине. Определяется с помощью подсчета значений точечного бисериального коэффициента корреляции (ТБКК). Дифференцирующая способность задания позволяет судить о том, насколько оно соответствует общей цели создания теста. Правильно подобранные задания позволяют четко отделять хорошо подготовленных от слабо подготовленных экзаменуемых.
- Стандартное отклонение, которое позволяет оценить форму кривой диаграммы распределения верных ответов. Стандартное отклонение численно равно корню квадратному из дисперсии. Низкое стандартное отклонение указывает на низкое качество теста, поскольку он не обеспечивает высокий дифференцирующий эффект. Излишне высокое стандартное отклонение, характерно для случая, когда все обучающиеся отличаются по числу выполненных заданий, также требует корректировки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой.
- Асимметрия распределения, которая показывает сбалансированность теста. Если ее значение близко к 0, то тест сбалансирован по трудности заданий, если ее значение отрицательно, то это говорит о преобладании легких заданий. Чем больше значение асимметрии, тем более сложные задания включены в тест, то есть основная часть набранных баллов лежит слева от среднего значения. Данный показатель позволяет оценить необходимость корректировки содержания теста по трудности.
- Эксцесс. Значения эксцесса позволяют получить представление о том, являются ли полигон частот распределения или гистограмма, островершинной или плоской. Для нормального распределения эксцесс должен быть нулевым. Если значения эксцесса больше 2, то это говорит об островершинной кривой, а это еще раз позволяет подтвердить, что есть проблемы с трудностью тестовых заданий.
Для проведения апробации были разработаны в информационной системе 20 экзаменационных моделей, которые включали 9 предметов по программе среднего общего образования, из них 1 предмет (иностранные языки) – отдельно базовый и углубленный уровень, 11 предметов по программам основной школы. КИМ содержали:
задания с выбором ответа (к каждому заданию приводится несколько вариантов ответа, из которых верен только один);
задания, к которым требуется дать краткий ответ;
задания, в которых ответы необходимо привести в виде последовательности цифр;
задания с развернутым ответом.
Разработанная технология формирования КИМ позволила компоновать варианты КИМ по учебным предметам. По каждому предмету в ИС генерировались варианты КИМ. Компоновка происходила с учетом следующих условий:
использование заданий из банка заданий, в котором хранятся задания с уникальными идентификаторами и свойствами;
варианты КИМ соответствуют установленной спецификации КИМ для проведения экзамена по учебному предмету;
варианты КИМ имеют одинаковую трудность;
задания в вариантах КИМ не имеют тематических пересечений: одно задание не служит подсказкой к другой.
В роли экспертов, оценивающих характеристики и качество предложенных заданий, выступили учителя. Оценка каждого задания производилась по следующим пунктам:
- Значимость умения (комплекса умений), которое проверяет задание, для достижения предметных или метапредметных результатов обучения.
- Значимость элемента содержания, которое проверяется данным заданием для государственной итоговой аттестации.
- Уровень сложности задания.
- Соответствие задания учебной программе.
Анализ анкет учителей позволил выработать направления доработки апробируемых проектов экзаменационных моделей.
Данные о структуре апробируемых КИМ представлены в таблице 1. Данные о количестве участников, средних баллах и основным параметрам КИМ по предметам представлены в таблице 2.
Таблица 1
Данные о контрольных измерительных материалах
| Предмет | Класс | Время (мин) | Общее кол-во заданий | Кол-во заданий с выбором ответа | Кол-во заданий с кратким ответом | Кол-во заданий с развернутым ответом | Макс первичный балл |
| Английский язык | 9 | 120 | 42 | 20 | 22 | – | 55 |
| Биология | 9 | 180 | 32 | 26 | 1 | 5 | 49 |
| География | 9 | 120 | 24 | 16 | 4 | 4 | 29 |
| Информатика | 9 | 150 | 21 | – | 18 | 3 | 24 |
| История | 9 | 180 | 28 | 22 | 2 | 4 | 41 |
| Литература | 9 | 235 | 5 | – | – | 5 | 26 |
| Математика | 9 | 235 | 24 | 6 | 13 | 6 | 37 |
| Обществознание | 9 | 150 | 20 | 14 | 0 | 6 | 30 |
| Русский язык | 9 | 235 | 15 | 6 | 7 | 2 | 39 |
| Физика | 9 | 180 | 26 | 17 | 3 | 6 | 45 |
| Химия | 9 | 120 | 20 | 15 | – | 5 | 38 |
| Английский язык (базовый уровень) | 11 | 180 | 66 | 42 | 23 | 1 | 75 |
| Английский язык (углубленный уровень) | 11 | 180 | 66 | 36 | 29 | 1 | 75 |
| Биология | 11 | 180 | 25 | 19 | – | 6 | 45 |
| География | 11 | 180 | 24 | 11 | 4 | 9 | 35 |
| Информатика | 11 | 235 | 27 | 2 | 21 | 4 | 35 |
| История | 11 | 210 | 33 | 21 | 5 | 7 | 41 |
| Обществознание | 11 | 180 | 25 | 15 | 1 | 9 | 50 |
| Физика | 11 | 235 | 30 | 16 | 6 | 8 | 54 |
| Химия | 11 | 180 | 40 | 32 | 3 | 5 | 64 |
Таблица 2
Информация о количестве участников,
проценте выполнения заданий и средних баллах по предметам
| № | Предмет | Вариант | Кол-во участников | Средний % выполнения | Средний первичный балл | Стандартное отклонение | Средняя надежность экзаменационной работы | Асимметрия распределения | Эксцесс |
|
Класс 9 |
|||||||||
| 1 | Английский язык | КИМ1 | 5 716 | 53 | 28,70 | 13,77 | 0,88 | -0,20 | -1,05 |
| КИМ2 | 4 530 | 49 | 25,72 | 13,18 | 0,87 | 0,02 | -0,90 | ||
| 2 | Биология | КИМ1 | 5 347 | 55 | 24,53 | 8,36 | 0,81 | 0,18 | -0,60 |
| КИМ2 | 5 015 | 54 | 25,88 | 8,75 | 0,82 | 0,04 | -0,71 | ||
| 3 | География | КИМ1 | 5 077 | 56 | 16,14 | 5,33 | 0,76 | -0,19 | -0,46 |
| КИМ2 | 4 928 | 53 | 15,41 | 4,84 | 0,74 | -0,21 | -0,13 | ||
| 4 | Информатика | КИМ1 | 5 648 | 41 | 9,73 | 5,01 | 0,85 | 0,14 | -0,79 |
| КИМ2 | 5 276 | 40 | 9,62 | 5,03 | 0,84 | 0,21 | -0,64 | ||
| 5 | История | КИМ1 | 5 556 | 51 | 19,94 | 7,74 | 0,81 | 0,001 | -0,56 |
| КИМ2 | 5 096 | 48 | 18,83 | 7,56 | 0,82 | 0,051 | -0,58 | ||
| 6 | Литература | КИМ1 | 5 748 | 52 | 13,43 | 6,65 | 0,62 | -0,09 | -0,83 |
| КИМ2 | 4 269 | 51 | 13,26 | 6,63 | 0,64 | -0,09 | -0,82 | ||
| 7 | Математика | КИМ1 | 10 218 | 44 | 16,27 | 5,78 | 0,81 | 0,15 | 0,38 |
| КИМ2 | 9 906 | 40 | 14,57 | 5,55 | 0,80 | 0,31 | 0,46 | ||
| 8 | Обществознание | КИМ1 | 6 510 | 60 | 17,40 | 5,64 | 0,77 | -0,35 | -0,37 |
| КИМ2 | 6 159 | 54 | 16,16 | 5,26 | 0,74 | -0,09 | -0,40 | ||
| 9 | Русский язык | КИМ1 | 13 986 | 70 | 26,43 | 7,40 | 0,68 | -0,76 | 0,24 |
| КИМ2 | 13 788 | 71 | 27,84 | 7,30 | 0,69 | -0,91 | 0,59 | ||
| 10 | Физика | КИМ1 | 5 733 | 43 | 18,15 | 7,43 | 0,82 | 0,43 | -0,30 |
| КИМ2 | 5 538 | 47 | 20,20 | 7,85 | 0,82 | 0,26 | -0,29 | ||
| 11 | Химия | КИМ1 | 5 180 | 39 | 16,28 | 8,84 | 0,80 | 0,50 | -0,46 |
| КИМ2 | 4 988 | 36 | 15,81 | 8,67 | 0,81 | 0,56 | -0,27 | ||
|
Класс 11 |
|||||||||
| 12 | Английский язык (базовый уровень) | КИМ1 | 4 745 | 48 | 33,25 | 16,08 | 0,91 | 0,06 | -0,89 |
| КИМ2 | 5 319 | 46 | 33,00 | 15,81 | 0,91 | 0,23 | -0,71 | ||
| 13 | Английский язык (углубленный уровень) | КИМ1 | 5 243 | 42 | 30,76 | 13,90 | 0,88 | 0,19 | -0,23 |
| КИМ2 | 5 169 | 38 | 28,09 | 23,57 | 0,88 | -1,03 | -1,65 | ||
| 14 | Биология | КИМ1 | 5 110 | 36 | 13,76 | 7,42 | 0,79 | 0,67 | -0,14 |
| КИМ2 | 5 067 | 37 | 14,63 | 7,42 | 0,79 | 0,60 | -0,29 | ||
| 15 | География | КИМ1 | 5 178 | 37 | 12,91 | 6,38 | 0,84 | 0,45 | -0,37 |
| КИМ2 | 5 053 | 35 | 12,34 | 5,90 | 0,82 | 0,52 | -0,12 | ||
| 16 | Информатика | КИМ1 | 4 989 | 29 | 9,24 | 5,93 | 0,86 | 1,04 | 1,33 |
| КИМ2 | 5 167 | 31 | 10,52 | 5,65 | 0,84 | 0,90 | 1,46 | ||
| 17 | История | КИМ1 | 5 452 | 42 | 24,77 | 9,62 | 0,79 | 0,37 | 0,50 |
| КИМ2 | 5 757 | 42 | 24,66 | 11,72 | 0,85 | 0,24 | -0,54 | ||
| 18 | Обществознание | КИМ1 | 5 157 | 47 | 23,64 | 9,68 | 0,84 | -0,06 | -0,51 |
| КИМ2 | 5 445 | 46 | 21,91 | 8,60 | 0,79 | 0,13 | -0,32 | ||
| 19 | Физика | КИМ1 | 5 254 | 35 | 18,69 | 8,62 | 0,87 | 0,49 | 0,26 |
| КИМ2 | 4 775 | 39 | 18,56 | 8,50 | 0,87 | 0,47 | 0,18 | ||
| 20 | Химия | КИМ1 | 5 339 | 42 | 27,18 | 14,17 | 0,92 | 0,31 | -0,65 |
| КИМ2 | 4 940 | 43 | 27,27 | 14,30 | 0,92 | 0,28 | -0,69 |
Обработанные данные об итогах экзаменов позволили выделить следующие особенности апробированных экзаменационных моделей КИМ для проведения ГИА:
- Оценка трудности тестов показала, что средний процент выполнения КИМ по программам основной школы составил 49,5%, а по программе среднего общего образования ‑ 38,3%. При этом наибольшую трудность по программам основной школы вызвали информатика, математика, физика, химия, а по программе среднего общего образования — информатика, биология, физика, география. Наиболее успешно аттестуемые справились по программам основной школы с КИМ по русскому языку и обществознанию, а по программе среднего общего образования – с обществознанием и английским языком (базовый уровень).
- Имеют место проблемы с трудностью конкретных заданий в представленных моделях КИМ. Так в КИМ по английскому языку, по географии, по обществознанию, по физике (9 класс), по английскому языку (базовый уровень), по информатике, по истории (11 класс) присутствует от 4 до 10 заданий базового уровня с процентом выполнения до 20% или заданий повышенного уровня с процентом выполнения более 60%. В моделях КИМ по информатике (9 класс), по английскому языку (базовый уровень), по биологии, по географии присутствуют отдельные задания, с которыми справились или менее 10 %, или более 90 % аттестуемых.
- Средняя надежность исследованных КИМ по большинству предметов составила более 0,8. Однако для некоторых предметов (9 класс – география, литература, обществознание, русский язык, 11 класс – биология) полученные значения надежность недостаточны.
- Дифференцирующая способность предложенных КИМ, рассчитанная через среднее значение дискриминативности и точечно-бисериального коэффициента корреляции для заданий 9 класса по английскому языку, биологии, информатике, истории, литературе, математике, обществознанию, русскому языку, физике, химии и 11 класса по английскому языку (базовый уровень), физике, ‑ выше 0,3, что свидетельствует об их высоком качестве.
- По результатам анализа коэффициентов дискриминативности отдельных заданий выделены проблемные места в отдельных моделях КИМ: 9 класс — по английскому языку, биологии, географии, информатике, истории, математике, обществознанию, русскому языку; 11 класс — английскому языку (базовый и углубленный уровень), биологии, информатике, физике присутствуют от 2 до 5 заданий с коэффициентом дискриминативности меньше 0,2. Соответственно данные задания необходимо либо изъять из теста, либо провести тщательный анализ и переработку.
- Имеет место существенный разброс значений стандартного отклонения. Низкое стандартное отклонение КИМ 9 класс — по информатике, географии, математики, обществознанию, 11 класс — по информатике, географии указывает на то, что данные модели не обеспечивают высокий дифференцирующий эффект. С другой стороны, высокое стандартное отклонение КИМ по английскому языку (9 и 11 классы), химии, истории (11 класс) требует доработки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой.
- Анализ сбалансированности моделей КИМ по трудности заданий в значительной степени коррелирует со средним процентом выполнения заданий. Так большинство моделей КИМ с высоким значением асимметрии — 9 класс: математика КИМ2, физика, химия, 11 класс: биология, география, информатика, история КИМ1, физика, химия не позволили аттестуемым набрать высокий средний процент выполнения, т.к. в тестах преобладали сложные задания. В то же время в моделях с отрицательными значениями асимметрии — 9 класс: английский язык КИМ1, география, обществознание КИМ1, русский язык, 11 класс: английский язык (углубленный уровень) КИМ2 преобладали легкие задания, что позволило аттестуемым набрать высокий средний процент выполнения.
- Незначительное островершинное отклонение, определяемое положительным отклонением значения эксцесса от нулевого значения, наблюдается только для апробированных моделей КИМ по русскому языку (9 класс), информатике и физике (11 класс), для остальных моделей КИМ значения эксцесса является отрицательным, что говорит о том, что гистограмма результатов апробирования этих моделей КИМ является плоской и распределение трудности заданий в этих моделях является удовлетворительным.
Таким образом, анализ показателей тестовых заданий в целом показывают высокое качество разработанных моделей КИМ. Исследованные статистические характеристики вариантов и отдельных тестовых заданий показывают направления и механизмы коррекции теста для достижения оптимальных показателей трудности и ее сбалансированности, надежности, дифференцирующей способности, формы кривой диаграммы распределения верных ответов, за счет коррекции конкретных выявленных проблемных тестовых заданий.
Выводы. Проведенная апробация технологии и программного обеспечения формирования КИМ, включая подготовку банков заданий для проведения автоматической генерации вариантов КИМ, позволила сделать следующие выводы:
качество подготовленных экзаменационных моделей соответствует требованиям, предъявляемым к стандартизированным измерителям при проведении ГИА по образовательным программам основного общего образования;
проведенная апробация позволяет судить как о качестве экзаменационных моделей, так и об уровне подготовленности испытуемых по проверяемым предметам;
статистические характеристики тестовых заданий и вариантов в целом показывают направления и механизмы коррекции теста для повышения точности тестовых баллов предложенных КИМ.
Проведенная работа показала, что экзаменационные модели, составленные с использованием технологии программного формирования КИМ в образовательных организациях, могут использоваться в процедурах ГИА и других процедурах оценки качества образования для повышения эффективности управления системой образования Российской Федерации.
Список литературы:
- Открытый банк заданий ОГЭ. [Электронный ресурс]. — Режим доступа:
- Открытый банк заданий ЕГЭ. [Электронный ресурс]. — Режим доступа:
- Демоверсии, спецификации, кодификаторы ЕГЭ. [Электронный ресурс]. — Режим доступа:
- Демоверсии, спецификации, кодификаторы ОГЭ. [Электронный ресурс]. — Режим доступа: type=»book» name=»АПРОБАЦИЯ ПРОЕКТОВ ЭКЗАМЕНАЦИОННЫХ МОДЕЛЕЙ ДЛЯ ПРОВЕДЕНИЯ ГИА ПО ОБРАЗОВАТЕЛЬНЫМ ПРОГРАММАМ ОСНОВНОГО ОБЩЕГО И СРЕДНЕГО ОБЩЕГО ОБРАЗОВАНИЯ» description=»Проведена разработка и апробация технологии и программного обеспечения формирования контрольно-измерительных материалов, сделаны выводы о качестве подготовленных экзаменационных моделей.» author=»Тугой Иван Анатольевич» publisher=»БАСАРАНОВИЧ ЕКАТЕРИНА» pubdate=»2017-01-12″ edition=»ЕВРАЗИЙСКИЙ СОЮЗ УЧЕНЫХ_30.12.16_33(1)» ebook=»yes» ]
Чтобы выяснить объективно, как прошла апробация устного собеседования, на заседании МО задали своим коллегам ряд вопросов.
Среди вопросов были такие:
— какие трудности выявляет апробация?
— какие задания ИС наиболее сложны для учеников?
— как помогаете детям справиться с волнением?
— какие недочеты в организации ИС выявила апробация?
— как предупредить типичные ошибки и недочеты школьников?
— на что обратить внимание экзаменатору-собеседнику?
— что учесть эксперту?
— прибегаете ли к переслушиванию аудиозаписей ответов экзаменуемых? в каких случаях?
— какие методические советы адресуете коллегам?
В опросе принимали участие как экзаменаторы-эксперты (учителя русского языка и литературы), так и экзаменаторы-собеседники из числа учителей-предметников: учителя математики, истории, иностранных языков, географии, сотрудник школьной библиотеки.
Апробация выявила, что подготовка технических специалистов и экзаменаторов-собеседников целенаправленно местными органами образования не проводилась. Учителей, обладающих уровнем технического специалиста, в школе мало, у нас, например, это учителя информатики — 3 человека, учитель физики — 1, лаборант — 1, поэтому на 10 кабинетов приходилось по 2 техспециалиста, которые вели параллельно по 2 кабинета, едва успевая переходить из одного в другой, при этом шла запись и записывались, естественно, все скрипы дверей, хождения туда-сюда.
На 140 участников собеседования было выделено 10 аудиторий, которые по согласованному с учениками расписанию должны были принять по 14 человек.
Все экзаменаторы-собеседники испытывали волнение, так как нужно было успеть оформить бланки: увидеть, как ученик их правильно печатными буквами заполнил (это время нигде не учитывается, а уходило до 5 минут ещё до пуска записи!), а также сложно следить за временем и следовать инструкции (определённые слова собеседника должны быть обязательно произнесены!).
Нами была составлена памятка для экзаменатора-собеседника.
ПАМЯТКА
для экзаменатора-собеседника к итоговому собеседованию по русскому языку в 2019 году
- Приветствие.
— Здравствуйте! Присаживайтесь. Представьтесь, пожалуйста. Заполните бланк. Прослушайте инструкцию. (1-2 мин.)
Общее время Вашего ответа (включая время на подготовку) — 15 минут. На протяжении всего времени ответа ведётся аудиозапись. Постарайтесь полностью выполнить поставленные задачи, говорите ясно и чётко, не отходите от темы. Так Вы сможете набрать наибольшее количество баллов. Перед ответом на каждое задание не забудьте произнести номер задания.
- Подготовка. Чтение про себя (подготовка 2 мин).
— Назовите свою фамилию и отчество, номер варианта и номер задания, когда я включу аудиозапись. Давайте потренируемся до записи. Готовы? Итак, начинаем! (Включаем аудиозапись и записываем время начала экзамена).
Ученик называет свои ФИО.
— У вас есть 2 минуты, чтобы подготовить чтение данного текста. Приступайте. (Во время подготовки ученика экзаменатор-собеседник проверяет правильность заполнения бланка, записывает время начала экзамена, заполняет протокол, передает бланк экзаменатору-эксперту).
- ПЕРВАЯ ЧАСТЬ. Чтение текста вслух. Слушание, эмоциональная реакция на чтение. (2 мин.)
— Ваше время для подготовки истекло. Начинайте читать текст вслух. Перед чтением назовите номер задания.
Ученик называет номер задания и читает текст вслух. (2 мин.)
— Молодец! Теперь нужно пересказать этот текст, включив в Ваш пересказ цитату. Можете делать записи в поле для заметок и пользоваться ими во время пересказа. На подготовку у вас есть 2 минуты.
- ВТОРАЯ ЧАСТЬ. Пересказ. (2-3 мин.) Слушание, эмоциональная реакция.
— Ваше время для подготовки истекло. Начинайте пересказ текста. Назовите номер задания.
Ученик называет номер задания и пересказывает текст. (2-3 мин.)
- ТРЕТЬЯ ЧАСТЬ. Монолог.
— Прекрасно, теперь переходим к третьему заданию. Выберите одну из предложенных тем. (Даём листочек с темами). Ознакомьтесь с планом ответа. Ваше высказывание не должно занимать более 3 минут. Вы определились? У вас есть 1 минута, чтобы составить монологическое высказывание по данной теме.
— Ваше время для подготовки истекло. Слушаем. (2-3 мин.) Назовите номер задания.
Ученик называет номер задания и произносит монолог.
- ЧЕТВЕРТАЯ ЧАСТЬ. Диалог. (2-3 мин.) Эмоциональная реакция на монолог ученика.
— Хорошо.
Плавно переходим к диалогу. Задаем вопросы с карточки. Поддерживаем беседу, чтобы избежать односложных ответов.
Ученик называет номер задания и отвечает на вопросы экзаменатора-собеседника.
Для того чтобы избежать односложных ответов, можно задавать дополнительные вопросы:
— Можешь рассказать подробнее? Как это связано с …? С чем можно сравнить это ощущение? В результате чего вы пришли к этому выводу?
- Выключаем запись. Записываем время окончания экзамена. Эмоциональная реакция.
Ученик должен расписаться в протоколе. Прощаемся. Общее время: не более 15 минут.
Экзаменаторы-эксперты предлагают:
— при оценивании заданий 1 и 2 надо развести критерии, искажения слов есть уже при чтении — 0, а при пересказе нет, и ребенок потерял балл, это некорректно и несправедливо. Эксперту трудно держать в памяти ошибки грамматические и речевые, если их приходится суммировать после завершения ответа. Не лучше ли развести их по каждому виду задания? Приходится вести дополнительно записи на своем уже черновике, делая пометки, это ведь непродуктивно.
— Задание №3( монолог) «привязано» к определенному количеству фраз — 10. Детей это, безусловно, смущает. Надо предлагать варианты или какой-то диапазон. Например, от 8 до 12 фраз. Чтобы выполнить этот монолог в расчете на количество предложений, дети забывали о логике и последовательности и связности изложения.
— Первое задание дети практически не выбирали: черно-белая фотография не позволяет реально описать предметы, даже описание репродукции картины в учебнике цветное. Почему нельзя ребенку предложить цветное фото, в школах есть цветные принтеры и одну эту картинку даже в 10 экземплярах, если 10 кабинетов, можно предлагать для описания. Черно-белые фото в век технологий! Это просто смешно!
— Как вести диалог? Как указано в методрекомендациях, «плавно» перейти к диалогу не представляется возможным, поскольку ребенок обязательно должен назвать номер задания. Три вопроса, которые предлагаются, должны иметь пояснительные вопросы или формулы, помогающие разговорить ученика.
— Что делать экзаменатору-собеседнику, если ребенок начал не первое задание, а растерялся и приступил сразу к пересказу и забыл о чтении? Можно ли ребенка остановить и попросить начать чтение? А если ученик разволновался и вообще замолчал? Можно ли его успокоить и поддержать, если запись идет потоком, паузу сделать в ней нельзя, иначе ответ будет считаться законченным.
— После апробации, а оно завершилось в 14 часов, прослушивание не использовали, кроме одной спорной ситуации. На прослушивание просто нет уже сил.
— Чтобы такой вид экзамена, как собеседование, прижился в школе, нужно вернуть риторику!