Эффективный тест вместе со Studyx: быстрый запуск, максимальный результат

Автор - Приходько Максим, основатель и генеральный директор компании Studyx, к.ф.-м.н. (PhD), директор по исследованиям и разработке Studyx, эксперт анализа данных и адаптивного обучения с более чем 10-летним опытом в сфере e-Learning и внедрения самых передовых образовательных технологий

Для того чтобы добиться максимальных результатов от проверки знаний с помощью теста, необходимо правильно подготовить вопросы для тестирования.

Даже если вы планируете задать своим учащимся всего 2 вопроса в тесте, лучше подготовить набор из 6-10 вопросов. В этом случае вы сможете шире и глубже проверить знания учащихся, защитите себя от механического запоминания учащимися правильных ответов в тесте при его пересдаче, а сами учащиеся получат возможность в ходе тестирования узнать что-то новое и прочнее закрепить свои знания.

Ниже вы найдете не только технические рекомендации по заполнению самого шаблона, но и методические рекомендации по составлению банка вопросов, который поможет в полной мере использовать тестирование как инструмент контроля знаний.

Актуальную версию шаблона теста вы можете скачать по следующей ссылке:

шаблон теста Studyx

Размер банка вопросов

Банк вопросов – это все множество разработанных для теста вопросов, часть из которых затем войдет в тестовое задание, сформированное индивидуально для каждого участника тестирования.

Рекомендуемый размер банка вопросов определяется по следующей формуле:

Размер Банка вопросов = (число вопросов в теме) * (количество тем / тематических блоков теста).

Например, если вопросы теста разделены на 3 темы по 15 вопросов, то рекомендуемый размер банка вопросов – 45 вопросов.

Минимальное число вопросов в каждой теме определяется общими параметрами тестирования, а именно – количеством вопросов из темы, которые выбираются при тестировании, и уровнем вариативности:

Число вопросов в теме = (число вопросов из темы в тесте) * (уровень вариативности),

где минимальное значение уровня вариативности – 3, рекомендуемое – 5.

Например, если из каждой темы в ходе тестирования выбирается по 5 вопросов, а уровень вариативности выбран равным 3, то общее число вопросов в теме составит 3 * 5 = 15.

Уровни сложности вопросов

Вопросы в Банке вопросов могут быть ранжированы по уровням сложности – единым для всех тем. Это не обязательная процедура, однако определение уровня сложности вопроса позволяет в дальнейшем использовать данный банк вопросов для проведения не только классического, но и адаптивного тестирования.

Рекомендуемое количество уровней сложности – не менее 3 (лучше - от 5 до 10). Внутри каждой темы (тематического блока) рекомендуется иметь вопросы разного уровня сложности, т.к. это напрямую влияет на вариативность теста и возможности адаптации теста к персональным особенностям участников тестирования.

Таким образом, при составлении Банка вопросов необходимо учесть, что вопросы внутри каждой темы должны представлять не менее 3-5 различных уровней сложности (по умолчанию уровни сложности возрастают "от простого к сложному", например от 1 до 10, где 1 – самые простые вопросы, 10 – самые сложные).

Длительность теста

Длительность теста определяется общим числом вопросов, задаваемых участнику тестирования. Оптимальная длительность теста рассчитывается по следующей формуле:

Общее число вопросов в тесте = (число задаваемых вопросов из темы) * (количество тем / тематических блоков теста).

В итоговом тесте участнику по каждой теме рекомендуется задавать не менее 5 вопросов. Тогда, если вопросы теста разделены на 3 темы, рекомендуемая длительность теста составит 15 вопросов.

Требование не является обязательным, однако при уменьшении длительности теста системе может не хватить данных для достаточно достоверного определения уровня знания отдельных тем.

Типы вопросов

Возможны вопросы следующих четырех основных типов:

с выбором одного правильного варианта ответа;

Рис. 1. Пример вопроса с выбором одного варианта правильного ответа

с выбором нескольких правильных вариантов ответа (multiple choice);

Рис. 2. Пример вопроса с выбором нескольких вариантов правильного ответа

с вводом текстового ответа;

Рис. 3. Пример вопроса с вводом текстового ответа

на соответствие / упорядочивание.

Рис. 4. Пример вопроса на соответствие / упорядочивание

Важно!

При загрузке шаблона теста в формате Excel тип вопроса определяется автоматически на основе анализа допустимых вариантов ответа. Будьте внимательны с указанием признака правильности ответа.

Общие рекомендации к составлению вопросов теста

  • Правильных ответов в вопросе может быть любое число от 1 до N, где N – общее число вариантов ответа на данный вопрос.
  • Все варианты ответа также могут быть одновременно правильными. Т.е. вопрос может вообще не содержать ни одного неправильного варианта ответа.
  • Если вопрос содержит ровно один вариант ответа и этот вариант ответа правильный, то такой вопрос трактуется как вопрос с открытым ответом.
  • Если вопрос содержит более одного варианта ответа и ровно один правильный, то такой вопрос трактуется как вопрос с выбором одного варианта ответа.
  • Если вопрос содержит более одного правильного варианта ответа, то такой вопрос трактуется как вопрос с выбором нескольких вариантов ответа.
  • Вопросы с заполненной колонкой "Соответствие" трактуются как вопросы на соответствие / упорядочивание.

Важно!

В силу автоматизированного характера проверки ответов на тесты, необходимо соблюдать следующее условие: каждый вопрос должен иметь по крайней мере один вариант правильного ответа.

Заполнение шаблона теста в формате Excel

Пример правильно заполненного шаблона вы можете скачать по следующей ссылке (для удобства понимания блоки строк каждого вопроса выделены своим цветом):

пример заполненного шаблон теста Studyx

Ниже приведены основные рекомендации по заполнению полей шаблона:

Рис. 5. Внешний вид и структура шаблона теста

  • Название темы (колонка "НАЗВАНИЕ_ТЕМЫ")
    Необходимо указать название тематического блока, к которому относится вопрос.
  • Название урока (колонка "НАЗВАНИЕ_УРОКА")
    Необходимо указать название урока внутри темы, к которому относится вопрос.
  • Текст вопроса (колонка "ТЕКСТ_ВОПРОСА")
    Необходимо указать формулировку вопроса, при этом рекомендуется, чтобы вместе с правильными вариантами ответа формулировка вопроса составляла утвердительное предложение.
  • Вопрос с картинкой (колонка "ВОПРОС_КАРТИНКА")
    Заполняется в случае, если вопрос содержит изображение или полностью представлен не в текстовом формате, а в виде изображения. При этом указывается только имя графического файла, без дополнительных каталогов и т.п. Все графические изображения для загрузки в систему передаются затем в одном общем каталоге.
  • Правильный ответ (колонка "ПРАВ")
    Отметка 1 ставится только напротив правильного варианта ответа (текст ответа – столбец 6). Напротив неправильных вариантов ничего заполнять не требуется.
  • Текст ответа (колонка "ТЕКСТ_ОТВЕТА")
    Необходимо указать формулировку варианта ответа. Каждый вариант ответа указывается на отдельной строке.
  • Соответствие (колонка "СООТВЕТСТВИЕ")
    Заполняется только для вопросов на соответствие / упорядочивание. В колонке "СООТВЕТСТВИЕ" указывается вторая - "правая" - часть ответа (правильной пары). Первая - "левая" - часть ответа (правильной пары) указывается в колонке "ОТВЕТ".
  • Пояснение правильного ответа (колонка "ПОЯСНЕНИЕ_ПРАВИЛЬНОГО")
    Здесь указывается короткое пояснение правильного ответа, которое может быть автоматически показано учащемуся в результатах теста, в случае если был дан неверный или неполный ответ. Пояснение правильного ответа указывается один раз в той же строке, где указывается наименование вопроса.
  • Источник (колонка "ИСТОЧНИК")
    Указывается ссылка на дополнительную информацию / литературу, к которой учащийся может обратиться для более глубокого изучения вопроса. Ссылка указывается один раз в той же строке, где указывается наименование вопроса.
  • Сложность (колонка "СЛОЖНОСТЬ")
    Указывается уровень сложности вопроса в градации от 1 до 10, где 1 – самые простые вопросы, 10 – самые сложные (см. подробнее – «Этап 3. Распределение вопросов по уровням сложности»). Сложность указывается один раз в той же строке, где указывается наименование вопроса.

Важно!

  • Наименование темы в колонке «НАЗВАНИЕ_ТЕМЫ» указывается 1 раз, когда начинаются вопросы новой темы, и не повторяется для новых уроков, вопросов или вариантов ответа в рамках этой темы.
  • Наименование урока в колонке «НАЗВАНИЕ_УРОКА» указывается 1 раз, когда начинаются вопросы нового урока, и не повторяется для новых вопросов и вариантов ответа в рамках этого урока.
  • Первый урок указывается в той же строке, где указывается наименование темы.
  • Наименование вопроса в колонке «ТЕКСТ_ВОПРОСА» указывается 1 раз, когда начинается новый вопрос, и не повторяется для вариантов ответа в рамках этого вопроса.
  • Первый вопрос урока указывается в той же строке, где указывается наименование урока.
  • Первый вариант ответа на вопрос указывается в той же строке, где указывается наименование вопроса.
  • Важно! В силу автоматизированного характера проверки ответов на тесты необходимо соблюдать следующее условие – не только пара в целом, но и в отдельности каждое значение в колонке «ТЕКСТ_ОТВЕТА» и «СООТВЕТСТВИЕ» должны быть уникальными. Недопустимо использование одного и того же значения варианта ответа или соответствия в двух и более парах.

Распределение вопросов по уровням сложности

Существует несколько вариантов распределения вопросов по уровням сложности:

  • Равномерное распределение
    Вопросы распределяются равномерно по уровням сложности, при этом рекомендуется иметь не менее 10 вопросов каждого уровня сложности.
  • Распределение типа «Пирамида»
    Допускается коррекция количества вопросов в форме «пирамиды», когда более сложных вопросов несколько меньше, чем простых (т.к. до сложных доходят гораздо реже). В этом случае рекомендуется следующее соотношение: не менее 6 вопросов высших уровней сложности (9-10), не менее 8 вопросов средних уровней сложности (7-8) и не менее 10 вопросов низших уровней сложности (1-6).
  • Автоматическое распределение
    Возможно автоматическое распределение вопросов по уровням сложности. Для этого проводится первичное тестирование (на выборке участников), и степень сложности вопросов определяется в соответствии с ответами участников. Вопросы, набравшие большинство правильных ответов, считаются самыми простыми, а вопросы с наименьшим числом правильных ответов – самыми сложными.

Работа с ошибками

Поскольку заполненный шаблон импортируется автоматизированными средствами, смысловые ошибки и опечатки не будут найдены.

Возникающие при импорте шаблона ошибки доводятся до сведения заказчика, их устранение рекомендуется проводить на уровне заполненного шаблона, а не в базе данных, чтобы избежать логических ошибок.

Найденные после успешного импорта опечатки и другие мелкие неточности корректируются на уровне базы данных.

Комментарии (0)