АРХИТЕКТУРА И ОСНОВНЫЕ ФУНКЦИОНАЛЬНЫЕ ВОЗМОЖНОСТИ АВТОМАТИЗИРОВАННОЙ СИСТЕМЫ ИНТЕРАКТИВНОГО КОНТРОЛЯ ЗНАНИЙ «АРГУС-М»

Приходько Максим Александрович, к.ф.-м.н., Институт Государственного управления, Права и Инновационных технологий, доцент кафедры Прикладной информатики

Автоматизированная система интерактивного контроля знаний «Аргус-М» (далее Система «Аргус-М») разрабатывается с 2006 года к.ф.-м.н., доцентом кафедры Прикладной информатики факультета Информационных технологий Института Государственного Управления, Права и Инновационных технологий М. А. Приходько (Рис. 1).

Рис. 1. Автоматизированная система интерактивного контроля знаний «Аргус-М»

Система «Аргус-М» функционирует в среде Интернет, реализована в виде клиент-серверного PHP-приложения. Функционирует на Apache-сервере и использует для хранения исходных данных, контрольно-методических материалов и результатов тестирования СУБД MySQL. При необходимости система может быть развернута на единственном компьютере и функционировать без доступа в Интернет, а также в локальной сети. Ознакомиться с работой системы можно, посетив сайт http://www.argusm.com

Основной информационной единицей Системы «Аргус-М» является вопрос. Множество вопросов имеет 4-уровневую иерархическую структуру (вопрос – тема – подраздел – раздел), поддерживающую объединение вопросов в темы, а также многофункциональные разделы более высоких уровней, что позволяет, в частности, проводить мультидисциплинарные аттестации без дополнительного вмешательства в наполнение множества вопросов. Поддерживается использование произвольного числа вариантов ответа на вопрос, в том числе произвольного числа правильных вариантов ответа на вопрос, а также ответа специального вида – «среди приведенных вариантов нет правильного». В Системе «Аргус-М» реализована автоматизированная обработка обоих случаев, когда вариант ответа с формулировкой «среди приведенных вариантов нет правильного» сам по себе может быть как правильным, так и неправильным. Реализована возможность ввода своего варианта ответа в ходе аттестации.

Система «Аргус-М» обеспечивает возможность использования четырех видов вопросов:

  • с выбором одного правильного варианта ответа;
  • с выбором нескольким правильных вариантов ответа;
  • на соответствие (упорядочивание);
  • с вводом произвольного текстового ответа.

Главным отличием Системы «Аргус-М» от существующих на сегодня аналогов является механизм формирования аттестационного задания и прохождения аттестации. В Системе «Аргус-М» отсутствует понятие «тест» как раз и навсегда заранее заданный набор вопросов с вариантами ответов. Аттестационное задание – набор вопросов и вариантов ответов – формируется динамически и индивидуально для каждого аттестующегося в момент начала прохождения аттестации. Аттестационное задание формируется на основе набора правил, объединенных в «Схему аттестации». В общей сложности процесс формирования аттестационного задания и прохождения аттестации определяет более 30 параметров, наиболее важными из которых являются:

  • описание области множества вопросов, из которой будет формироваться аттестационное задание;
  • правила выбора конкретных вопросов из заданной области;
  • ограничения на число вопросов и состав вариантов ответов;
  • временные и другие ограничения;
  • правила навигации по аттестационному заданию и отображения хода аттестации;
  • ограничения доступа к аттестации.

Такая схема формирования аттестационного задания позволяет:

  • формировать как полностью идентичные, так и абсолютно различные аттестационные задания в рамках одной аттестации;
  • формировать различные аттестационные задания как в случае групповой аттестации, так и в случае повторного прохождения аттестации одним участником;
  • использовать адаптивные методы формирования аттестационного задания;
  • контролировать результаты аттестации как конкретного участника, так и группы в целом, а также использовать аналитические механизмы в любой момент времени, в том числе в ходе аттестации;
  • обеспечивать «обратную связь» с пользователем и организатором аттестации непосредственно в ходе аттестации.

В ходе аттестации в аттестационное задание вносятся данные участником аттестации ответы, а также вся информация о ходе аттестации – пропуски вопросов, время просмотра вопросов, попытки изменения ответа и многое другое. А́ргус (греч. Άργος), прозванный Паноптес, то есть всевидящий – персонаж греческой мифологии. Система контроля знаний «Аргус-М» по праву носит свое название, предлагая преподавателю уникальные возможности по сбору, обработке и анализу информации о ходе аттестации (Рис. 2).

Рис. 2. Страница аттестации с общими результатами контроля знаний

Реализованные в Системе «Аргус-М» архитектурные решения исключают такое понятия как «проверка работ», которое до сих пор присутствует в некоторых системах контроля знаний – полная информация о результатах прохождения аттестации как отдельного участника, так и группы в целом, в том числе отметка и аналитические отчеты, доступны в любой момент времени с самого начала аттестации. Отметка за аттестацию выставляется автоматически на основании набора правил, объединенных в «Схему оценивания». Поддерживается оценивание по системе «зачет/незачет», а также с выставлением отметки по 5-бальной шкале. Выбор отметки может производиться на основе фиксированных пороговых значений, а также на основе пороговых значений, выраженных в процентах от максимально возможного результата. Поддерживается оценивание с учетом лучшего показанного в аттестации результата, фиксированного лучшего результата, а также на основе лучшего результата, показанного в другой аттестации. При оценивании результатов аттестации учитываются полнота ответа и грубость ошибки (Рис. 3).

Рис. 3. Расшифровка результатов контроля знаний конкретного участника

Все действия пользователя в Системе «Аргус-М» полностью протоколируются встроенной системой обеспечения безопасности (Рис. 4). Это позволяет выявлять недобросовестные действия участников аттестации, а также обнаруживать, протоколировать и блокировать возможные атаки извне всех основных типов (SQL-инъекция, PHP-инъекция, межсайтовый скриптинг).

Рис. 4. Встроенная система безопасности

Аналитическая подсистема позволяет формировать ведомость и всесторонне анализировать результаты участников аттестации, в том числе производить:

  • анализ сложности заданных вопросов и сложности тем (в абсолютном и процентном соотношении правильных и неправильных ответов, Рис. 5);

Рис. 5. Анализ сложности / качества вопросов

  • статистический анализ ответов на вопросы (выявление наиболее частых ошибок) для конкретной аттестации и среди всех аттестаций в целом (Рис. 6);

Рис. 6. Анализ частотности ответов на вопрос

  • анализ времени, затраченного на аттестацию в целом и каждый из вопросов в среднем (Рис. 7);

Рис. 7. Анализ времени, затраченного на аттестацию и каждый из вопросов

  • анализ цепочек одинаковых ответов, данных в течение короткого промежутка времени, и выявление групп участников, участвующих в одной или более цепочках (Рис. 8).

Рис. 8. Анализ цепочек одинаковых ответов

Система «Аргус-М» отвечает требованиям, предъявляемым к автоматизированным системам интерактивного контроля знаний, используемым в традиционных учебных заведениях [1].

В Системе «Аргус-М» реализованы автоматизированные средства контроля над временными ограничениями как по моменту начала и завершения аттестации, так и по ее длительности (как всей аттестации в целом, так и времени, отведенного для ответа на один вопрос), механизмы онлайн-мониторинга, предоставляющие полную информацию о прохождении аттестации как отдельным участником, так и группой в целом не только после завершения аттестации, но и в любой текущий момент, средства управления ходом аттестации, в том числе:

  • аннулирование предыдущих результатов аттестации, которое в данном случае равносильно уменьшению числа использованных попыток на единицу;
  • возможность предоставления дополнительных попыток по запросу пользователя.

Необходимость таких механизмов обусловлена возникающей на практике ситуацией, когда аттестация аварийно завершается без возможности ее продолжить. Это может произойти по вине студента, например из-за нажатия кнопки завершения тестирования или закрытия браузера, либо по техническим причинам – из-за разрыва связи или сбоя в работе браузера. В любом из этих случаев при ограниченном числе разрешенных попыток требуется оперативное вмешательство для обеспечения возможности пройти аттестацию еще раз.

Среди дополнительных функций, необходимость наличия которых показала опытная эксплуатация [1], в Системе «Аргус-М» также реализованы:

  • промежуточный этап дополнительной идентификации пользователя, когда ему перед непосредственным прохождением аттестации предлагается еще раз подтвердить (без дополнительного ввода имени пользователя и пароля или любой другой информации) корректность его аутентификации системой;
  • механизм принудительной активации учетной записи администратором или организатором аттестации (по запросу пользователя).

Данные механизмы призваны решать проблемы, возникающие в ходе использования в специфичных условиях контроля знаний в учебном заведении традиционной формы обучения широко распространенных интернет-технологий – автоматизации процесса идентификации пользователя в системе с помощью технологии cookies и активации учетной записи с помощью электронной почты. Использование технологии cookies направлено в первую очередь на индивидуализацию отображения информации веб-сайтов, что не вызывает серьезных проблем в условиях пользования персональным компьютером. Тогда как в традиционных учебных заведениях с групповой формой обучения пользоваться компьютером, доступным студенту, обычно может целая группа людей. В этом случае любая сохраненная в cookies информация теоретически может не относиться к тому, кто в данный конкретный момент за компьютером находится. Все вместе это приводит к «некорректной» идентификации пользователя – в силу собственной невнимательности садящийся за компьютер учащийся на основе информации, хранящейся в cookies, идентифицируется как последний работавший с системой учащийся, не завершивший свою сессию. Избежать этого в Системе «Аргус-М» помогает явная демонстрация учащемуся информации о текущем активном пользователе непосредственно перед прохождением аттестации.

Подтверждение «реальности» учетной записи посредством ее активации с применением электронной почты на общем фоне работы с интернет-системой играет незначительную, «бытовую» роль и важно только в самом начале (в ходе первоначальной регистрации). Эта роль кардинально меняется, если регистрации в интернет-системе контроля знаний производится непосредственно перед аттестацией. В этом случае успех активации учетной записи становится критичным фактором, определяющим саму возможность прохождения аттестации, так как решающую роль в условиях ограниченного времени начинает играть длительность задержки, проходящей от момента регистрации до фактического получения письма с инструкциями по активации учетной записи. Как показывает практика, реальная длительность такой задержки может составлять как менее одной минуты, так и более нескольких часов. А случаи потери писем – не гипотетически, а практически возможны. Кроме того, сам участник аттестации может указать адрес электронной почты с ошибкой. В любом из этих случаев для обеспечения возможности пройти аттестацию (и просто авторизоваться в системе) требуется оперативное вмешательство организатора аттестации.

Наиболее интересная проблема «коллективного знания» (обмена вариантами ответов между студентами) решена двумя способами:

  • формированием аттестационного задания так, чтобы состав вопросов отличался от участника к участнику;
  • формированием аттестационного задания так, чтобы состав вариантов ответов на один и тот же вопрос отличался от участника к участнику.

Оба подхода могут использоваться в Системе «Аргус-М» как самостоятельно, так и в комплексе (одновременно).

Еще одним механизмом борьбы с «коллективным разумом» является аппарат цепочек – одинаковых ответов, данных на один и тот же вопрос в течение короткого интервала времени. Максимально допустимый временной интервал между соседними ответами цепочки называется шагом цепочки. Использование аппарата цепочек позволяет не только выявлять последовательности одинаковых ответов на тот или иной ответ с малыми интервалами между ними, но и на основании цепочек делать вывод о наличии групп участников (Рис. 9), «коллективно» проходящих аттестацию. В Системе «Аргус-М» реализована функция динамического обнаружения цепочек и выявления групп для произвольного шага цепочки.

Рис. 9. Анализ цепочек и выявление групп

В Системе «Аргус-М» реализован механизм интеллектуального online-мониторинга хода аттестации как отдельного участника, так и группы в целом, позволяющий отображать любую информацию в полном объеме в любой момент времени. Отличительной особенностью данного механизма является наличие прогностических элементов, например, в ходе аттестации для каждого участника отображается не только фактическая оценка, которая может быть ему выставлена на основании текущих результатов, но и прогнозируемая оценка, которая будет выставлена в случае сохранения участником аттестации динамики ее прохождения.

В Системе «Аргус-М» реализован механизм защиты результатов контроля знаний как от попыток несанкционированного изменения, так и от недобросовестных действий участников аттестации, в том числе

  • механизм защиты от раскрытия точных формулировок правильных ответов;
  • механизм защиты от раскрытия информации о правильности/неправильности варианта ответа;
  • механизм защиты от раскрытия набора ответов, гарантирующих определенную оценку;
  • механизм защиты от возможного изменения варианта ответа для вопроса, на который ответ уже был дан (Рис. 10);

Рис. 10. Выявление недобросовестных действий участников аттестации

  • механизм защиты от нерегламентированной навигации по системе во время прохождения аттестации;
  • механизм защиты результатов контроля знаний от попыток несанкционированного изменения без использования системы (т. е. от «взлома» данных системы злоумышленником извне).

Защита от различных способов заведомого улучшения результатов аттестации реализована разграничением прав на просмотр информации об аттестации и ее результатах. Защита от попыток несанкционированного изменения результатов аттестации осуществляется встроенной системой безопасности, обнаруживающей, протоколирующей и блокирующей внешние атаки типа SQL-инъекция, PHP-инъекция, межсайтовый скрпитинг.

За время своего существования Система «Аргус-М» использовалась для официальных аттестаций в Московском Государственном Лингвистическом Университете (МГЛУ), Московском Государственном Горном Университете (МГГУ), Институте Государственного Управления, Права и Инновационных технологий (ИГУПИТ) и Московской Финансово-Промышленной Академии (МФПА). В общей сложности было проведено более 30 аттестаций по дисциплинам «Базы данных», «Проектирование информационных систем», «Высокоуровневые методы программирования», «Открытые системы», «Английский язык», «Язык программирования С++».

Многолетний опыт применения Системы «Аргус-М» доказал эффективность ее использования в условиях ВУЗа, следствием которого в том числе стало повышение интереса студентов к учебе.

Библиография

1. Крупский А. Ю., Приходько М. А. Опыт использования автоматизированной системы интерактивного контроля знаний «Аргус-М» в Институте Государственного Управления, Права и Инновационных Технологий. Качество дистанционного образования: концепции, проблемы, решения (EDQ-2008). Материалы X Международной научно-практической конференции 5декабря 2008 г. – М.: МГИУ, 2008. Сс. 141-144.

Comments (0)