Построение систем тестирования на основе сервис-ориентированной архитектуры

Сушков С.А.,
доцент кафедры информационно-коммуникационных
технологий в образовании ПГСГА

В контексте информатизации общества в целом и образования в частности становится актуальной идея компьютерного тестирования, которая напрямую связана с идеей программированного контроля знаний, ставшей реакцией на проблему отсутствия четкого контроля над качеством усвоения материала. При этом если в школе педагог имеет возможность периодически контролировать уровень текущих знаний учеников, то в высшем учебном заведении преподаватель лишь в конце семестра узнает уровень усвоения поданного им материала. В системе высшего образования предполагается, что студенты должны заниматься и самообразованием, но это самостоятельное получение знаний остается целиком и полностью на совести обучающегося, и преподаватель не имеет никакой возможности узнать, кто именно из студентов и как занимается самостоятельно. Решению этой проблемы и призвано помочь компьютерное тестирование.

Развитие телекоммуникационных технологий, в частности глобальной сети Интернет, открыло новые перспективы интеграции тестирующих сред с сетевыми технологиями.

Анализируя практику применения сетевых тестирующих систем, можно заметить их ориентацию на «монолитную» клиент-серверную архитектуру, что в связи с негибкостью указанного подхода накладывает определенные ограничения на интеграцию и дальнейшее использование в информационной структуре образовательного процесса.

Новая концепция организации систем сетевого тестирования предполагает в качестве логической основы сервис-ориентированную архитектуру (SOA).

Организация по распространению открытых стандартов структурированной информации (OASIS) определяет SOA следующим образом (OASIS Reference Model for Service Oriented Architecture v. 1.0): cервис-ориентированная архитектура – это парадигма организации и использования распределенных информационных ресурсов таких как: приложения и данные, находящихся в сфере ответственности разных владельцев, для достижения желаемых результатов потребителем, которым может быть: конечный пользователь или другое приложение. Если рассматривать SOA с технической точки зрения, то – это архитектура приложений, в которой все функции и службы определены при помощи языка описаний и имеют интерфейсы вызова, обращения к которым осуществляются при выполнении бизнес-процессов. Каждое взаимодействие является независимым от всех прочих взаимодействий и внутренних протоколов, обеспечивающих соединение устройств. Поскольку интерфейсы независимы от платформы, клиент может использовать службу, применяя любое устройство, используя любую операционную систему и любой язык.

Система тестирования, базирующаяся на сервис-ориентированной архитектуре, поддерживает типовой для подобного класса систем функционал:

Подготовка тестов – подготовка тестовых заданий различных типов, компоновка тестов, определение стратегии тестирования.
Проведение тестирования – генерация последовательности вопросов в соответствии с выбранной стратегией, организация диалога с пользователем, сохранение результатов тестирования.
Анализ – статистическая обработка результатов тестирования.

Упрощенно структура тестирующей системы на базе сервис-ориентированной архитектуры представляется следующим образом (см. рис.1).

В минимальной конфигурации основной функционал системы реализуется на одном физическом или виртуальном сервере (см. рис.1). В тоже время, система обладает хорошей масштабируемостью, позволяя выносить системы управления базами данных на отдельные физические сервера, а Управление системой тестирования и Веб-сервис логики прохождения тестирования размещать на различных Front-End серверах или в рамках отказоустойчивого кластера. Преимуществом такой структуры является то, что начав эксплуатацию в минимальном тестовом варианте систему можно безболезненно развивать по мере увеличения нагрузки и предъявляемых к ней требований, путем подключая новых вычислительных мощностей.

Основой всей системы является База данных системы тестирования, которая содержит описание основных сущностей, логических связей между ними, информацию о пользователях системы, а также базовые элементы бизнес-логики, затрагивающие вопросы логической целостности базы данных, контроля доступа, формирования типовых представлений.

Все управление системой производится посредством интернет-браузера через web-интерфейс, для этого на сервере на базе Microsoft Internet Information Services функционирует ASP.NET приложение (Управление системой тестирования), которое напрямую работает с Базой данных системы тестирования.

Рис.1. Структурная схема системы тестирования на основе

сервис-ориентированной архитектуры

Функционал и интерфейс системы управления зависит от роли пользователя. В системе предусмотрены четыре базовые роли:

Администратор – назначает роли другим пользователям, управляет конфигурацией системы, выполняет «низкоуровневое» обслуживание Базы данных системы тестирования.
Инспектор-модератор – следит за состоянием банка тестовых заданий, назначает прохождение тестирование, анализирует статистику результатов.
Автор тестов – пользователь, создающий и редактирующий тестовые задания (имеет доступ к отчетам и статистике тестов).
Тестируемый – пользователь с правом выполнять тестовое задание и знакомиться с протоколом (результатом) выполненного теста.

Все пользователи при входе в систему проходят процедуру аутентификации и авторизации. Для этого система обращается к провайдерам аутентификации, которые могут быть внутренними (например, база данных пользователей IIS .NET Users или портала DNN) или внешними (например, паспорт LiveID или открытая децентрализованная система единого входа OpenID).

Веб-сервис логики прохождения тестирования выполнен в соответствии с сервис-ориентированной архитектурой. Этот блок включает весь функционал, относящийся к процессу выполнения тестового задания. Уровень представления, с которым взаимодействует тестируемый пользователь, выполнен в виде отдельного программного приложения, которым может быть как обычное Win32-приложения, так и веб-клиент с использованием технологий ASP.NET, Java, PHP, SilverLight или Flash (см. рис.1).

Приведенная структура позволяет определить основные преимущества сервис-ориентированной архитектуры при организации сетевых систем тестирования:

возможность применения программы-клиента любой архитектуры: от windows- до веб-приложения;
независимость от платформы конечного пользователя (студента, преподавателя, модератора): от настольных до мобильных платформ;
упрощение интеграции новых приложений (в частности систем тестирования) в информационную систему образовательного учреждения через механизм сервисов;
экономия финансовых, временных и трудовых ресурсов в долгосрочной перспективе за счет повторного использования «компонентов», а также из-за гибкости сервис-ориентированной архитектуры;
глобальная доступность системы: как во внутренней сети учебного заведения, так и во внешней сети Интернет.

При создании тестовых заданий часто возникает вопрос организации коллективной работы. Если работа коллектива авторов не отлажена, то, как правило, потом очень трудно обеспечивать семантическое соответствие тестовых заданий, написанных различными преподавателями, устранить дублирование и разночтение в терминологии, что практически не позволяет свести результаты коллективного труда в единый трек тестовых заданий.

Банк тестовых заданий является большой и сложной структурой данных, которой нужно совместно и в то же время эффективно управлять. Перед авторами стоит задача организации грамотной работы с объектами тестовых заданий. Такой подход поможет авторам повторно использовать конструкционные части своего, а также чужого тестового задания с минимальными затратами времени и исключением создания множества клонов одних тех же заданий в общем банке данных. Немаловажным аспектом коллективной разработки является цикличность выпуска новых версий и разработка тестов для проведения модульного и интеграционного тестирования.

В решении данной задачи помогает использование концепции Web 2.0, которая позволяет пользователям одновременно получать информацию из большого количества разных источников, использовать ее и совершенствовать. Web 2.0 позволяет данным работать в качестве самостоятельной субстанции, которую каждый пользователь может изменять или комбинировать с любой целью.

SOA и Web 2.0, технологически развивавшиеся до недавнего времени отдельно друг от друга, теперь все чаще совместно используются для построения информационных систем нового поколения. Такое взаимодействие открывает возможность применения технологий и архитектур на новом функциональном уровне (см. рис.2), которое условно названо Enterprise 2.0 (корпоративными приложениями поколения 2.0).

Рис.2. Взаимодействие SOA и Web 2.0

при создании информационной системы

Главной целью этой концепции является построение приложений уровня предприятия, которые используют достоинства Web 2.0: открытость и социальность. Смысл заключается в том, чтобы дать авторам возможность приносить в организацию новые идеи, публиковать информацию, которая будет доступна всему коллективу пользователей, разрабатывать проекты, работая удаленно друг от друга. Использование технологий Интернета (гибкий поиск, ссылки, свобода авторства, тэги, рекомендации пользователей, RSS) в эпоху Web 2.0 в интранете является главным признаком корпоративного приложения поколения 2.0

Организованная по принципу открытости для обсуждения и постоянного анализа авторским коллективом банка тестовых заданий система сетевого тестирования имеет, кроме прочих позитивных свойств, еще одну положительную сторону: каждый вопрос в системе представляется элементарным учебным объектом и не является двусмысленным, многозначным, неопределенным или зависящим от конкретной научной школы.

Практика показывает, что даже в пределах одной учебной кафедры преподаватели зачастую используют различную терминологию (и требуют того же от студентов). Особенно это распространено в современных, неформализованных областях. Заимствованное из мира объектно-ориентированного программирования слово «объект» говорит о том, что подобный ресурс должен быть модульным и удовлетворять возможностям многократного использования, а также быть способным осуществлять взаимодействие с другими объектами. Идея понятия учебного объекта возникла в результате появления необходимости разбиения больших негибких учебных курсов на некоторые модули меньшего объема, которые будут содержаться в общей распределенной базе данных и иметь возможность многократного и одновременного использования неограниченным количеством пользователей. Один и тот же объект может применяться для достижения различных учебных целей, в разных контекстах и разными преподавателями.

Несмотря на то, что понятие учебных объектов широко используется как в теории, так и на практике, оно строго не определено. Комитет по стандартизации обучающих технологий при Институте инженеров по электротехнике и электронике (IEEE LTSC) в 2000 году предложил следующее рабочее определение учебного объекта: Учебный объект – это любой объект, цифровой или нецифровой, который может использоваться единожды, многократно или на который может быть сделана ссылка во время технологически поддерживаемого обучения. Примерами технологически поддерживаемого обучения могут служить обучающие компьютерные системы и системы сетевого тестирования. Для обеспечения мобильности, интероперабельности, возможности многократного использования разрабатываемых тестов и составляющих их вопросов разработчикам необходимо придерживаться общих стандартов и спецификаций. Возможно, со временем, гармонизация имеющихся подходов к стандартизации будет достигнута под эгидой международного комитета по стандартизации информационных технологий в образовании.

Сейчас же следует признать «де факто» наибольшую распространенность стандартов IMS. Именно на базе этих стандартов строится большинство систем управления обучением (Learning Management System – LMS), поскольку единые стандарты при создании учебно-методического обеспечения (контента) позволяют легко распространять его, а при построении систем управления обучением единообразно его интерпретировать. Спецификация IMS Question and Test Interoperability (Version 1.2.1 Final Specification) определяет стандартный формат и гарантирует интероперабельность для вопросов и тестов в различных компьютерных системах. Программное обеспечение, отвечающее требованиям IMS QTI, позволяет импортировать и экспортировать в этот формат, предоставляя возможность одной системе использовать вопросы и тесты, созданные в других системах. Именно стандартизация электронного обучения позволит повысить его качество и сделать систему образования более эффективной и конкурентоспособной. Стандарт тестирования описывает форматы представления вопросов, настроек тестирования в системах тестирования, способы отображения различных методов тестирования.

Спецификация IMS Question and Test Interoperability принята всеми ведущими производителями систем дистанционного образования, почти все они используют этот формат для обмена тестовыми материалами, а некоторые уже используют его для хранения тестов внутри системы. Главными особенностями этой спецификации является отделение описания от отображения материалов вопроса, поддержка иерархичности теста, подсказок, различные варианты обработки ответа, расширенный набор настроек тестирования, динамического генерирования выборки вопросов исходя из предыдущих ответов, различные способы подсчета оценки и большое количество типов вопросов (уже в IMS QTI версии 1.01 их было 20 типов). Эта спецификация позволяет использовать и описывать различные модели оценки ответов и использовать нестандартные материалы.

Модель удобна для организации системы тестирования по следующим причинам:

Иерархичность объектов модели.
Отделение настроек тестирования от материалов тестов.
Правильные ответы хранятся в виде условных выражений, что позволяет легко записывать правильные ответы для большого подмножества типов вопросов.
Отделение логического типа вопроса от способа его представления.
Общность представления вопроса, что позволяет делать комбинации нескольких типов вопросов.
Модель описана на языке XML.
Спецификация Question and Test Interoperability позволяет постепенный переход на нее. IMS поддерживает облегченную версию спецификации (Version 1.2 Lite- Final Specification)

Для создания переносимых интероперабельных информационных систем необходимо придумать заранее то, что принято называть профилем стандартов, в окружении которых разрабатывается система. Чем правильнее выбран профиль, тем более вероятно увеличить жизненный цикл системы, в ходе которого она будет качественно решать поставленные перед ней задачи.

Унифицированные подходы к проектированию, разработке и функционированию автоматизированных систем будут способствовать решению проблемы освоения работы с ними и грамотной интеграции их в учебный процесс.

Литература:

OASIS Commitees: Service Oriented Architecture (SOA) (http://www.oasis-open.org /committees/tc_cat.php?cat=soa)

IEEE Learning Technology Standards Committee - Working Group 12: Learning Object Metadata (http://ltsc.ieee.org/wg12/)

IMS Question & Test Interoperability Specification (http://imsglobal.org/question/)

Построение систем тестирования на основе сервис-ориентированной архитектуры

Сушков С.А., доцент кафедры информационно-коммуникационных технологий в образовании ПГСГА

Сушков С.А.,
доцент кафедры информационно-коммуникационных
технологий в образовании ПГСГА