Exam-Edu. Система для подготовки и автоматизированной проверки контрольных работ с использованием технологий искусственного интеллекта

1. Что такое система Exam-Edu и для чего она предназначена?

Система Exam-Edu — это программный комплекс, предназначенный для подготовки и автоматизированной проверки контрольных работ в учебных заведениях.

Основная цель системы — оптимизация рутинных задач преподавателей, таких как проверка большого объема работ, и повышение эффективности обучения для студентов за счет быстрой и персонализированной обратной связи.
Система призвана решить проблему низкой посещаемости лекций и пассивности студентов, предлагая частые микроконтрольные работы, ручная проверка которых практически невозможна из-за огромного объема рутинной работы.
Система использует технологии искусственного интеллекта (ИИ) для распознавания рукописных решений студентов, их проверки, выставления объективной оценки и предоставления обратной связи.

2. Какие основные этапы работы системы Exam-Edu?

Работа системы Exam-Edu включает следующие ключевые этапы:

Генерация заданий преподавателем: Преподаватель подготавливает "типовую задачу" с варьируемыми параметрами, что позволяет системе автоматически создавать уникальные, индивидуальные варианты заданий для каждого студента.
Публикация задач: Система публикует созданные персональные экземпляры задач на сайте системы и в базе данных системы.
Доступ к заданиям: Студент получает доступ к своему экземпляру задачи при проведении контрольной работы через сайт системы или через телеграм-бот системы.
Выполнение и загрузка решений учащимися: Студенты выполняют задания в рукописной форме, фотографируют свои решения и загружают их в систему (через сайт, email или Telegram-бота).
Распознавание рукописного текста с использованием ИИ: Система, с помощью LLM-модели (например, Gemini 2.0), преобразует изображения рукописных решений в цифровой текст, включая текст, схемы, графики и формулы.
Проверка и корректировка распознанного текста: Распознанный текст предоставляется студенту для проверки. Студент может внести правки, чтобы обеспечить точность текста перед автоматической проверкой, минимизируя влияние ошибок распознавания.
Автоматическая проверка с использованием ИИ: После подтверждения студентом распознанного текста, система анализирует решение, оценивает правильность, выявляет ошибки и выставляет баллы в соответствии с критериями, заданными преподавателем. Это включает сравнение полученных студентом результатов (промежуточных и финальных) с эталонными значениями.
Предоставление обратной связи учащемуся: Студент оперативно получает результаты проверки, оценку и подробную рецензию с комментариями и рекомендациями.
Предоставление обратной связи преподавателю: Преподаватель получает сводные и детализированные отчеты по результатам контрольных работ, включая рукописи студентов, результаты распознавания и рецензии.

3. Какие материалы преподаватель должен подготовить для системы Exam-Edu?

Для типовой контрольной работы в случае задач с числовыми ответами преподаватель должен подготовить следующие материалы:

Формулировку задания: Само условие задачи.
Образцовое решение задания: Подробное решение, служащее эталоном.
Описание параметров задачи: Включает "входные параметры" (для генерации индивидуальных вариантов, с указанием наименования, обозначения, размерности, возможных значений/диапазонов и количества значащих цифр) и "расчетные параметры" (промежуточные и выходные, с наименованием, обозначением, размерностью, алгебраической и "внутренней" формулами, количеством значащих цифр и признаком обязательной проверки для промежуточных). Для выходных параметров также указывается правило корректной записи результата.
Таблицы допустимых синонимов: Для условных обозначений (например, Uн, Uк, Umax) и размерностей (например, В, Вт, °С).
XLS-таблицу: С описанием параметров задачи для генерации экземпляров и подготовки сравнительных таблиц для автоматического рецензирования.
Описание особенностей рецензирования и выставления оценки: Если таковые имеются для данной типовой задачи.
Списки групп: С фамилиями студентов и их email-адресами для публикации задач.

Для типовой контрольной работы в случае задач вида "Вопрос-ответ" с выбором и обоснованием правильного ответа или для заданий с проверкой правильности текстового ответа на вопрос преподаватель должен предоставить следующие материалы:

Учебные материалы, по которым готовится контрольная работа. Документы с содержанием конспекта лекций или глав учебников в виде pdf или word-документов
Преподавателю будет возвращен для проверки и верфикации xls-документ со списком сгенерированных ИИ вопросов и ответов на вопросы
Преподаватель как эксперт в своей предметной области проверяет вопросы и ответы, верифицируя их (удаляя или редактируя неудачные формулировки в сгенерированных материала)
Верифицированные списки являются источником для генерации индивидуальных контрольных вопросов для контрольных работ с тестами вида Single Choice или опросами вида "Вопрос-Ответ"
Списки групп: С фамилиями студентов и их email-адресами для публикации задач.

4. Как ИИ используется в системе Exam-Edu?

Система Exam-Edu активно использует технологии искусственного интеллекта на нескольких этапах:

Распознавание рукописного текста: Применяется генеративная языковая LLM-модель (например, Gemini 2.0) для точного преобразования изображений рукописных решений студентов в цифровой формат. Это включает распознавание текста, математических формул, схем и графиков.
Автоматическая проверка и оценивание: Специализированные алгоритмы ИИ анализируют распознанное решение студента, сравнивая его с образцовым решением и заранее заданными параметрами. Это позволяет оценить правильность ответа, выявить ошибки (включая логику решения, использованные формулы, округления и единицы измерения) и присвоить баллы.
Рецензирование работ: ИИ-роботы генерируют подробные и краткие рецензии для студентов, предоставляя комментарии, замечания и рекомендации на основе анализа работы. Промпт для рецензии включает в себя формулировку задачи, образцовое решение, распознанное решение студента, таблицу правильных параметров, а также правила интерпретации расхождений и выставления оценки.

5. Какие преимущества система Exam-Edu предоставляет преподавателям и студентам?

Система Exam-Edu предлагает значительные преимущества для всех участников образовательного процесса:

Для преподавателей: Значительная экономия времени за счет автоматизации проверки сотен работ, возможность создания уникальных вариантов заданий, полный контроль над процессом создания и проверки заданий, оперативный доступ к сводным и детализированным отчетам по результатам контрольных работ, и возможность сосредоточиться на более важных педагогических задачах.
Для студентов: Получение индивидуальных заданий, удобный способ представления решений (фото рукописей), оперативная и объективная обратная связь с подробными рецензиями, возможность самоконтроля и корректировки распознанного текста своего решения, что способствует более глубокому и персонализированному обучению.
Для учебных заведений: Оптимизация рутинных задач, повышение эффективности образовательного процесса и обеспечение объективности оценки знаний учащихся.

6. Каковы уникальные особенности Exam-Edu?

Exam-Edu отличается от традиционных методов проверки рядом ключевых особенностей:

Персонализированная генерация заданий: Система создает уникальные варианты для каждого студента, используя варьируемые параметры из типовой задачи, что снижает вероятность списывания.
Распознавание рукописного текста с ИИ: Позволяет студентам выполнять работы традиционным способом (от руки), при этом автоматически преобразуя их в цифровой формат для проверки. Это включает распознавание сложных математических выражений, греческих символов, индексов, схем и графиков.
Объективность оценки: Автоматизированная проверка исключает субъективные факторы, которые могут присутствовать при ручной проверке, основываясь на заранее заданных критериях и алгоритмах ИИ.
Оперативная обратная связь: Студенты получают результаты и рецензии практически мгновенно, что способствует более эффективному обучению и быстрому выявлению пробелов в знаниях.
Проверка не только ответов, но и логики: Система способна анализировать правильность расчетных формул и логику решения, а не только конечные числовые ответы.
Гибкость взаимодействия: Поддерживает различные каналы взаимодействия со студентами, включая электронную почту, статический веб-сайт, а в разработке — динамический веб-сайт, Telegram-бот и мобильное приложение.
Контроль со стороны студентов: Студенты могут проверять и редактировать распознанный текст своих решений, обеспечивая точность оценки.

7. Какова архитектура системы Exam-Edu и как она взаимодействует с LLM?

Архитектура системы Exam-Edu включает несколько ключевых компонентов:

Системное приложение/Приложение администратора: Отвечает за генерацию задач, управление базой данных, регистрацию типовых задач и их параметров, расчет экземпляров задач, привязку задач к студентам и публикацию данных на сайте.
База данных системы: Хранит описания типовых задач, параметры для генерации, экземпляры задач, результаты решений, образцовые ответы, данные студентов и преподавателей.
ИИ-роботы (серверная база данных): Организуют взаимодействие с внешними сервисами (почтовым сервером, LLM, сервером телеграм при использовании телеграм-бота), выполняют распознавание рукописей, рецензирование и публикацию результатов.
LLM (например, Gemini 2.0): Это большая языковая модель, с которой ИИ-роботы взаимодействуют через API. LLM получает промпты (инструкции и данные) для выполнения задач распознавания (фото рукописей) и рецензирования (распознанный текст работы и правила оценки).
Web-сайт системы: Предоставляет студентам доступ к их индивидуальным заданиям, возможность загрузки решений, просмотра распознанного текста и получения рецензий. Для преподавателей доступны отчеты и журналы.
Почтовый сервер @exam-edu.ru: Обеспечивает транспорт для обмена сообщениями между системой, студентами и преподавателями.
Приложения для работы с email и Telegram-бот: обеспечивают пользовательские интерфейсы для удобства студентов и преподавателей.

Взаимодействие с LLM происходит следующим образом:

Для распознавания: ИИ-робот получает фото решения студента, отправляет его в LLM с промптом, описывающим требования к распознаванию. LLM возвращает распознанный текст в формате markdown.
Для рецензирования: Когда студент запрашивает оценку, ИИ-робот отправляет распознанный текст работы в LLM с промптом, содержащим формулировку задачи, образцовое решение, правильные параметры и правила оценки. LLM формирует две рецензии (краткую и полную) и возвращает их ИИ-роботу.

8. Как система Exam-Edu влияет на процесс обучения и функционирование системы?

Внедрение системы Exam-Edu оказывает заметное положительное влияние на процесс обучения, посещаемость лекций и функционирование самой системы.

Влияние на учебный процесс

Повышение посещаемости: Эксперименты показали значительный рост посещаемости лекций (с 30-40% до 50-60% на одном потоке и с 40-50% до 70-80% на другом). Это достигается за счет проведения коротких "микроконтрольных работ" в конце каждой лекции, результаты которых могут учитываться в итоговой аттестации.
Вовлеченность студентов: Цель микроконтрольных работ — не столько оценка знаний, сколько привлечение внимания к материалу лекции, что способствует более активному участию студентов в учебном процессе.
Быстрая адаптация: Студенты быстро осваивают новую форму работы, уже ко второй контрольной работе количество вопросов по организации процесса значительно снижается.
Контроль "долгов": Система позволяет преподавателям контролировать накопление академических задолженностей у студентов и, при необходимости, предоставляет возможность исправлять оценки в течение семестра, что уменьшает объем работы в конце семестра.
Выявление скрытых ошибок: Автоматизированная проверка ИИ-ассистентом способна выявлять ошибки (например, арифметические, ошибки округления, пропуски единиц измерения), которые могут быть пропущены при ручной проверке преподавателем.
Не вытеснение личного общения: Хотя система автоматизирует многие рутинные задачи, она не ставит целью вытеснить общение преподавателя со студентом, а наоборот, освобождает время для более глубокого взаимодействия и персонализированной помощи.

Функционирование системы

Контрольные работы, которые предлагаются для выполнения, представляют собой типовую задачу, но с индивидуальными для студента числовыми данными.

Студент на сайте находит свое индивидуальное задание (или получает задание в телеграм-боте). На листе бумаги от руки выполняет контрольную работу. Фотографирует своим смартфоном лист и со своего электронного адреса в ОСЭП пересылает фото по указанному в задании электронному адресу (или отправляет сообщение в интерфейсе телеграм-бота с фото решения).

ИИ распознает изображение и формирует файл с распознанным текстом в формате markdown. Причем все строки в распознанном тексте нумеруются. Файл преобразуется в html-формат и пересылается студенту ответным сообщением.

Студент сравнивает распознанный текст и свой рукописный. Если ошибок в распознавании нет, то студент посылает команду ИИ оценить работу. ИИ анализирует распознанный текст, выводит оценку, пишет рецензию и рекомендации и отправляет все это студенту.

Если студент обнаружил ошибку при распознавании, то переписывает строку, в которой обнаружена ошибка (при исправлении в начале строки должен быть указан номер строки, заключенный в квадратные скобки), фотографирует исправленную строку и пересылает фото. ИИ заменяет присланную строку в распознанном тексте.

Файл с распознанным текстом, после анализа которого студент посылает запрос на оценку, является документом, подтверждающим факт и содержание выполненной контрольной работы. «Апелляция» студента по поводу оценки за контрольную работу проводится на основе этого файла. Поэтому обращается внимание студента на важность соответствия распознанного текста и рукописного.

По результатам проведения контрольной системное приложение формирует для преподавателя две отчетные таблицы: полную и краткую. В полной таблице содержится вся информация о работе каждого студента: фото рукописи, распознанный текст, рецензии и и время пересылки писем. Краткая таблица содержит фамилии студентов и их оценки. Эта таблица нужна для удобной передачи оценок преподавателям или в БАРС (систему учета успеваемости студентов).

Примеры работы системы

Условие задачи (пример)

Следует обратить внимание, что в условии задачи перечислены обозначения параметров, которые студент должен использовать при написании работы.

Фото решенной задачи (пример)

Распознанный текст

Студент не исправил некорректное распознавание записи формулы в строке [6] (из-за чего получил замечание в рецензии), в строке [8] знак умножения распознан как знак равенства (не влияет на результат, поэтому штрафной балл не начислен).

Оценивание работы

Таблица сравнения и рецензии (пример)

Оценивание работы проводится на основе таблицы сравнения. ИИ сопоставляет данные, полученные студентом, с теми данными, по которым преподаватель определил оценивать работу. Численные значения промежуточных и итоговых результатов в столбце «Известное правильное значение» рассчитываются системным приложением на этапе подготовки индивидуального экземпляра задачи студента, который выполняется перед публикацией индивидуальных задач на сайте системы.

ИИ составляет два варианта рецензии. Для составления этих рецензий ИИ использует одинаковые промпты, отличающиеся лишь тем, что в первом варианте рецензии в промпте указано, что ИИ должен обращать внимание, в первую очередь, на цифровые данные и точность значения в ответах, а во втором варианте рецензии - что в первую очередь необходимо учитывать наличие и правильность расчетных формул, логику и порядок решения, используемых единиц измерений и размерностей и т.д.