Методы оценки эффективности дистанционного обучения

Востребованность дистанционного обучения (ДО), по данным ЮНЕСКО, уже сейчас в России достаточно высока как среди взрослого населения, так и среди детей, особенно подростков. Во время ограничений, связанных с профилактикой распространения коронавирусной инфекции COVID-19, представители многих сфер жизнедеятельности столкнулись с необходимостью перейти на формат дистанционного обучения.

Внедрение ДО в учебный процесс образовательной организации – одна из самых актуальных педагогических тем, обсуждаемых в ряду инноваций, которые затрагивают систему образования.

Запуск дистанционного обучения в компании – проект довольно дорогостоящий [1]. Чтобы оценить целесообразность затрат на него, необходимо разработать систему показателей эффективности СДО. Среди таковых можно выделить:

• общие (характеризуют функционирование дистанционного обучения в компании как части общей системы обучения);
• частные организационные;
• показатели качества, восходящие к понятию педагогической эффективности.

На качество образовательных услуг влияют внешние и внутренние факторы. Для определения качества обучения используют сформированные требования, которые направлены на определение особенностей каждого компонента обучения.

1. Компонент материально-технического обеспечения дистанционного обучения. Подобный компонент акцентирован на определение состояния и характеристик компьютеров и сетевого оборудования.
2. Компонент учебного материала. На данном этапе изучается и оценивается учебные планы и программы.
3. Компонент индивидуальных образовательных программ. Оцениваются требования к учебной деятельности, которые представлены в виде компетенций по предметам или по тематическим блокам предметов, которыми должны овладеть обучающиеся.
4. Компонент качества индивидуальных учебных достижений обучающихся. Данный компонент призван обеспечить обратную связь и собрать информацию, позволяющую оценить эффективность процесса дистанционного обучения.
5. Компонент системы самоконтроля и самооценки обучающихся. Через контроль качества учебных материалов может быть учтено влияние авторов учебных материалов на качество обучения.

Один из самых популярных методов оценки дистанционного обучения считается модель уровней оценки знаний:

1. Первый уровень – реакция. Уровень отвечает на вопрос, понравилось ли учащимся обучение. Оценка проводится при помощи интервьюирования или фокус-групп.
2. Второй уровень – обучение. Данный уровень показывает, насколько усвоены полученные знания. Для оценки используются тестирование или опрос.
3. Третий уровень – поведение. Уровень поведения описывает изменения поведения участников обучения. Реальность применения полученных знаний на предполагаемом рабочем месте. Оценки данного уровня проводится с помощью наблюдения и контрольного листа поведения.
4. Четвертый уровень – результаты. Результативность обучения рассказывает об экономической результативности обучения. Оценивается при помощи замеров начальных показателей и конечных.
5. Пятый уровень: ROI. Его позже разработал Джек Филлипс. На данном уровне рассчитывается величина возврата вложенных средств и анализ результатов вложения в данное обучение.

Данная модель повсеместно используется для расчета эффективности дистанционного обучения сотрудников в бизнес-компаниях. Но также модель весьма успешно может быть применена в качестве оценки дистанционного обучения в образовательном учреждении.

В мировом опыте оценку обучения чаще всего проводят двумя способами.

Первый способ акцентирован на постоянном мониторинге и проведении оценки на всех этапах обучения. Подобный способ позволяет выявить и исправить недочеты в организации обучения, курсе и самом процессе обучения. Постоянный мониторинг позволяет добавить недостающие компоненты, что в итоге способствует выстраиванию учебного процесса под потребности учеников.

Для оценки первого уровня методики, можно использовать нижеперечисленные методы:

• Анкетирование. Традиционный метод оценки эффективности обучения – обратная связь его участников и заказчиков. Проводится по окончании урока или между модулями. Ученикам требуется пройти онлайн тестирование с вопросами об удовлетворенности обучения.
• Опрос. Его можно разместить, к примеру, на известной платформе Moodle. В опросе можно использовать интересующие вопросы по курсу с несколькими вариантами ответов и предоставить всем ученикам доступ к данному опроснику.

Второй способ предполагает оценку конечного результата обучения, а точнее, оценку по завершении обучения. Как правило, проводятся заключительные тестирования.

Для оценки второго уровня используются следующие методы:

• Тестирование. Как и другие формы проверки знаний (такие как практические задания или упражнения), тестирование позволяет измерить качество усвоенной информации из учебного курса. Считается полезным проводить тестирование в два этапа – сразу после обучения и через некоторое время, для оценки остаточных знания. Тест даст понимание того, насколько была усвоена и закреплена информация из курса.
• Сравнение качества обучения контрольных групп. Подразумевается сравнение эффективности дистанционного обучения путем сравнения двух групп участников. Первая категория участников будет обучена путем традиционного очного обучения, а вторая с помощью дистанционного. В конце обучения проводится тестирование, после которого сравниваются полученные знания у двух групп участников. Подобные данные могут быть использованы для оценки влияния обучения на уровень развития навыков. Это могут быть такие характеристики как объемы продаж, количество допускаемых ошибок, число жалоб от клиентов и пр. [2]
• Анализ влияния обучения на бизнес-цели компании. Данный способ оценки эффективности обучения считается довольно сложным, так как требуется оценить связь обучающих курсов с показателями уровня удовлетворенности клиентов и сотрудников, качеством выпускаемой продукции или предоставляемых услуг и прочих. Трудность заключается в том, что отделить результаты обучения от влияния множества других факторов считается долгим процессом и несет неточные результаты.
• Бенчмаркинг. Суть бенчмаркинга заключается в сравнении ключевых показателей эффективности с аналогичными показателями у конкурентов, особенно у лидеров отрасли. Главной сложностью считается сложность получения сведения о программе обучения сотрудников и ее результатах. Однако такие данные изредка озвучиваются на специализированных конференциях или упоминаются в профильных изданиях [3].
• Метод инцидентов. Суть метода наследована из практики инженерной психологии: в случаях возникновения нетипичных вопросов, производится специальный анализ проблемы. Он включает несколько подпроцессов: выяснение обстоятельств появления сложностей, рассмотрение действий участников, поиск оптимального выхода из ситуации. Так же анализируются причины явления и найденное решение, способы грамотного поведения в аналогичных ситуациях закрепляются в документации. Подобный подход позволяет фиксировать возможные технические трудности, возникающие при пользовании учебным порталом, и способы их устранения, а также передавать коллегам актуальный опыт. Составленной документацией удобно пользоваться как новому, так и опытному администратору [4].

В заключение, можно сказать, что рассмотрение обучение с помощью дистанционных технологий не как замену традиционному очному, а как предоставление дополнительных возможностей имеет массу плюсов.