В рамках федерального проекта «Кадры для цифровой экономики» национальной программы «Цифровая экономика Российской Федерации» по запросу АНО ВО «Университет Иннополис» компания Detech реализовала проект по разработке алгоритма оценки компетенций на основе анализа текстов (эссе, устных выступлений) участников оценки.
Цель проекта: разработать алгоритм оценки цифровых компетенций на основе анализа текстов (алгоритм ОКАТ).
Этапы проекта:
- Анализ модели цифровых компетенций, предложенной «Университетом Иннополис».
- Разработка методики анализа текстов с целью определения уровня развития компетенций участников оценки.
- Пилотная оценка участников (6000 человек) с целью апробации разработанного алгоритма ОКАТ, сопоставления оценок по компетенциям, полученным с помощью алгоритма ОКАТ с оценкой личностных черт и потенциала оцениваемых к проявлению данных компетенций.
Результаты проекта:
В рамках проекта была использована разработанная сотрудниками Университета Иннополис и Института перспективных исследований и цифровых решений в сфере науки и образования РУДН модель цифровых компетенций педагогических работников для 6 сфер профессиональной деятельности педагогических работников общеобразовательных организаций и организаций СПО:
- Применение цифровых продуктов и цифровых образовательных ресурсов — использование отраслевых цифровых продуктов в профессиональной деятельности; оценивание цифровых продуктов с точки зрения их эффективности/целесообразности применения; внедрение новых цифровых продуктов в деятельность; анализ результатов внедрения цифрового продукта.
- Воспитание личности в условиях цифровой среды — обучение правилам безопасного, этичного и корректного поведения в цифровом пространстве.
- Цифровая дидактика — адаптация методики преподавания с учетом применения цифровых технологий преподавания, подбор цифровых инструментов для организации взаимодействия с обучающимися.
- Оценка и учебная аналитика — использование цифровых инструментов для оценки и последующей аналитики результатов освоения обучающимися образовательной программы. 5. Инклюзивность и индивидуализация — учет специфики особых образовательных потребностей (ООП) обучающихся.
- Цифровая безопасность и культура работы с данными — работа с персональными данными и соблюдение правил цифровой безопасности.
-
Проведенный анализ модели компетенций показал, что она может быть использована для оценки, при этом с точки зрения развития темы цифровых компетенций и их использования нужно отметить следующее:
- Ряд компетенций, называемых «цифровыми», по сути представляют собой разновидность «общих» компетенций, адаптированных в большей или меньшей степени к цифровой среде, например:
- Обучает учащихся правилам безопасного поведения в цифровом пространстве.
- Соблюдает нормы этичного поведения в цифровой среде.
- Обладает навыком критической оценки полученной информации.
- Использует цифровые технологии для саморазвития.
Очевидно, что соблюдение этических норм или критическая оценка полученной информации необходимы вне зависимости от того, происходит все в цифровой среде или вне ее.
- Каждая компетенция должна быть ясно и однозначно определена через поведенческие индикаторы.
- Важно точно обозначать границы уровней развития компетенции.
- Необходима разработка методик оценки цифровых компетенций, которые сочетали бы в себе, с одной стороны, простоту использования, а, с другой стороны, необходимый уровень валидности и надежности.
Далее нами была разработан алгоритм оценки компетенций на основе анализа текстов. Для этого был применен подход, основанный на выделении в текстах смысловых единиц, характерных для описания той или иной компетенции. Например, при написании текста, касающегося компетенции, связанной с оценкой знаний обучающихся, будет характерным использование следующих слов: «оценка», «оценивание», «экзамен», «тест», «тестирование» и т.п.
Затем с помощью данного алгоритма была проведена оценка 6000 эссе участников тестирования, в которых им было предложено дать рекомендации своему начинающему коллеге. Анализ позволил определить, какие компетенции чаще всего фигурировали в эссе участников, первую пятерку среди 17 оцениваемых компетенций составили следующие:
- Разрабатывает образовательный контент с использованием различных цифровых инструментов и ресурсов.
- Использует отраслевые и специализированные цифровые продукты в профессиональной деятельности.
