Исследователи создают программное обеспечение CERT для отслеживания выражений лица человека

​«Эта работа является частью более широких усилий по разработке программного обеспечения искусственного интеллекта для обучения студентов информатики», говорит доктор Kristy Boyer, доцент кафедры компьютерных наук штата Северная Каролина. «Программа, JavaTutor, будет указывать не только на то, что студент знает, и определит чувства разочарования или ангажированности каждого студента. Это важно, поскольку исследования показывают, что эмоции студентов играют важную роль в процессе обучения».



Исследователи протестировали автоматизированные Computer Expression Recognition Toolbox (CERT) – программы для оценки выражений лица на 65 студентах колледжа, которые занимаются обучением языка онлайн один на один. Исследователи обнаружили, что CERT смогла идентифицировать мимику лица, связанную с выражением эмоций человека, таких как разочарование или концентрация. Выводы автоматизированной программы согласуются с экспертными оценками человека.

Исследователи использовали данные наблюдений программы CERT, учитывая самооценку студентов и полученных результатов испытания для разработки моделей, которые могли бы предсказать, насколько эффективно прошел урок. Испытания  основывались на восприятии программой выражения лица учащихся, после чего она показывала чувства каждого студента, а именно чувство расстройства или ангажированности.

«Эта работа дает непосредственный толчок для следующего этапа развития системы JavaTutor. Это позволит программе обеспечить когнитивный процесс  и распознавание эмоций на основе обратной связи для студентов», говорит Joseph Grafsgaard, студент штата Северная Каролина и ведущий автор статьи.

Доклад о проделанной работе под названием «Automatically Recognizing Facial Expression: Predicting Engagement and Frustration» будет представлен на конференции International Conference on Educational Data Mining, которая пройдет с 6 по 9 июля в Мемфисе, штат Теннеси.