Проблемы, возникающие в интеллектуальных обучающих системах при оценке ответов на естественном языке
| Parent link: | Современные проблемы науки и образования.— , 2005- № 2, ч. 2.— 2015.— [11 c.] |
|---|---|
| Main Author: | |
| Corporate Authors: | , |
| Other Authors: | , |
| Summary: | Заглавие с экрана Исследуются возможности системы автоматической оценки свободных ответов на естественном языке, работающей по модели «мешок слов» («bag of words») с использованием Википедии и Рутеза в качестве лингвистических баз знаний. Показано, что этих ресурсов недостаточно для качественной оценки знаний, и необходимо дополнительно разрабатывать онтологию учебного курса. Выявлена необходимость учёта не только состава ключевых слов в тексте, но и грамматических связей между ними. Экспериментально выявлены проблемы, связанные с дублированием или недостаточностью информации в эталоне, что приводит к существенному занижению оценки студенческих ответов. Показано, что возникновения данной ситуации можно избежать следующим образом: 1) эталонный ответ должен содержать полную релевантную вопросу информацию без дублирования; 2) преподавателю следует разбивать эталон на совокупность компонентов, каждый из которых выражает одну законченную мысль и имеет собственную оценку важности; 3) необходимо автоматически определять значимость ключевых слов в компонентах эталона и в ответе студента; 4) в случае неполного ответа система должна генерировать дополнительные вопросы по компонентам эталона, которые не были освещены в ответе студента. В этом случае конечная оценка формируется на основе всех ответов студента на первоначальный и дополнительные вопросы. In this paper, we explore the capabilities of the free-text answer grading system based on “bag of words” model with Wikipedia and Ruthes as linguistic knowledge bases. We show that these resources alone are not sufficient for efficient knowledge assessment and development of additional course ontology is needed. It was found necessary to extract grammatical relations between key words instead of using pure “bag of words” model. Experimentally we found problems connected with redundancy or lack of information in a model answer that lead to significant grade drop. Our suggestions on solving these problems are: 1) reference answer should be complete and only contain relevant information; 2) teacher should split the reference answer into a set of components each representing a complete statement and having its own estimated weight; 3) weight of words in student and reference answers should be estimated by system; 4) in case of incomplete student answer the system should be able to generate additional questions on reference answer components skipped by student. In this case, final grade is based on all of the student answers to main and additional questions. Режим доступа: по договору с организацией-держателем ресурса |
| Published: |
2015
|
| Series: | Технические науки |
| Subjects: | |
| Online Access: | http://www.science-education.ru/ru/article/view?id=23255 http://elibrary.ru/item.asp?id=24921050 |
| Format: | Electronic Book Chapter |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=647349 |