Проблемы, возникающие в интеллектуальных обучающих системах при оценке ответов на естественном языке
| Parent link: | Современные проблемы науки и образования.— , 2005- № 2, ч. 2.— 2015.— [11 c.] |
|---|---|
| Hlavní autor: | |
| Korporace: | , |
| Další autoři: | , |
| Shrnutí: | Заглавие с экрана Исследуются возможности системы автоматической оценки свободных ответов на естественном языке, работающей по модели «мешок слов» («bag of words») с использованием Википедии и Рутеза в качестве лингвистических баз знаний. Показано, что этих ресурсов недостаточно для качественной оценки знаний, и необходимо дополнительно разрабатывать онтологию учебного курса. Выявлена необходимость учёта не только состава ключевых слов в тексте, но и грамматических связей между ними. Экспериментально выявлены проблемы, связанные с дублированием или недостаточностью информации в эталоне, что приводит к существенному занижению оценки студенческих ответов. Показано, что возникновения данной ситуации можно избежать следующим образом: 1) эталонный ответ должен содержать полную релевантную вопросу информацию без дублирования; 2) преподавателю следует разбивать эталон на совокупность компонентов, каждый из которых выражает одну законченную мысль и имеет собственную оценку важности; 3) необходимо автоматически определять значимость ключевых слов в компонентах эталона и в ответе студента; 4) в случае неполного ответа система должна генерировать дополнительные вопросы по компонентам эталона, которые не были освещены в ответе студента. В этом случае конечная оценка формируется на основе всех ответов студента на первоначальный и дополнительные вопросы. In this paper, we explore the capabilities of the free-text answer grading system based on “bag of words” model with Wikipedia and Ruthes as linguistic knowledge bases. We show that these resources alone are not sufficient for efficient knowledge assessment and development of additional course ontology is needed. It was found necessary to extract grammatical relations between key words instead of using pure “bag of words” model. Experimentally we found problems connected with redundancy or lack of information in a model answer that lead to significant grade drop. Our suggestions on solving these problems are: 1) reference answer should be complete and only contain relevant information; 2) teacher should split the reference answer into a set of components each representing a complete statement and having its own estimated weight; 3) weight of words in student and reference answers should be estimated by system; 4) in case of incomplete student answer the system should be able to generate additional questions on reference answer components skipped by student. In this case, final grade is based on all of the student answers to main and additional questions. Режим доступа: по договору с организацией-держателем ресурса |
| Jazyk: | ruština |
| Vydáno: |
2015
|
| Edice: | Технические науки |
| Témata: | |
| On-line přístup: | http://www.science-education.ru/ru/article/view?id=23255 http://elibrary.ru/item.asp?id=24921050 |
| Médium: | Elektronický zdroj Kapitola |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=647349 |
MARC
| LEADER | 00000naa0a2200000 4500 | ||
|---|---|---|---|
| 001 | 647349 | ||
| 005 | 20250207105723.0 | ||
| 035 | |a (RuTPU)RU\TPU\network\12488 | ||
| 090 | |a 647349 | ||
| 100 | |a 20160406d2015 k||y0rusy50 ca | ||
| 101 | 0 | |a rus | |
| 102 | |a RU | ||
| 135 | |a drcn ---uucaa | ||
| 181 | 0 | |a i | |
| 182 | 0 | |a b | |
| 200 | 1 | |a Проблемы, возникающие в интеллектуальных обучающих системах при оценке ответов на естественном языке |d Problems of automatic free-text answer grading in intelligent tutoring systems |f О. Б. Мишунин, А. П. Савинов, Д. И. Фирстов | |
| 203 | |a Текст |c электронный | ||
| 225 | 1 | |a Технические науки | |
| 300 | |a Заглавие с экрана | ||
| 320 | |a [Библиогр.: 10 назв.] | ||
| 330 | |a Исследуются возможности системы автоматической оценки свободных ответов на естественном языке, работающей по модели «мешок слов» («bag of words») с использованием Википедии и Рутеза в качестве лингвистических баз знаний. Показано, что этих ресурсов недостаточно для качественной оценки знаний, и необходимо дополнительно разрабатывать онтологию учебного курса. Выявлена необходимость учёта не только состава ключевых слов в тексте, но и грамматических связей между ними. Экспериментально выявлены проблемы, связанные с дублированием или недостаточностью информации в эталоне, что приводит к существенному занижению оценки студенческих ответов. Показано, что возникновения данной ситуации можно избежать следующим образом: 1) эталонный ответ должен содержать полную релевантную вопросу информацию без дублирования; 2) преподавателю следует разбивать эталон на совокупность компонентов, каждый из которых выражает одну законченную мысль и имеет собственную оценку важности; 3) необходимо автоматически определять значимость ключевых слов в компонентах эталона и в ответе студента; 4) в случае неполного ответа система должна генерировать дополнительные вопросы по компонентам эталона, которые не были освещены в ответе студента. В этом случае конечная оценка формируется на основе всех ответов студента на первоначальный и дополнительные вопросы. | ||
| 330 | |a In this paper, we explore the capabilities of the free-text answer grading system based on “bag of words” model with Wikipedia and Ruthes as linguistic knowledge bases. We show that these resources alone are not sufficient for efficient knowledge assessment and development of additional course ontology is needed. It was found necessary to extract grammatical relations between key words instead of using pure “bag of words” model. Experimentally we found problems connected with redundancy or lack of information in a model answer that lead to significant grade drop. Our suggestions on solving these problems are: 1) reference answer should be complete and only contain relevant information; 2) teacher should split the reference answer into a set of components each representing a complete statement and having its own estimated weight; 3) weight of words in student and reference answers should be estimated by system; 4) in case of incomplete student answer the system should be able to generate additional questions on reference answer components skipped by student. In this case, final grade is based on all of the student answers to main and additional questions. | ||
| 333 | |a Режим доступа: по договору с организацией-держателем ресурса | ||
| 461 | |t Современные проблемы науки и образования |d 2005- | ||
| 463 | |t № 2, ч. 2 |v [11 c.] |d 2015 | ||
| 510 | 1 | |a Problems of automatic free-text answer grading in intelligent tutoring systems |z eng | |
| 610 | 1 | |a электронный ресурс | |
| 610 | 1 | |a труды учёных ТПУ | |
| 610 | 1 | |a интеллектуальные системы | |
| 610 | 1 | |a автоматическое выделение | |
| 610 | 1 | |a термины | |
| 610 | 1 | |a семантическая близость | |
| 610 | 1 | |a естественные языки | |
| 700 | 1 | |a Мишунин |b О. Б. |c специалист в области информатики и вычислительной техники |c программист Томского политехнического университета |f 1990- |g Олег Борисович |3 (RuTPU)RU\TPU\pers\33310 |9 17048 | |
| 701 | 1 | |a Савинов |b А. П. |c специалист в области информатики и вычислительной техники |c доцент Томского политехнического университета, кандидат технических наук |f 1943- |g Анатолий Павлович |3 (RuTPU)RU\TPU\pers\25947 |9 11797 | |
| 701 | 1 | |a Фирстов |b Д. И. |c специалист в области информатики и вычислительной техники |c программист Томского политехнического университета |f 1990- |g Дмитрий Игоревич |3 (RuTPU)RU\TPU\pers\33313 |9 17051 | |
| 712 | 0 | 2 | |a Национальный исследовательский Томский политехнический университет |b Институт электронного обучения |b Кафедра технологий и педагогики электронного обучения |3 (RuTPU)RU\TPU\col\20233 |9 27707 |
| 712 | 0 | 2 | |a Национальный исследовательский Томский политехнический университет |b Отдел разработки программных и технических средств электронного обучения |3 (RuTPU)RU\TPU\col\20231 |9 27705 |
| 801 | 2 | |a RU |b 63413507 |c 20160406 |g RCR | |
| 856 | 4 | 0 | |u http://www.science-education.ru/ru/article/view?id=23255 |
| 856 | 4 | 0 | |u http://elibrary.ru/item.asp?id=24921050 |
| 942 | |c CF | ||