Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке
| Parent link: | Современные наукоемкие технологии: научный журнал.— , 2004- № 1, ч. 1.— 2016.— [С. 38-44] |
|---|---|
| Main Author: | |
| Corporate Authors: | , |
| Other Authors: | , |
| Summary: | Заглавие с экрана В настоящей статье делается обзор зарубежных и отечественных работ, посвящённых оценке свободно-конструируемых ответов на естественном языке. С целью классификации обозреваемые системы были разделены на группы, которые отличаются друг от друга принципом представления и анализа текста эталона и ответа обучаемого: 1. Создание шаблонов, представляющих в усечённом виде ключевые слова в ответном тексте. 2. Представление текста в виде неупорядоченного множества ключевых слов (т. н. «мешок слов» – «bag of words»). 3. Учёт синтаксических или семантических связей слов в предложении. Показано, что системы с первым типом оценки ответов открытого типа дают качественные и предсказуемые результаты при условии учёта в шаблоне всех возможных формулировок правильного ответа. Однако выполнение этого условия приводит к перегрузке преподавателя из-за необходимости осуществления большого объёма подготовительных работ. Для систем второго типа характерна проблема, связанная с моделью «мешок слов»: можно сформулировать ответ из ключевых слов, соответствующих эталону, который получит высокую оценку, будучи при этом совершенно бессмысленным. Показано, что системы контроля, относящиеся к третьей группе оценки свободных ответов, отстают по своему качеству от других систем. Указаны проблемы, которые необходимо решить, чтобы они заняли лидирующее положение относительно других рассмотренных групп. In this article we review intelligent tutoring systems with automatic free-text answer grading. Free-text answer tasks is one of the most natural knowledge assessment forms familiar to both teachers and students. Based on how student answer is compared to reference answer we have classified reviewed systems into groups that use following approaches: 1. Template-based approach. 2. «Bag of words» approach. 3. Use of relations between words in text and their roles and functions in it. It is shown that the first group systems have predictable high quality results providing the answer template covers all the possible variants of correct student answer. This condition may require a large amount of work from teachers developing the course. Systems using «bag of words» method only take into account the number of key words presented in both student answer and reference answer, which makes it possible to write a meaningless answer using the right words and get high grade for it. Systems of the third group are promising but currently fall behind the other two groups in their efficiency. We have shown some of the problems that need to be solved in order for these systems to be as efficient as others. Режим доступа: по договору с организацией-держателем ресурса |
| Published: |
2016
|
| Series: | Технические науки |
| Subjects: | |
| Online Access: | http://top-technologies.ru/ru/article/view?id=35488 http://elibrary.ru/item.asp?id=25510506 |
| Format: | Electronic Book Chapter |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=647455 |