Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке; Современные наукоемкие технологии; № 1, ч. 1
| Parent link: | Современные наукоемкие технологии: научный журнал.— , 2004- № 1, ч. 1.— 2016.— [С. 38-44] |
|---|---|
| Autor principal: | |
| Corporate Authors: | , |
| Outros Autores: | , |
| Resumo: | Заглавие с экрана В настоящей статье делается обзор зарубежных и отечественных работ, посвящённых оценке свободно-конструируемых ответов на естественном языке. С целью классификации обозреваемые системы были разделены на группы, которые отличаются друг от друга принципом представления и анализа текста эталона и ответа обучаемого: 1. Создание шаблонов, представляющих в усечённом виде ключевые слова в ответном тексте. 2. Представление текста в виде неупорядоченного множества ключевых слов (т. н. «мешок слов» – «bag of words»). 3. Учёт синтаксических или семантических связей слов в предложении. Показано, что системы с первым типом оценки ответов открытого типа дают качественные и предсказуемые результаты при условии учёта в шаблоне всех возможных формулировок правильного ответа. Однако выполнение этого условия приводит к перегрузке преподавателя из-за необходимости осуществления большого объёма подготовительных работ. Для систем второго типа характерна проблема, связанная с моделью «мешок слов»: можно сформулировать ответ из ключевых слов, соответствующих эталону, который получит высокую оценку, будучи при этом совершенно бессмысленным. Показано, что системы контроля, относящиеся к третьей группе оценки свободных ответов, отстают по своему качеству от других систем. Указаны проблемы, которые необходимо решить, чтобы они заняли лидирующее положение относительно других рассмотренных групп. In this article we review intelligent tutoring systems with automatic free-text answer grading. Free-text answer tasks is one of the most natural knowledge assessment forms familiar to both teachers and students. Based on how student answer is compared to reference answer we have classified reviewed systems into groups that use following approaches: 1. Template-based approach. 2. «Bag of words» approach. 3. Use of relations between words in text and their roles and functions in it. It is shown that the first group systems have predictable high quality results providing the answer template covers all the possible variants of correct student answer. This condition may require a large amount of work from teachers developing the course. Systems using «bag of words» method only take into account the number of key words presented in both student answer and reference answer, which makes it possible to write a meaningless answer using the right words and get high grade for it. Systems of the third group are promising but currently fall behind the other two groups in their efficiency. We have shown some of the problems that need to be solved in order for these systems to be as efficient as others. Режим доступа: по договору с организацией-держателем ресурса |
| Idioma: | russo |
| Publicado em: |
2016
|
| Colecção: | Технические науки |
| Assuntos: | |
| Acesso em linha: | http://top-technologies.ru/ru/article/view?id=35488 http://elibrary.ru/item.asp?id=25510506 |
| Formato: | Recurso Electrónico Capítulo de Livro |
| KOHA link: | https://koha.lib.tpu.ru/cgi-bin/koha/opac-detail.pl?biblionumber=647455 |
MARC
| LEADER | 00000naa0a2200000 4500 | ||
|---|---|---|---|
| 001 | 647455 | ||
| 005 | 20250211160155.0 | ||
| 035 | |a (RuTPU)RU\TPU\network\12595 | ||
| 090 | |a 647455 | ||
| 100 | |a 20160411d2016 k||y0rusy50 ca | ||
| 101 | 0 | |a rus | |
| 102 | |a RU | ||
| 135 | |a drcn ---uucaa | ||
| 181 | 0 | |a i | |
| 182 | 0 | |a b | |
| 200 | 1 | |a Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке |d State and level of the automatic free-text answer grading systems development |f О. Б. Мишунин, А. П. Савинов, Д. И. Фирстов | |
| 203 | |a Текст |c электронный | ||
| 225 | 1 | |a Технические науки | |
| 300 | |a Заглавие с экрана | ||
| 320 | |a [Библиогр.: 47 назв.] | ||
| 330 | |a В настоящей статье делается обзор зарубежных и отечественных работ, посвящённых оценке свободно-конструируемых ответов на естественном языке. С целью классификации обозреваемые системы были разделены на группы, которые отличаются друг от друга принципом представления и анализа текста эталона и ответа обучаемого: 1. Создание шаблонов, представляющих в усечённом виде ключевые слова в ответном тексте. 2. Представление текста в виде неупорядоченного множества ключевых слов (т. н. «мешок слов» – «bag of words»). 3. Учёт синтаксических или семантических связей слов в предложении. Показано, что системы с первым типом оценки ответов открытого типа дают качественные и предсказуемые результаты при условии учёта в шаблоне всех возможных формулировок правильного ответа. Однако выполнение этого условия приводит к перегрузке преподавателя из-за необходимости осуществления большого объёма подготовительных работ. Для систем второго типа характерна проблема, связанная с моделью «мешок слов»: можно сформулировать ответ из ключевых слов, соответствующих эталону, который получит высокую оценку, будучи при этом совершенно бессмысленным. Показано, что системы контроля, относящиеся к третьей группе оценки свободных ответов, отстают по своему качеству от других систем. Указаны проблемы, которые необходимо решить, чтобы они заняли лидирующее положение относительно других рассмотренных групп. | ||
| 330 | |a In this article we review intelligent tutoring systems with automatic free-text answer grading. Free-text answer tasks is one of the most natural knowledge assessment forms familiar to both teachers and students. Based on how student answer is compared to reference answer we have classified reviewed systems into groups that use following approaches: 1. Template-based approach. 2. «Bag of words» approach. 3. Use of relations between words in text and their roles and functions in it. It is shown that the first group systems have predictable high quality results providing the answer template covers all the possible variants of correct student answer. This condition may require a large amount of work from teachers developing the course. Systems using «bag of words» method only take into account the number of key words presented in both student answer and reference answer, which makes it possible to write a meaningless answer using the right words and get high grade for it. Systems of the third group are promising but currently fall behind the other two groups in their efficiency. We have shown some of the problems that need to be solved in order for these systems to be as efficient as others. | ||
| 333 | |a Режим доступа: по договору с организацией-держателем ресурса | ||
| 461 | |t Современные наукоемкие технологии |o научный журнал |d 2004- | ||
| 463 | |t № 1, ч. 1 |v [С. 38-44] |d 2016 | ||
| 510 | 1 | |a State and level of the automatic free-text answer grading systems development |z eng | |
| 610 | 1 | |a электронный ресурс | |
| 610 | 1 | |a труды учёных ТПУ | |
| 610 | 1 | |a семантика | |
| 610 | 1 | |a электронное обучение | |
| 610 | 1 | |a компьютерная лингвистика | |
| 610 | 1 | |a обучающие системы | |
| 700 | 1 | |a Мишунин |b О. Б. |c специалист в области информатики и вычислительной техники |c программист Томского политехнического университета |f 1990- |g Олег Борисович |3 (RuTPU)RU\TPU\pers\33310 |9 17048 | |
| 701 | 1 | |a Савинов |b А. П. |c специалист в области информатики и вычислительной техники |c доцент Томского политехнического университета, кандидат технических наук |f 1943- |g Анатолий Павлович |3 (RuTPU)RU\TPU\pers\25947 |9 11797 | |
| 701 | 1 | |a Фирстов |b Д. И. |c специалист в области информатики и вычислительной техники |c программист Томского политехнического университета |f 1990- |g Дмитрий Игоревич |3 (RuTPU)RU\TPU\pers\33313 |9 17051 | |
| 712 | 0 | 2 | |a Национальный исследовательский Томский политехнический университет |b Институт электронного обучения |b Кафедра технологий и педагогики электронного обучения |3 (RuTPU)RU\TPU\col\20233 |9 27707 |
| 712 | 0 | 2 | |a Национальный исследовательский Томский политехнический университет |b Отдел разработки программных и технических средств электронного обучения |3 (RuTPU)RU\TPU\col\20231 |9 27705 |
| 801 | 2 | |a RU |b 63413507 |c 20160411 |g RCR | |
| 856 | 4 | |u http://top-technologies.ru/ru/article/view?id=35488 | |
| 856 | 4 | |u http://elibrary.ru/item.asp?id=25510506 | |
| 942 | |c CF | ||