Preview

Информатика и образование

Расширенный поиск

Использование методов искусственного интеллекта для оценки компетенций в ходе тестирования

https://doi.org/10.32517/0234-0453-2023-38-6-75-85

Аннотация

Согласно современным стандартам высшего образования (ФГОС 3++) обучение направлено на формирование у выпускника набора универсальных, общепрофессиональных и профессиональных компетенций. В связи с этим возникает задача оценки уровня их сформированности. Поскольку компетенция является мультидисциплинарным понятием, для ее оценки требуется конструировать задание, моделирующее реальную ситуацию, при выполнении которого могут потребоваться комплексные знания и навыки, относящиеся к разным областям знаний. Одним из современных инструментов текущего и итогового контроля является компьютерное тестирование. В этом случае в ходе одного сеанса тестирования желательно оценить сразу несколько компетенций при ограниченном количестве заданий. Задача является актуальной, поскольку в используемых в настоящее время классических одномерных одно-, двух- и трехпараметрических моделях Раша—Бирнбаума предполагается, что все задания в тесте относятся к одной области знаний.

Цель статьи — предложить методику интеллектуальной оценки нескольких компетенций по итогам одного сеанса тестирования, основанную на модификации алгоритма Байеса, в которой выбор следующего задания проводится в результате анализа энтропии (неопределенности) отнесения испытуемого к типовым комбинациям (паттернам) уровней подготовленности по разным компетенциям.

Разработана оригинальная методика регуляризации алгоритма Байеса на основе оценки изменения энтропии распределения вероятностей по паттернам и дивергенции Кульбака—Лейблера, которая позволяет выявить момент, когда испытуемый дает ответ, не соответствующий тому, что от него ожидают, исходя из анализа предыдущих ответов. Предложенная методика не только повышает устойчивость байесовского алгоритма измерения вероятности принадлежности студента к заданному паттерну за счет некоторого увеличения необходимого количества заданий, но и позволяет смоделировать действия экзаменатора в процессе оценки компетенций. В целом разработанный подход дает возможность объективной оценки уровней сформированности нескольких компетенций по результатам одного тестирования.

Об авторах

В. Н. Гусятников
Саратовский государственный технический университет имени Гагарина Ю. А.
Россия

Гусятников Виктор Николаевич, доктор физ.-мат. наук, профессор, профессор кафедры «Информационно-коммуникационные системы и программная инженерия», Институт прикладных информационных технологий и коммуникаций

Саратов



Т. Н. Соколова
Саратовская государственная юридическая академия
Россия

Соколова Татьяна Николаевна, канд. экон. наук, доцент, доцент кафедры информационного права и цифровых технологий

Саратов



А. И. Безруков
Саратовский государственный технический университет имени Гагарина Ю. А.
Россия

Безруков Алексей Иосифович, канд. экон. наук, доцент, доцент кафедры «Информационно-коммуникационные системы и программная инженерия», Институт прикладных информационных технологий и коммуникаций

Саратов



И. В. Каюкова
Саратовский государственный технический университет имени Гагарина Ю. А.
Россия

Каюкова Инна Викторовна, аспирант кафедры «Информационно-коммуникационные системы и программная инженерия», Институт прикладных информационных технологий и коммуникаций

Саратов



Список литературы

1. Маслак А. А. Теория и практика измерения латентных переменных в образовании: монография. М.: Юрайт; 2022. 255 с. EDN: RFKEIY.

2. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей; 2000. 168 с.

3. Ким В. С. Тестирование учебных достижений: монография. Уссурийск: УГПИ; 2007. 215 с. EDN: QWGVHH.

4. Аванесов В. С. Item response theory: основные понятия и положения. Педагогические измерения. 2007;(2):3–28. Режим доступа: https://testolog.narod.ru/Theory59.html

5. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос; 2002. 432 с.

6. McDonald R. P. A basis for multidimensional item response theory. Applied Psychological Measurement. 2000;24(2):99–114. DOI: 10.1177/01466210022031552.

7. Ackerman T. A., Gierl M. J., Walker C. M. Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice. 2003;22(3):37–53. DOI: 10.1111/j.1745-3992.2003.tb00136.x.

8. Bartolucci F. A class of multidimensional IRT models for testing unidimensionality and clustering items. Psychometrika. 2007;72(2):141–157. DOI: 10.1007/s11336-005-1376-9.

9. Freeman L. Assessing model-data fit for compensatory and non-compensatory multidimensional item response models using Vuong and Clarke statistics. Theses and Dissertations. University of Wisconsin, Milwaukee, US, 2016:1366. Available at: https://dc.uwm.edu/etd/1366

10. Fox J. P., Entink R. K., Avetisyan M. Compensatory and non-compensatory multidimensional randomized item response models. British Journal of Mathematical and Statistical Psychology. 2014;67(1):133–152. DOI: 10.1111/bmsp.12012.

11. Карданова Е. Ю. Доказательство применимости политомической модели Г. Раша. Вестник Новгородского государственного университета. 2006;(39):13–15. EDN: MNJEKL.

12. Попов А. П. Новое направление в компьютерном тестировании. Наука и мир. 2013;(1(1)):38–46. EDN: RQCKTZ.

13. Wu M., Davis R. L., Domingue B. W., Piech C., Goodman N. D. Variational item response theory: Fast, accurate, and expressive. Proc. of the 13th Int. Conf. on Educational Data Mining. Montreal, Canada, 2020:257–268. DOI: 10.48550/arXiv.2002.00276.

14. Reckase M. D. Multidimensional item response theory. Springer New York, US; 2009. 349 p. DOI: 10.1007/978-0-387-89976-3.

15. Дворяткина С. Н. Интеграция фрактальных и нейросетевых технологий в педагогическом контроле и оценке знаний обучаемых. Вестник Российского университета дружбы народов. Серия: Психология и педагогика. 2017;14(4):451–465. EDN: ZRKOGH. DOI: 10.22363/2313-1683-2017-14-4-451-465.

16. Куравский Л. С., Юрьев Г. А., Ушаков Д. В., Юрьева Н. Е., Валуева Е. А., Лаптева Е. М. Диагностика по тестовым траекториям: метод паттернов. Экспериментальная психология. 2018;11(2):77–94. EDN: TKLBMZ. DOI: 10.17759/exppsy.2018110206.

17. Liu Y., Hu G., Cao L., Wang X., Chen M.-H. A comparison of Monte Carlo methods for computing marginal likelihoods of item response theory models. Journal of the Korean Statistical Society. 2019;48(4):503–512. DOI: 10.1016/j.jkss.2019.04.001.

18. Соколова Т. Н., Гусятников В. Н., Безруков А. И., Каюкова И. В. Методика оценки набора компетенций на основе результатов тестирования. Фундаментальные исследования. 2020;(12):209–215. EDN: IHYEON. DOI: 10.17513/fr.42935.

19. Гусятников В. Н., Соколова Т. Н., Безруков А. И., Каюкова И. В. Адаптивная модель тестирования нескольких компетенций на основе алгоритма Байеса. Современные наукоемкие технологии. 2022;(1):40–46. EDN: KPDACI. DOI: 10.17513/snt.39007.

20. Кульбак С. Теория информации и статистики. М.: Наука; 1967. 408 с.


Рецензия

Для цитирования:


Гусятников В.Н., Соколова Т.Н., Безруков А.И., Каюкова И.В. Использование методов искусственного интеллекта для оценки компетенций в ходе тестирования. Информатика и образование. 2023;38(6):75-85. https://doi.org/10.32517/0234-0453-2023-38-6-75-85

For citation:


Gusyatnikov V.N., Sokolova T.N., Bezrukov A.I., Kayukova I.V. Use of artificial intelligence methods to assess competencies during testing. Informatics and education. 2023;38(6):75-85. (In Russ.) https://doi.org/10.32517/0234-0453-2023-38-6-75-85

Просмотров: 342


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 0234-0453 (Print)
ISSN 2658-7769 (Online)