infojournalИнформатика и образованиеInformatics and education0234-04532658-7769Publishing House Education and Informatics10.32517/0234-0453-2023-38-6-75-85infojournal-1010Research ArticleПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ И ТЕСТЫPEDAGOGICAL ASSESSMENTS AND TESTSИспользование методов искусственного интеллекта для оценки компетенций в ходе тестированияUse of artificial intelligence methods to assess competencies during testinghttps://orcid.org/0000-0002-8560-4588ГусятниковВ. Н.GusyatnikovV. N.

Гусятников Виктор Николаевич, доктор физ.-мат. наук, профессор, профессор кафедры «Информационно-коммуникационные системы и программная инженерия», Институт прикладных информационных технологий и коммуникаций

Саратов

Victor N. Gusyatnikov, Doctor of Sciences (Physics and Mathe matics), Professor, Professor at the Department “Information and Communication Systems and Software Engineering”, Institute of Applied Information Technologies and Communication

Saratov

victorgsar@rambler.ruhttps://orcid.org/0000-0001-6175-5325СоколоваТ. Н.SokolovaT. N.

Соколова Татьяна Николаевна, канд. экон. наук, доцент, доцент кафедры информационного права и цифровых технологий

Саратов

Tatyana N. Sokolova, Candidate of Sciences (Economics), Docent, Associated Professor at the Department of Information Law and Digital Technologies

Saratov

tnsokol@yandex.ruhttps://orcid.org/0000-0002-8726-6404БезруковА. И.BezrukovA. I.

Безруков Алексей Иосифович, канд. экон. наук, доцент, доцент кафедры «Информационно-коммуникационные системы и программная инженерия», Институт прикладных информационных технологий и коммуникаций

Саратов

Aleksey I. Bezrukov, Candidate of Sciences (Economics), Docent, Associated Professor at the Department “Information and Communication Systems and Software Engineering”, Institute of Applied Information Technologies and Communication

Saratov

bezr_Alex@mail.ruhttps://orcid.org/0000-0002-2691-1756КаюковаИ. В.KayukovaI. V.

Каюкова Инна Викторовна, аспирант кафедры «Информационно-коммуникационные системы и программная инженерия», Институт прикладных информационных технологий и коммуникаций

Саратов

Inna V. Kayukova, a postgraduate student at the Department “Information and Communication Systems and Software Engineering”, Institute of Applied Information Technologies and Communication

Saratov

i.v.kayukova@mail.ruСаратовский государственный технический университет имени Гагарина Ю. А.РоссияYuri Gagarin State Technical University of SaratovRussian FederationСаратовская государственная юридическая академияРоссияSaratov State Law AcademyRussian Federation2023251220233867585Copyright © Гусятников В.Н., Соколова Т.Н., Безруков А.И., Каюкова И.В., 20232023Гусятников В.Н., Соколова Т.Н., Безруков А.И., Каюкова И.В.Gusyatnikov V.N., Sokolova T.N., Bezrukov A.I., Kayukova I.V.This work is licensed under a Creative Commons Attribution 4.0 License.https://info.infojournal.ru/jour/article/view/1010

Согласно современным стандартам высшего образования (ФГОС 3++) обучение направлено на формирование у выпускника набора универсальных, общепрофессиональных и профессиональных компетенций. В связи с этим возникает задача оценки уровня их сформированности. Поскольку компетенция является мультидисциплинарным понятием, для ее оценки требуется конструировать задание, моделирующее реальную ситуацию, при выполнении которого могут потребоваться комплексные знания и навыки, относящиеся к разным областям знаний. Одним из современных инструментов текущего и итогового контроля является компьютерное тестирование. В этом случае в ходе одного сеанса тестирования желательно оценить сразу несколько компетенций при ограниченном количестве заданий. Задача является актуальной, поскольку в используемых в настоящее время классических одномерных одно-, двух- и трехпараметрических моделях Раша—Бирнбаума предполагается, что все задания в тесте относятся к одной области знаний.

Цель статьи — предложить методику интеллектуальной оценки нескольких компетенций по итогам одного сеанса тестирования, основанную на модификации алгоритма Байеса, в которой выбор следующего задания проводится в результате анализа энтропии (неопределенности) отнесения испытуемого к типовым комбинациям (паттернам) уровней подготовленности по разным компетенциям.

Разработана оригинальная методика регуляризации алгоритма Байеса на основе оценки изменения энтропии распределения вероятностей по паттернам и дивергенции Кульбака—Лейблера, которая позволяет выявить момент, когда испытуемый дает ответ, не соответствующий тому, что от него ожидают, исходя из анализа предыдущих ответов. Предложенная методика не только повышает устойчивость байесовского алгоритма измерения вероятности принадлежности студента к заданному паттерну за счет некоторого увеличения необходимого количества заданий, но и позволяет смоделировать действия экзаменатора в процессе оценки компетенций. В целом разработанный подход дает возможность объективной оценки уровней сформированности нескольких компетенций по результатам одного тестирования.

According to modern standards of higher education (FSES 3++), teaching is aimed at developing a set of universal, general professional, and professional competencies in a graduate. In this regard, the problem of assessing the level of their formation arises. Since competence is a multidisciplinary concept, its assessment requires designing a task that simulates a real situation, which may require complex knowledge and skills related to different areas of knowledge. One of the modern tools for current and final control is computer testing. In this case, during one testing session, it is desirable to evaluate several competencies at once with a limited number of tasks. The task is relevant, because in the currently used classical one-dimensional one-, two- and three-parameter Rasch—Birnbaum models, it is assumed that all tasks in the test belong to the same area of knowledge.

The purpose of the article is to propose a methodology for the intellectual assessment of several competencies based on the results of one testing session, based on the modification of the Bayes algorithm, in which the choice of the next task is carried out as a result of analyzing the entropy (uncertainty) of the subject’s attribution to typical combinations (patterns) of preparedness levels for different competencies.

An original technique for regularizing the Bayes algorithm based on the assessment of the change in the entropy of the probability distribution over patterns and the Kullback—Leibler divergence has been developed, which makes it possible to identify the moment when the student gives an answer that does not correspond to what is expected from them, based on the analysis of previous answers. The proposed technique not only increases the stability of the Bayes algorithm for measuring the probability of a student belonging to a given pattern by slightly increasing the required number of tasks but also allows to model the actions of an examiner in the process of competencies assessment. In general, the developed approach makes it possible to objectively assess the levels of formation of several competencies based on the results of single test.

компьютерное тестированиемодель Рашакомпетентностный подходадаптивное тестированиеалгоритм Байесадивергенция Кульбака—Лейблераcomputer testingRasch modelcompetency-based approachadaptive testingBayes algorithmKullback—Leibler divergenceReferencesМаслак А. А. Теория и практика измерения латентных переменных в образовании: монография. М.: Юрайт; 2022. 255 с. EDN: RFKEIY.Maslak A. A. Theory and practice of measuring latent variables in education: Monograph. Moscow, Yurait; 2022. 255 p. (In Russian.) EDN: RFKEIY.Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. М.: Прометей; 2000. 168 с.Neiman Yu. M., Khlebnikov V. A. Introduction to the theory of modeling and parameterization of pedagogical tests. Moscow, Promethey; 2000. 168 p. (In Russian.)Ким В. С. Тестирование учебных достижений: монография. Уссурийск: УГПИ; 2007. 215 с. EDN: QWGVHH.Kim V. S. Testing of learning achievements: Monograph. Ussuriysk, UGPI; 2007. 215 p. (In Russian.) EDN: QWGVHH.Аванесов В. С. Item response theory: основные понятия и положения. Педагогические измерения. 2007;(2):3–28. Режим доступа: https://testolog.narod.ru/Theory59.htmlAvanesov V. S. Item response theory: Basic concepts and provisions. Pedagogicheskiye Izmereniiya. 2007;(2):3–28. (In Russian.) Available at: https://testolog.narod.ru/Theory59.htmlЧелышкова М. Б. Теория и практика конструирования педагогических тестов: учебное пособие. М.: Логос; 2002. 432 с.Chelyshkova M. B. Theory and practice of designing pedagogical tests: Study guide. Moscow, Logos; 2002. 432 p. (In Russian.)McDonald R. P. A basis for multidimensional item response theory. Applied Psychological Measurement. 2000;24(2):99–114. DOI: 10.1177/01466210022031552.McDonald R. P. A basis for multidimensional item response theory. Applied Psychological Measurement. 2000;24(2):99–114. DOI: 10.1177/01466210022031552.Ackerman T. A., Gierl M. J., Walker C. M. Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice. 2003;22(3):37–53. DOI: 10.1111/j.1745-3992.2003.tb00136.x.Ackerman T. A., Gierl M. J., Walker C. M. Using multidimensional item response theory to evaluate educational and psychological tests. Educational Measurement: Issues and Practice. 2003;22(3):37–53. DOI: 10.1111/j.1745-3992.2003.tb00136.x.Bartolucci F. A class of multidimensional IRT models for testing unidimensionality and clustering items. Psychometrika. 2007;72(2):141–157. DOI: 10.1007/s11336-005-1376-9.Bartolucci F. A class of multidimensional IRT models for testing unidimensionality and clustering items. Psychometrika. 2007;72(2):141–157. DOI: 10.1007/s11336-005-1376-9.Freeman L. Assessing model-data fit for compensatory and non-compensatory multidimensional item response models using Vuong and Clarke statistics. Theses and Dissertations. University of Wisconsin, Milwaukee, US, 2016:1366. Available at: https://dc.uwm.edu/etd/1366Freeman L. Assessing model-data fit for compensatory and non-compensatory multidimensional item response models using Vuong and Clarke statistics. Theses and Dissertations. University of Wisconsin, Milwaukee, US, 2016:1366. Available at: https://dc.uwm.edu/etd/1366Fox J. P., Entink R. K., Avetisyan M. Compensatory and non-compensatory multidimensional randomized item response models. British Journal of Mathematical and Statistical Psychology. 2014;67(1):133–152. DOI: 10.1111/bmsp.12012.Fox J. P., Entink R. K., Avetisyan M. Compensatory and non-compensatory multidimensional randomized item response models. British Journal of Mathematical and Statistical Psychology. 2014;67(1):133–152. DOI: 10.1111/bmsp.12012.Карданова Е. Ю. Доказательство применимости политомической модели Г. Раша. Вестник Новгородского государственного университета. 2006;(39):13–15. EDN: MNJEKL.Kardanova E. Yu. Proof of the applicability of G. Rasch’s polytomous model. Vestnik NovSU. 2006;(39):13–15. (In Russian.) EDN: MNJEKL.Попов А. П. Новое направление в компьютерном тестировании. Наука и мир. 2013;(1(1)):38–46. EDN: RQCKTZ.Popov A. P. The recent trends in computer-based testing. Science and World. 2013;(1(1)):38–46. (In Russian.) EDN: RQCKTZ.Wu M., Davis R. L., Domingue B. W., Piech C., Goodman N. D. Variational item response theory: Fast, accurate, and expressive. Proc. of the 13th Int. Conf. on Educational Data Mining. Montreal, Canada, 2020:257–268. DOI: 10.48550/arXiv.2002.00276.Wu M., Davis R. L., Domingue B. W., Piech C., Goodman N. D. Variational item response theory: Fast, accurate, and expressive. Proc. of the 13th Int. Conf. on Educational Data Mining. Montreal, Canada, 2020:257–268. DOI: 10.48550/arXiv.2002.00276.Reckase M. D. Multidimensional item response theory. Springer New York, US; 2009. 349 p. DOI: 10.1007/978-0-387-89976-3.Reckase M. D. Multidimensional item response theory. Springer New York, US; 2009. 349 p. DOI: 10.1007/978-0-387-89976-3.Дворяткина С. Н. Интеграция фрактальных и нейросетевых технологий в педагогическом контроле и оценке знаний обучаемых. Вестник Российского университета дружбы народов. Серия: Психология и педагогика. 2017;14(4):451–465. EDN: ZRKOGH. DOI: 10.22363/2313-1683-2017-14-4-451-465.Dvoryatkina S. N. Integration of fractal and neural network technologies in pedagogical monitoring and assessment of knowledge of trainees. RUDN Journal of Psychology and Pedagogics. 2017;14(4):451–465. (In Russian.) EDN: ZRKOGH. DOI: 10.22363/2313-1683-2017-14-4-451-465.Куравский Л. С., Юрьев Г. А., Ушаков Д. В., Юрьева Н. Е., Валуева Е. А., Лаптева Е. М. Диагностика по тестовым траекториям: метод паттернов. Экспериментальная психология. 2018;11(2):77–94. EDN: TKLBMZ. DOI: 10.17759/exppsy.2018110206.Kuravsky L. S., Yuryev G. A., Ushakov D. V., Yuryeva N. E., Valueva E. A., Lapteva E. M. Diagnostics basing on testing paths: The method of patterns. Experimental Psychology. 2018;11(2):77–94. (In Russian.) EDN: TKLBMZ. DOI: 10.17759/exppsy.2018110206.Liu Y., Hu G., Cao L., Wang X., Chen M.-H. A comparison of Monte Carlo methods for computing marginal likelihoods of item response theory models. Journal of the Korean Statistical Society. 2019;48(4):503–512. DOI: 10.1016/j.jkss.2019.04.001.Liu Y., Hu G., Cao L., Wang X., Chen M.-H. A comparison of Monte Carlo methods for computing marginal likelihoods of item response theory models. Journal of the Korean Statistical Society. 2019;48(4):503–512. DOI: 10.1016/j.jkss.2019.04.001.Соколова Т. Н., Гусятников В. Н., Безруков А. И., Каюкова И. В. Методика оценки набора компетенций на основе результатов тестирования. Фундаментальные исследования. 2020;(12):209–215. EDN: IHYEON. DOI: 10.17513/fr.42935.Sokolova T. N., Gusyatnikov V. N., Bezrukov A. I., Kayukova I. V. Methodology for assessing a set of competencies based on testing results. Fundamental Research. 2020;(12):209–215. (In Russian.) EDN: IHYEON. DOI: 10.17513/fr.42935.Гусятников В. Н., Соколова Т. Н., Безруков А. И., Каюкова И. В. Адаптивная модель тестирования нескольких компетенций на основе алгоритма Байеса. Современные наукоемкие технологии. 2022;(1):40–46. EDN: KPDACI. DOI: 10.17513/snt.39007.Gusyatnikov V. N., Sokolova T. N., Bezrukov A. I., Kayukova I. V. Adaptive model for testing several competencies based on the Bayes algorithm. Modern High Technologies. 2022;(1):40–46. (In Russian.) EDN: KPDACI. DOI: 10.17513/snt.39007.Кульбак С. Теория информации и статистики. М.: Наука; 1967. 408 с.Kulbak S. Information theory and statistics. Moscow, Nauka; 1967. 408 с. (In Russian.)

The authors declare that there are no conflicts of interest present.