infojournalИнформатика и образованиеInformatics and education0234-04532658-7769Publishing House Education and Informatics10.32517/0234-0453-2023-38-2-66-74infojournal-965Research ArticleПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ И ТЕСТЫPEDAGOGICAL ASSESSMENTS AND TESTSСистема контроля знаний и практических навыков по программированиюThe system for automated assessment of knowledge and practical skills in programminghttps://orcid.org/0000-0001-7995-3688ЖуковИ. А.ZhukovI. A.

Жуков Игорь Андреевич, аспирант кафедры теоретических основ информатики, Институт прикладной математики и компьютерных наук

г. Томск

Igor A. Zhukov, a postgraduate student at the Computer Science Theory Department, Institute of Applied Mathematics and Computer Science

Tomsk

IgZhukov963@yandex.ruhttps://orcid.org/0009-0001-3730-8071КостюкЮ. Л.KostyukYu. L.

Костюк Юрий Леонидович, доктор тех. наук, профессор, профессор кафедры теоретических основ информатики, Институт прикладной математики и  компьютерных наук

г. Томск

Yuriy L. Kostyuk, Doctor of Sciences (Engineering), Professor, Professor at the Computer Science Theory Department, Institute of Applied Mathematics and Computer Science

Tomsk

kostyuk.yu48@mail.ruНациональный исследовательский Томский государственный университетРоссияTomsk State UniversityRussian Federation2023030720233826674Copyright © Жуков И.А., Костюк Ю.Л., 20232023Жуков И.А., Костюк Ю.Л.Zhukov I.A., Kostyuk Y.L.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://info.infojournal.ru/jour/article/view/965

В статье описан программный комплекс (система контроля знаний), позволяющий на практике применять новый тип заданий для автоматизированного контроля знаний и навыков по программированию и основанный на конструктивно-выборочном методе. В таких заданиях обучающийся из предложенных компонентов (строк программного кода) составляет ответ (программу), причем задание предполагает множество правильных ответов. Новый тип заданий позволяет контролировать знание ранее изученных алгоритмов и навыки составления программ, дополняя тестирование методом черного ящика. Разработанная система автоматизированного контроля состоит из двух подсистем: «Обработка» и «Демонстрация». Подсистема «Демонстрация», которая является веб-приложением, дает минимально необходимый набор возможностей для применения такого типа заданий в учебном процессе. Также она служит образцом, который может быть использован при разработке расширений для других систем. Подсистема «Обработка» позволяет интегрировать новый тип заданий по программированию в различные системы автоматизированного контроля и LMS, если те предоставляют возможность для расширения. Перед применением нового типа заданий преподаватель вручную или при помощи разработанных авторами инструментов создает шаблон и список компонентов. Алгоритм контроля оценивает соответствие ответа обучающегося шаблону и дает оценку соответствия в интервале [0; 1].

The article describes a software package (automated knowledge assessment system) that allows in practice to apply a new type of tasks for automated control of knowledge and skills in programming, based on a constructive-selective method. In such tasks, the student constructs an answer (program) from the proposed components (lines of program code), and the task involves many correct answers. A new type of task allows assessing the knowledge of previously studied algorithms and skills of writing programs, that complement black-box testing. The developed automated control system consists of two subsystems: “Processing” and “Demonstration”. The “Demonstration” subsystem, which is a web application, provides the minimum necessary set of features for using this type of tasks in the educational process, and it also serves as an example that can be used when developing extensions for other systems. The “Processing” subsystem allows integration of a new type of programming tasks into various automated knowledge assessment systems and LMS, if they provide an opportunity for expansion. A teacher creates manually or using the tools developed by the authors of this article a pattern and a list of components before applying a new type of task. A student makes up the answer (program) from the proposed components (lines of program code). The assessment algorithm evaluates the compliance of the student’s answer with the pattern and assesses compliance in the interval [0; 1].

конструктивно-выборочный методавтоматизированный контроль знанийсистема контроля знанийобучение программированиюconstructive-example methodautomated knowledge controlknowledge control systemprogramming trainingReferencesШумихина М. С., Яшина И. А. СДО Moodle в обучении программированию. Актуальные проблемы авиации и космонавтики. Сборник материалов XIV Международной научно-практической конференции, посвященной Дню космонавтики. 2018;3(4(14)):803–804. EDN: YWPLULShumikhina M. S., Yashina I. A. LMS Moodle in teaching programming. Actual Problems of Aviation and Cosmonautics. Proc. XIV Int. Scientific and Practical Conf. Dedicated to the Day of Cosmonautics. 2018;3(4(14)):803–804. (In Russian.) EDN: YWPLULБарабанова П. С., Лямкин Р. А., Макарова И. С. Разработка электронного курса по программированию для самоподготовки студентов технического вуза. Бюллетень лаборатории математического, естественнонаучного образования и информатизации: материалы Международной научно-практической конференции «Математическое, естественнонаучное образование и информатизация». М.: ГАОУ ВО МГПУ; 2015;6:62–66. EDN: VHJSIBBarabanova P. S., Lyamkin R. A., Makarova I. S. The development of the electronic course on programming for independent learning of technical university students. Bulletin of the Laboratory of Mathematical, Natural Science Education and Informatization: Proc. Int. Scientific and Practical Conf. “Mathematical, Natural Science Education and Informatization”. Moscow, MCU; 2015;6:62–66. (In Russian.) EDN: VHJSIBBiňas M. Version Control System in CS1 course: Practical experience. 2013 IEEE 11th Int. Conf. on Emerging eLearning Technologies and Applications (ICETA). 2013:23–28. DOI: 10.1109/ICETA.2013.6674398Biňas M. Version Control System in CS1 course: Practical experience. 2013 IEEE 11th Int. Conf. on Emerging eLearning Technologies and Applications (ICETA). 2013:23–28. DOI: 10.1109/ICETA.2013.6674398Баженова И. Ю. Особенности обучения языкам программирования при дистанционной форме образования. Современные информационные технологии и ИТобразование. 2014;(10):190–196. EDN: TJTTXFBazhenova I. Yu. Peculiarities of teaching a programming language in the remote form of education. Modern Information Technologies and IT-education. 2014;(10):190–196 (In Russian.) EDN: TJTTXFШагбазян Д. В., Штанюк А. А. Методы контроля знаний студентов вузов по программированию. Поколение будущего: взгляд молодых ученых. Сборник научных статей 4-й международной молодежной научной конференции. Курск: ЗАО «Университетская книга»; 2016;2:119–121. EDN: XDXIKHShagbazyan D. V., Shtanyuk A. A. Methods for knowledge assessment of university students in programming. Generation of the Future: the View of Young Scientists. Collection of Scientific Articles of the 4th Int. Youth Sci. Conf. Kursk, CJCS “University book”; 2016;2:119–121. (In Russian.) EDN: XDXIKHМагомедов А. М., Лавренченко С. А., Ибрагимова З. И. Алгоритм автоматизации создания тестов. Вестник Дагестанского государственного университета. Серия 1: Естественные науки. 2019;34(2):63–71. EDN: CHLRYE. DOI: 10.21779/2542-0321-2019-34-2-63-71Magomedov A. M., Lawrenchenko S. A., Ibragimova Z. I. Algorithm for automating test creation. Herald of Dagestan State University. Series 1. Natural Sciences. 2019;34(2):63– 71. (In Russian.) EDN: CHLRYE. DOI: 10.21779/2542-03212019-34-2-63-71Голанова А. В., Голикова Е. И. Организация итогового контроля знаний по дисциплине «Программирование» будущих бакалавров педагогического образования. XXII Царскосельские чтения. Материалы международной научной конференции. Санкт-Петербург: Ленинградский государственный университет имени А. С. Пушкина; 2018;3:75–79. EDN: YXOZUSGolanova A. V., Golikova E. I. Organization of the final control of knowledge on the discipline “Programming” of future bachelors of teacher education. XXII Tsarskoye Selo Readings. Proc. Int. Sci. Conf. Saint Petersburg, Pushkin Leningrad State University; 2018;3:75–79. (In Russian.) EDN: YXOZUSПерязева Ю. В. Возможности автоматической проверки заданий в LMS Moodle. Современные информационные технологии и ИТ-образование. 2019;15(4):876–885. EDN: BECCUB. DOI: 10.25559/SITITO.15.201904.876-885Peryazeva J. V. Extending moodle functionality with computer-assisted assessment. Modern Information Technologies and IT-education. 2019;15(4):876–885. (In Russian.) EDN: BECCUB. DOI: 10.25559/SITITO.15.201904.876-885Ramos J., Trenas M. A., Gutiérrez E., Romero S. E-assessment of Matlab assignments in Moodle: Application to an introductory programming course for engineers. Computer Applications in Engineering Education. 2013;21(4):728–736. DOI: 10.1002/cae.20520Ramos J., Trenas M. A., Gutiérrez E., Romero S. E-assessment of Matlab assignments in Moodle: Application to an introductory programming course for engineers. Computer Applications in Engineering Education. 2013;21(4):728–736. DOI: 10.1002/cae.20520Карманова Е. В. Автоматизированный контроль при обучении программированию на Python c использованием плагина CodeRunner LMS Moodle. Наука. Информатизация. Технологии. Образование. Материалы XIV международной научно-практической конференции. Екатеринбург: Российский государственный профессионально-педагогический университет; 2021:102–108. EDN: TEDZUFKarmanova E. V. Automated control for teaching programming on the Python using the plugin CodeRunner in LMS Moodle. Science. Informatization. Technologies. Education. Proc. XIV Int. Scientific and Practical Conf. Yekaterinburg, Russian State Vocational Pedagogical University; 2021:102– 108. (In Russian.) EDN: TEDZUFGuo P. J. Online python tutor: Embeddable webbased program visualization for cs education. Proc. 44th ACM Technical Symposium on Computer Science Education (SIGCSE ‘13). New York (United States), Association for Computing Machinery; 2013:579–584. DOI: 10.1145/2445196.2445368Guo P. J. Online python tutor: Embeddable webbased program visualization for cs education. Proc. 44th ACM Technical Symposium on Computer Science Education (SIGCSE ‘13). New York (United States), Association for Computing Machinery; 2013:579–584. DOI: 10.1145/2445196.2445368Gulwani S., Radiček I., Zuleger F. Automated clustering and program repair for introductory programming assignments. Proc. 39th ACM SIGPLAN Conf. on Programming Language Design and Implementation (PLDI 2018). New York (United States), Association for Computing Machinery; 2018:465–480. DOI: 10.1145/3192366.3192387Gulwani S., Radiček I., Zuleger F. Automated clustering and program repair for introductory programming assignments. Proc. 39th ACM SIGPLAN Conf. on Programming Language Design and Implementation (PLDI 2018). New York (United States), Association for Computing Machinery; 2018:465–480. DOI: 10.1145/3192366.3192387Suzuki R., Soares G., Head A., Glassman E., Reis R., Mongiovi M., D’Antoni L., Hartmann B. TraceDiff: Debugging unexpected code behavior using trace divergences. Proc. 2017 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC). Raleigh, NC, IEEE; 2017:107–115. DOI: 10.1109/VLHCC.2017.8103457Suzuki R., Soares G., Head A., Glassman E., Reis R., Mongiovi M., D’Antoni L., Hartmann B. TraceDiff: Debugging unexpected code behavior using trace divergences. Proc. 2017 IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC). Raleigh, NC, IEEE; 2017:107–115. DOI: 10.1109/VLHCC.2017.8103457Reis R., Soares G., Mongiovi M., Andrade W. L. Evaluating feedback tools in introductory programming classes. Proc. 2019 IEEE Frontiers in Education Conf. (FIE). Covington, KY, USA, IEEE; 2019:1–7. DOI: 10.1109/FIE43999.2019.9028418Reis R., Soares G., Mongiovi M., Andrade W. L. Evaluating feedback tools in introductory programming classes. Proc. 2019 IEEE Frontiers in Education Conf. (FIE). Covington, KY, USA, IEEE; 2019:1–7. DOI: 10.1109/FIE43999.2019.9028418Шевелев М. Ю., Вишнякова Л. А., Шевелев Ю. П. Контроль знаний в компьютерном обучении. Неантропоморфный подход. Саарбрюккен: LAP LAMBERT Academic Publishing; 2014. 404 с.Shevelev M. Yu., Vishnyakova L. A., Shevelev Yu. P. Knowledge assessment in e-learning. Non-anthropomorphic approach. Saarbrücken, LAP LAMBERT Academic Publishing; 2014. 404 p. (In Russian.)Жуков И. А., Костюк Ю. Л. Модель представления многовариантных заданий для автоматизированного контроля знаний по программированию. Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2020;(53):110–117. EDN: TERGOW. DOI: 10.17223/19988605/53/11Zhukov I. A., Kostyuk Yu. L Model of representation of multivariate tasks for automated control of programming knowledge. Tomsk State University Journal of Control and Computer Science. 2020;(53):110–117. (In Russian.) EDN: TERGOW. DOI: 10.17223/19988605/53/11]Жуков И. А., Костюк Ю. Л. Расширенный алгоритм контроля знаний для модели представления многовариантных заданий. Вестник Томского государственного университета. Управление, вычислительная техника и информатика. 2021;(57):101–109. EDN: AOWESF. DOI: 10.17223/19988605/57/11Zhukov I. A., Kostyuk Yu. L. An extended assessment algorithm for multivariate task presentation model. Tomsk State University Journal of Control and Computer Science. 2021;(57):101–109. (In Russian.) EDN: AOWESF. DOI: 10.17223/19988605/57/11]

The authors declare that there are no conflicts of interest present.