References

infojournal

Информатика и образование

Informatics and education

0234-04532658-7769

Publishing House Education and Informatics

10.32517/0234-0453-2024-39-4-41-50

infojournal-1123

Research Article

ПЕДАГОГИЧЕСКИЙ ОПЫТ

PEDAGOGICAL EXPERIENCE

Сравнение показателей восприятия игрового чат-бота с заданиями-головоломками для обучения программированию с показателями восприятия других образовательных инструментов

Comparison of perception indicators of the gaming chatbot with puzzles tasks for teaching programming with perception indicators of other educational tools

https://orcid.org/0000-0003-3416-7645

Варнавский

А. Н.

Varnavsky

A. N.

Варнавский Александр Николаевич - канд. тех. наук, доцент, доцент департамента компьютерной инженерии.

Москва

Alexander N. Varnavsky - Candidate of Sciences (Engineering), Docent, Associate Professor at the School of Computer Engineering.

Moscow

avarnavsky@hse.ru

Национальный исследовательский университет «Высшая школа экономики»РоссияNational Research University Higher School of EconomicsRussian Federation

2024

25102024

3944150

2024

Варнавский А.Н.

Varnavsky A.N.

Данная работа распространяется под лицензией Creative Commons Attribution 4.0.

This work is licensed under a Creative Commons Attribution 4.0 License.

https://info.infojournal.ru/jour/article/view/1123

Цифровое игровое обучение (англ. Digital Game-Based Learning, DGBL), или обучение на основе цифровых игр, может быть очень эффективным. Однако не все цифровые образовательные инструменты одинаково эффективны в различных образовательных ситуациях, для обучающихся разного уровня подготовки и разных изучаемых дисциплин.

Целью статьи является сравнение увлекательности, сложности и воспринимаемой полезности игрового чат-бота с заданиямиголоволомками, предназначенного для обучения программированию, с аналогичными показателями других образовательных инструментов.

Для проведения исследования были разработаны и использованы в процессе обучения программированию игровой чат-бот с заданиями-головоломками, работающий в индивидуальном и командном режимах, компьютерная игра, а также неигровой чат-бот для подготовки к семинарам и тестирования. Студенты 1-го курса бакалавриата направления подготовки «Информационная безопасность» факультета информационных технологий и анализа больших данных Финансового университета при Правительстве Российской Федерации использовали эти цифровые образовательные инструменты, а затем оценивали их увлекательность, сложность и полезность.

По результатам исследования сделано несколько выводов. Во-первых, использование игровых механик и игрового чат-бота с заданиями-головоломками значительно повышает интерес к образовательному инструменту, поэтому игровой чат-бот имеет преимущества перед играми и неигровыми чат-ботами. Во-вторых, оценка увлекательности игрового чат-бота превысила соответствующую оценку семинаров. При этом для студентов оказался одинаково интересен, полезен и сложен как индивидуальный, так и командный режим игрового чат-бота. Следовательно, игровой чат-бот можно использовать как вне аудитории, так и в аудиторных занятиях. В-третьих, если заложить в чат-бот игровые задания разных типов, в том числе связанные с написанием программного кода, то это повысит полезность чат-бота.

Результаты исследования вносят вклад в развитие обучения на основе цифровых игр с использованием чат-ботов, в частности, при преподавании информатики и программирования, а также могут помочь повысить увлекательность семинаров и вовлеченность студентов в процесс обучения в целом. Полученные результаты могут представлять практический интерес для преподавателей информатики и программирования.

Digital Game-Based Learning (DGBL) can be very effective. However, not all digital educational tools are equally effective in different learning situations, for learners of various backgrounds and various disciplines.

The aim of the article is to compare the attractiveness, complexity and perceived usefulness of a gaming chatbot with puzzle tasks designed to teach programming with the same indicators of other educational tools.

To conduct the study, a gaming chatbot with puzzle tasks, working in individual and team modes, a computer game, as well as a non-gaming chatbot for preparing for seminars and testing were developed and used in the process of teaching programming. The 1st year bachelor’s students of the educational program “Information Security” of the Faculty of Information Technology and Big Data Analysis at the Financial University under the Government of the Russian Federation used these digital educational tools and then evaluated their attractiveness, complexity, and usefulness.

Several conclusions were drawn from the study. First, the use of game mechanics and the gaming chatbot with puzzles tasks significantly increases interest in the educational tool, so gaming chatbot has advantages over games and non-gaming chatbots. Second, the attractiveness evaluation of the gaming chatbot exceeded the corresponding evaluation of workshops. Both individual and team modes of gaming chatbot proved to be equally interesting, useful, and challenging for students. Consequently, the gaming chatbot can be used outside the classroom as well as in classroom activities. Third, if different types of gaming chatbot tasks, including those related to writing program code, are incorporated into the gaming chatbot, it will increase the usefulness of the chatbot.

The results of the study contribute to the development of digital game-based learning using chatbots, particularly in teaching informatics and programming, and can help to increase the attractiveness of workshops and student engagement in general. The findings may be of practical interest to informatics and programming teachers.

обучение на основе цифровых игркомпьютерные игрыувлекательностьсложностьвоспринимаемая полезностьигровой чат-ботпрограммированиезадания-головоломки

digital game-based learningcomputer gamesattractivenesscomplexityperceived usefulnessgaming chatbotprogrammingpuzzles tasks

Публикация подготовлена в ходе/в результате проведения исследования/работы (№ 22-00-052) в рамках Программы «Научный фонд Национального исследовательского университета “Высшая школа экономики” (НИУ ВШЭ)»

The publication was prepared in the course of/as the result of the research/work (grant No 22-00-052) within the framework of the HSE Academic Fund Program

References1

Инамова Г. А., Кодиров З. З. Технология компьютерных игр в процессе обучения. Механика и технология. 2022;(1):181–188.

Inamova G. A., Kodirov Z. Z. Technology of computer games in the learning process. 2022;(1):181–188. (In Russian.)

Zhan Z., He L., Tong Y., Liang X., Guo Sh., Lan X. The effectiveness of gamification in programming education: Evidence from a meta-analysis. Computers and Education: Artificial Intelligence. 2022;3:100096. DOI: 10.1016/J.CAEAI.2022.100096.

Harteveld C., Smith G., Carmichael G., Gee E., StewartGardiner C. A design-focused analysis of games teaching computer science. Proc. of Games+Learning+Society Conf. (GLS10). Pittsburgh, PA, USA, ETC Press; 2014;10:1–8. Available at: http://gailcarmichael.com/sites/default/files/DesignFocusedAnalysisGamesCS.pdf

Setiawan H., Phillipson S. The effectiveness of GameBased Science Learning (GBSL) to improve students’ academic achievement: A meta-analysis of current research from 2010 to 2017. REiD (Research and Evaluation in Education). 2019;5(2):152–168. DOI: 10.21831/REID.V5I2.28073.

Karakoç B., Eryilmaz K., Turan Özpolat E., Yildirim İ. The effect of game-based learning on student achievement: A meta-analysis study. Technology, Knowledge and Learning. 2020;27(1):207–222. DOI: 10.1007/S10758-020-09471-5.

Fadda D., Pellegrini M., Vivanet G., Zandonella Callegher C. Effects of digital games on student motivation in mathematics: A meta-analysis in K-12. Journal of Computer Assisted Learning. 2022;38(1):304–325. DOI: 10.1111/JCAL.12618.

Wang L.-H., Chen B., Hwang G.-J., Wang Y.-Q. Effects of digital game-based STEM education on students’ learning achievement: A meta-analysis. International Journal of STEM Education. 2022;9(1):1–13. DOI: 10.1186/S40594-022-00344-0/TABLES/2.

Hussein M. H., Ow S. H., Loh S. Ch., Thong M. K., Ale Ebrahim N. Effects of digital game-based learning on elementary science learning: A systematic review. IEEE Access. 2019;7:62465–62478. DOI: 10.1109/ACCESS.2019.2916324.

Lei H., Chiu M. M., Wang D., Wang C., Xie T. Effects of game-based learning on students’ achievement in science: A meta-analysis. Journal of Educational Computing Research. 2022;60(6):1373–1398. DOI: 10.1177/07356331211064543.

Mao W., Cui Y., Chiu M. M., Lei H. Effects of game-based learning on students’ critical thinking: A metaanalysis. Journal of Educational Computing Research. 2021;59(8):1682–1708. DOI: 10.1177/07356331211007098.

Lei H., Wang C., Chiu M. M., Chen S. Do educational games affect students’ achievement emotions? Evidence from a meta-analysis. Journal of Computer Assisted Learning. 2022;38(4):946–959. DOI: 10.1111/JCAL.12664.

Vahldick A., Mendes A. J., Marcelino M. J. A review of games designed to improve introductory computer programming competencies. Proc. Frontiers in Education Conf. (FIE). Madrid, Spain, Institute of Electrical and Electronics Engineers Inc.; 2014:1–7. DOI: 10.1109/FIE.2014.7044114.

Miljanovic M. A., Bradbury J. S. A review of serious games for programming. Serious Games. Proc. 4th Joint Int. Conf. JCSG2018. Lecture Notes in Computer Science. Springer, Cham; 2018;11243:204–216. DOI: 10.1007/978-3-030-02762-9_21.

Giannakoulas A., Xinogalos S. A review of educational games for teaching programming to primary school students. Handbook of Research on Tools for Teaching Computational Thinking in P-12 Education. Hershey, PA, USA, Information Science Pub., IGI Global; 2020:1–30. DOI: 10.4018/978-1-7998-4576-8.ch001.

Nickerson R. S. Five down, absquatulated: Crossword puzzle clues to how the mind works. Psychonomic Bulletin & Review. 2011;18(2):217–241. DOI: 10.3758/S13423-011-0069-X.

Murphy M., Spillane K., Cully J., Navarro-Pardo E., Moret-Tatay C. Can word puzzles be tailored to improve different dimensions of verbal fluency? A report of an intervention study. The Journal of Psychology. 2016;150(6):743–754. DOI: 10.1080/00223980.2016.1182887.

Brooker H., Wesnes K. A., Ballard C., Hampshire A., Aarsland D., Khan Z., Stenton R., McCambridge L., Corbett A. An online investigation of the relationship between the frequency of word puzzle use and cognitive function in a large sample of older adults. International Journal of Geriatric Psychiatry. 2019;34(7):921–931. DOI: 10.1002/GPS.5033.

Harrison-Dening K. “Use it or lose it”: The relationship between the frequency of word puzzle use and cognitive function. Evidence Based Nursing. 2020;23(4):104. DOI: 10.1136/EBNURS-2019-103165.

Gaikwad N., Tankhiwale S. Crossword puzzles: Self-learning tool in pharmacology. Perspectives on Medical Education. 2012;1(5–6):237–248. DOI: 10.1007/S40037-012-0033-0.

Nirmal L., Muthu M. S., Prasad M. Use of puzzles as an effective teaching-learning method for dental undergraduates. International Journal of Clinical Pediatric Dentistry. 2020;13(6):606–610. DOI: 10.5005/JP-JOURNALS-10005-1834.

Okonkwo C. W., Ade-Ibijola A. Chatbots applications in education: A systematic review. Computers and Education: Artificial Intelligence. 2021;2:100033. DOI: 10.1016/J.CAEAI.2021.100033.

Pérez J. Q., Daradoumis T., Puig J. M. M. Rediscovering the use of chatbots in education: A systematic literature review. Computer Applications in Engineering Education. 2020;28(6):1549–1565. DOI: 10.1002/CAE.22326.

Garcia Brustenga G., Fuertes-Alpiste M., MolasCastells N. Briefing paper: Chatbots in education. Barcelona, Spain, eLearn Center, Universitat Oberta de Catalunya; 2018. 32 p. DOI: 10.7238/elc.chatbots.2018.

Benotti L., Martínez M. C., Schapachnik F. A tool for introducing computer science with automatic formative assessment. IEEE Transactions on Learning Technologies. 2018;11(2):179–192. DOI: 10.1109/TLT.2017.2682084.

Katchapakirin K., Anutariya C. An architectural design of ScratchThAI: A conversational agent for computational thinking development using Scratch. Proc. 10th Int. Conf. on Advances in Information Technology (IAIT ‘18). New York, USA, Association for Computing Machinery; 2018:1–7. DOI: 10.1145/3291280.3291787.

Verleger M., Pembridge J. J. A pilot study integrating an AI-driven chatbot in an introductory programming course. Proc. of IEEE Frontiers in Education Conf. (FIE 2018). San Jose, CA, USA, Institute of Electrical and Electronics Engineers Inc.; 2018: 1–4. DOI: 10.1109/FIE.2018.8659282.

Sakakibara A., Hosobe H. A video game-like approach to supporting novices in learning programming. Proc. 8th Int. Conf. “Learning and Collaboration Technologies: Games and Virtual Environments for Learning” (LCT 2021). Berlin, Heidelberg, Germany, Springer-Verlag; 2021;12785:84–93. DOI: 10.1007/978-3-030-77943-6_6.

Lin Y.-H., Tsai T. A conversational assistant on mobile devices for primitive learners of computer programming. Proc. IEEE Int. Conf. on Engineering, Technology and Education (TALE 2019). Yogyakarta, Indonesia, Institute of Electrical and Electronics Engineers Inc.; 2019:1–4. DOI: 10.1109/TALE48000.2019.9226015

Lin Y.-H. Chatbot script design for programming language learning. Proc. IEEE 5th Eurasian Conf. on Educational Innovation (ECEI 2022). Taipei, Taiwan, Institute of Electrical and Electronics Engineers Inc.; 2022:123–125. DOI: 10.1109/ECEI53102.2022.9829460.

Варнавский А. Н. Использование игрового чат-бота для развития навыков алгоритмического и логического мышления. Информатика и образование. 2024;39(2):48–58. EDN: KEMTKP. DOI: 10.32517/0234-0453-2024-39-2-48-58.

Varnavsky A. N. Using the gaming chatbot to develop algorithmic and logical thinking skills. Informatics and Education. 2024;39(2):48–58. (In Russian.) EDN: KEMTKP. DOI: 10.32517/0234-0453-2024-39-2-48-58.

The authors declare that there are no conflicts of interest present.