infojournalИнформатика и образованиеInformatics and education0234-04532658-7769Publishing House Education and Informatics10.32517/0234-0453-2022-37-4-71-79infojournal-862Research ArticleПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ И ТЕСТЫPEDAGOGICAL ASSESSMENTS AND TESTSИнтеллектуальная модель оценки уровня расчетно-алгоритмического компонента вычислительного мышления обучающихсяAn intelligent model to assess the level of the computational algorithmic component of students’ computational thinkinghttps://orcid.org/0000-0001-6960-0408БаженоваИ. В.BazhenovaI. V.

Баженова Ирина Васильевна, канд. пед. наук, доцент базовой кафедры вычислительных и информационных технологий, Институт математики и фундаментальной информатики

г. Красноярск

Irina V. Bazhenova, Candidate of Sciences (Education), Associate Professor at the Basic Department of Computing and Information Technologies, Institute of Mathematics and Fundamental Informatics

Krasnoyarsk

ibagenova@sfu-kras.ruhttps://orcid.org/0000-0003-3657-1019КлунниковаМ. М.KlunnikovaM. M.

Клунникова Маргарита Михайловна, канд. пед. наук, доцент базовой кафедры вычислительных и информационных технологий, Институт математики и фундаментальной информатики

г. Красноярск

Margarita M. Klunnikova, Candidate of Sciences (Education), Associate Professor at the Basic Department of Computing and Information Technologies, Institute of Mathematics and Fundamental Informatics

Krasnoyarsk

mklunnikova@sfu-kras.ruhttps://orcid.org/0000-0002-6271-9243ПакН. И.PakN. I.

Пак Николай Инсебович, доктор пед. наук, профессор, зав. кафедрой информатики и информационных технологий в образовании, Институт математики, физики и информатики

г. Красноярск

Nikolai I. Pak, Doctor of Sciences (Education), Professor, Head of the Department of Informatics and Information Technologies in Education, Institute of Mathematics, Physics and Informatics

Krasnoyarsk

nik@kspu.ruСибирский федеральный университетРоссияSiberian Federal UniversityRussian FederationКрасноярский государственный педагогический университет им. В. П. АстафьеваРоссияKrasnoyarsk State Pedagogical University named after V. P. AstafievRussian Federation2022141120223747179Copyright © Баженова И.В., Клунникова М.М., Пак Н.И., 20222022Баженова И.В., Клунникова М.М., Пак Н.И.Bazhenova I.V., Klunnikova M.M., Pak N.I.This work is licensed under a Creative Commons Attribution 4.0 License.https://info.infojournal.ru/jour/article/view/862

Важность развития вычислительного мышления студентов определяет необходимость создания объективного и валидного способа оценивания его уровня. В связи с этим актуальной является проблема создания универсальной модели диагностики вычислительного мышления на основе математических методов.Цель статьи — разработка модели диагностики расчетно-алгоритмического компонента вычислительного мышления студентов, обеспечивающей возможность автоматизации оценочных процедур и способствующей построению методик развития этой когнитивной способности обучающихся.Диагностика уровня расчетно-алгоритмического компонента вычислительного мышления студента включает оценку его предметных знаний, когнитивных способностей, познавательной активности. В связи с этим выделены три диагностических критерия. Содержательный критерий (СК) определяется знаниями, полученными в результате предметного обучения. Операционный критерий (ОК) представляет собой совокупность выделенных мыслительных стратегий, необходимых для решения задач с использованием компьютеров. Критерий познавательной активности (КПА) является когнитивно-психологическим откликом на познавательный процесс, выражающимся в интенсификации учебной деятельности, направленности на активность, самостоятельность, творческий подход к обучению. По каждому критерию следует установить показатели, обеспечивающие их три оценочных уровня: низкий, средний и высокий. Интегрированная оценка уровня расчетно-алгоритмического компонента вычислительного мышления студента определяется совокупностью значений этих трех критериев.Для принятой диагностической модели разработан метод распознавания уровня вычислительного мышления на основе кластерного анализа. В качестве объекта распознавания выступает обучающийся с информационным вектором (СК, ОК, КПА), веса элементов которого определяются экспертно. Множество студентов с их информационными векторами кластеризуются на три класса: L1 (низкий уровень), L2 (средний уровень), L3 (высокий уровень). Диагностика уровня расчетно-алгоритмического компонента вычислительного мышления конкретного студента заключается в определении его принадлежности к соответствующему классу. Разработанный метод распознавания уровня расчетно-алгоритмического компонента вычислительного мышления студентов был реализован в виде программного продукта. Предложенная оригинальная модель диагностики вычислительного мышления студентов обеспечивает возможность автоматизации оценочных процедур и облегчает процесс интегрированных оценок диагностических характеристик учебного процесса.

Статья представляет интерес для преподавателей и работников учебных управлений университетов, а также способствует развитию теории и практики диагностики образовательных результатов.

The importance of developing students’ computational thinking (CT) determines the need to devise an objective and valid method for assessing its level. In this regard, it is relevant to build a universal model for diagnosing computational thinking on the basis of mathematical methods.

The article aims to develop a model for diagnosing students’ computational algorithmic thinking. This model makes it possible to automate assessment procedures and contributes to developing techniques for enhancing this cognitive ability of learners.

The diagnostic evaluation of students’ computational algorithmic component of CT includes an assessment of their subject knowledge, cognitive abilities, and cognitive activity. In this regard, we identified three diagnostic criteria. The content criterion (CC) is determined by the knowledge acquired through subject-specific learning. The operational criterion (OC) is a set of identified intellectual strategies necessary to solve problems using computers. The cognitive activity criterion (CAC) is a cognitive-psychological response to the cognitive process. It is manifested in the intensification of learning activity, a strong focus on a proactive attitude, independence, and a creative approach to learning. It is necessary to establish indicators to provide three assessment levels for each criterion, namely low, medium, and high. The integrated assessment of the level of the computational algorithmic component of a student’s CT is determined by the total of these three criteria values.

For the adopted diagnostic model, we have developed a method based on cluster analysis to determine the CT level. The object of recognition is a learner with an information vector (CC, OC, CAC). The weights of the vector elements are determined by experts. The array of students with their information vectors is divided into three classes: L1 (low level), L2 (medium level), L3 (high level). The diagnostics of the computational algorithmic component level of a particular student’s CT consists in determining their belonging to the corresponding group.

The method devised to assess the level of the computational algorithmic component of students’ CT was implemented as a software product. The proposed original model for diagnosing students’ CT provides an opportunity to automate assessment procedures. It also facilitates the integrated assessments of the diagnostic characteristics of the learning process.

The materials of this work are of interest to teachers and employees of the educational departments of universities, and also have theoretical significance for the development of the theory and practice of diagnosing educational results.

вычислительное мышлениерасчетно-алгоритмический компонент вычислительного мышлениямодель диагностики вычислительного мышленияcomputational thinkingcomputational algorithmic component of computational thinkingcomputational thinking diagnostic modelРабота выполнена при финансовой поддержке Красноярского краевого фонда поддержки научной и научно-тех- нической деятельности в рамках проекта «Формирование и развитие вычислительного мышления обучаемых на основе автоматизированных и когнитивных средств обучения», код 2021012106985.The study was funded by the Krasnoyarsk Regional Fund for the Support of Scientific and Scientific-Technical Activities, project No 2021012106985 “Formation and development of stu- dents’ computational thinking based on automated and cognitive learning tools”.ReferencesДолганова О. В., Петрова О. О., Шарохина Е. В. Педагогика: конспект лекций. М.: Эксмо; 2008. 190 с.Dolganova O. V., Petrova O. O., Sharoxina E. V. Pedagogy: Lecture notes. Moscow, Eksmo; 2008. 190 p. (In Russian.)Баженова И. В., Клунникова М. М., Пак Н. И., Пушкарева Т. П., Хеннер Е. К. Кластер дисциплин как платформа развития вычислительного мышления студентов: монография. Красноярск: СФУ; 2021. 184 с.Bazhenova I. V., Klunnikova M. M., Pak N. I., Pushkareva T. P., Khenner E. K. Cluster of disciplines as a platform for the development of students’ computational thinking. Krasnoyarsk, SFU; 2021, 184 p. (In Russian.)Wing J. Research notebook: Computational thinking — What and Why? The Link. The Magazine of the Carnegie Mellon University School of Computer Science. Available at: http://www.cs.cmu.edu/link/research-notebook-computational-thinking-what-and-whyWing J. Research notebook: Computational thinking — What and Why? The Link. The Magazine of the Carnegie Mellon University School of Computer Science. Available at: http://www.cs.cmu.edu/link/research-notebook-computational-thinking-what-and-whyLyon J. A., Fennel H. V., Magana A. J. Computational thinking in higher education: A review of the literature. Computer Applications in Engineering Education. 2020;(28):1174–1189. Available at: https://doi.org/10.1002/cae.22295Lyon J. A., Fennel H. V., Magana A. J. Computational thinking in higher education: A review of the literature. Computer Applications in Engineering Education. 2020;(28):1174–1189. Available at: https://doi.org/10.1002/ cae.22295Баженова И. В., Клунникова М. М., Пак Н. И. Школьно-вузовский кластер дисциплин как средство развития расчетно-алгоритмического компонента вычислительного мышления. Информатика и образование. 2021;36(3):42–49. DOI: 10.32517/0234-0453-2021-36-342-49Bazhenova I. V., Klunnikova M. M., Pak N. I. Schooluniversity cluster of disciplines developing the calculativealgorithmic component of computational thinking. Informatics and Education. 2021;36(3):42–49. (In Russian.) DOI: 10.32517/0234-0453-2021-36-3-42-49Baird J. A., Andrich D., Hopfenbeck T. N., Stobart G. Assessment and learning: Fields apart? Assessment in Education: Principles, Policy & Practice. 2017;24(3):317–350. DOI: 10.1080/0969594X.2017.1319337Baird J. A., Andrich D., Hopfenbeck T. N., Stobart G. Assessment and learning: Fields apart? Assessment in Education: Principles, Policy & Practice. 2017;24(3):317–350. DOI: 10.1080/0969594X.2017.1319337Deeley S. J. Using technology to facilitate effective assessment for learning and feedback in higher education. Assessment & Evaluation in Higher Education. 2017;43(3):439– 448. DOI: 10.1080/02602938.2017.1356906Deeley S. J. Using technology to facilitate effective assessment for learning and feedback in higher education. Assessment & Evaluation in Higher Education. 2017;43(3):439– 448. DOI: 10.1080/02602938.2017.1356906Lau A. “Formative good, summative bad?” — A review of the dichotomy in assessment literature. Journal of Further and Higher Education. 2015;40(4):1–17. DOI: 10.1080/0309877X.2014.984600Lau A. “Formative good, summative bad?” — A review of the dichotomy in assessment literature. Journal of Further and Higher Education. 2015;40(4):1–17. DOI: 10.1080/0309877X.2014.984600Шмигирилова И. Б., Рванова А. С., Григоренко О. В. Оценивание в образовании: современные тенденции, проблемы и противоречия (обзор научных публикаций). Образование и наука. 2021;23(6):43–83. DOI: 10.17853/19945639-2021-6-43-83Shmigirilova I. B., Rvanova A. S., Grigorenko O. V. Assessment in education: Current trends, problems and contradictions (review of scientific publications). Education and Science Journal. 2021;23(6):43–83. (In Russian.) DOI: 10.17853/19945639-2021-6-43-83Glaser R. Evaluation of instruction and changing educational models. Proceedings of the Symposium on Problems in the Evaluation of Instruction. Los Angeles; 1967. 28 p.Glaser R. Evaluation of instruction and changing educational models. Proceedings of the Symposium on Problems in the Evaluation of Instruction. Los Angeles; 1967. 28 p.Абекова Ж. А., Оралбаев А. Б., Бердалиева М., Избасарова Ж. К. Технология критериального оценивания, методика ее применения в учебном процессе. Международный журнал экспериментального образования. 2016;(2-2):215–218. Режим доступа: https: //expeducation. ru/ru/article/view?id=9559Abekova Zh. A., Oralbaev A. B., Berdalieva M., Izbasarova Zh. K. Criteria-based assessment technology, methods of its application in the educational process. International Journal of Experimental Education. 2016;(2-2):215–218. (In Russian.) Available at: https: //expeducation.ru/ru/article/ view?id=9559Ступницкая М. Критериальное оценивание. Педагогические измерения. 2015;(1):52–74.Stupnickaya M. Criteria-based assessment. Pedagogical Measurements. 2015;(1):52–74. (In Russian.)Stagg-Taylor J. Cross-course assessment criteria: A study of criteria-based assessment developed for whole program use. ETL Conference; 2004. Available at: http://hdl.handle.net/10072/2893Stagg-Taylor J. Cross-course assessment criteria: A study of criteria-based assessment developed for whole program use. ETL Conference; 2004. Available at: http:// hdl.handle.net/10072/2893Ibarra-Sáiz M. S., Rodríguez-Gómez G., Boud D. The quality of assessment tasks as a determinant of learning. Assessment & Evaluation in Higher Education. 2021;46(6):943–955. DOI: 10.1080/02602938.2020.1828268Ibarra-Sáiz M. S., Rodríguez-Gómez G., Boud D. The quality of assessment tasks as a determinant of learning. Assessment & Evaluation in Higher Education. 2021;46(6):943–955. DOI: 10.1080/02602938.2020.1828268Ефремова Н. Ф. Концептуальная модель оценки компетенций студентов. Современные наукоемкие технологии. 2019;(7):169–174. Режим доступа: https: //toptechnologies.ru/ru/article/view?id=37607Efremova N. F. Conceptual model of evolution of competence of students. Modern high technologies. 2019;(7):169–174. (In Russian.) Available at: https://top-technologies.ru/ ru/article/view?id=37607Bearman M., Dawson P., Bennett S., Hall M., Molloy E., Boud D., Joughin G. How university teachers design assessments: A cross-disciplinary study. Higher Education. 2017;74(1):49–64. DOI: 10.1007/s10734-016-0027-7Bearman M., Dawson P., Bennett S., Hall M., Molloy E., Boud D., Joughin G. How university teachers design assessments: A cross-disciplinary study. Higher Education. 2017;74(1):49–64. DOI: 10.1007/s10734-016-0027-7Fernández-Ruiz J., Panadero E., García-Pérez D. Assessment from a disciplinary approach: Design and implementation in three undergraduate programmes. Assessment in Education: Principles, Policy & Practice. 2021;28(5-6):703– 723. DOI: 10.1080/0969594X.2021.1999210Fernández-Ruiz J., Panadero E., García-Pérez D. Assessment from a disciplinary approach: Design and implementation in three undergraduate programmes. Assessment in Education: Principles, Policy & Practice. 2021;28(5-6):703– 723. DOI: 10.1080/0969594X.2021.1999210Рубинштейн С. Л. Основы общей психологии. СПб.: Питер; 2010. 720 с.Rubinshtejn S. L. Fundamentals of General Psychology. Saint Petersburg, Piter; 2010. 720 p. (In Russian.)Маркелова О. В. Методика развития познавательной активности студентов техникума в процессе обучения информатике: дис. канд. пед. наук: 13.00.02. Красноярск; 2019. 191 с.Markelova O. V. Methodology for the development of cognitive activity of students of a technical school in the process of teaching informatics. Kand. ped. sci. diss.: 13.00.02. Krasnoyarsk; 2019. 191 p. (In Russian.)Игнатьев Н. А. Кластерный анализ данных и выбор объектов-эталонов в задачах распознавания с учителем. Вычислительные технологии. 2015;20(6):36–45.Ignat’ev N. A. Cluster analysis and choice of standard objects in supervised pattern recognition problems. Computational Technologies. 2015;20(6):36–45. (In Russian.)

The authors declare that there are no conflicts of interest present.