infojournalИнформатика и образованиеInformatics and education0234-04532658-7769Publishing House Education and Informatics10.32517/0234-0453-2021-36-8-41-51infojournal-749Research ArticleПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ И ТЕСТЫPEDAGOGICAL ASSESSMENTS AND TESTSИсследование применимости методов машинного обучения для оценки деятельности кафедрResearch of the applicability of machine learning methods for assessment of departments’ performancehttps://orcid.org/0000-0003-2973-7148МукановаА. Р.MukanovaA. R.

Муканова Александра Ренатовна, студентка 4-го курса бакалавриата кафедры вычислительных машин, систем и сетей, Институт информационных и вычислительных технологий

г. Москва

Alexandra R. Mukanova, a 4th year undergraduate student of the Department of Computing Machines, Systems and Networks, Institute of Information Technologies and Computer Science

Moscow

aleksmukanova@mail.ruhttps://orcid.org/0000-0001-7451-5443ОцоковШ. А.OtsokovSh. A.

Оцоков Шамиль Алиевич, доктор тех. наук, доцент кафедры вычислительных машин, систем и сетей, Институт информационных и вычислительных технологий

г. Москва

Shamil A. Otsokov, Doctor of Sciences (Engineering), Associate Professor at the Department of Computing Machines, Systems and Networks, Institute of Information Technologies and Computer Science

Moscow

shamil24@mail.ruНациональный исследовательский университет «МЭИ»РоссияNational Research University "Moscow Power Engineering Institute"Russian Federation202106122021084151Copyright © Муканова А.Р., Оцоков Ш.А., 20212021Муканова А.Р., Оцоков Ш.А.Mukanova A.R., Otsokov S.A.This work is licensed under a Creative Commons Attribution 4.0 License.https://info.infojournal.ru/jour/article/view/749

В настоящее время в ряде образовательных организаций в России и за рубежом, в том числе и в Национальном исследовательском университете «МЭИ» внедряется европейская модель совершенствования EFQM, призванная анализировать и улучшать образовательную, научную и другие виды деятельности кафедр. В соответствии с этой моделью каждой кафедре университета присваивается балл, равный сумме баллов по двум группам критериев: критериев из группы возможностей и критериев из группы результатов. Для получения таких оценок комиссия, состоящая из внешних экспертов, асессоров EFQM и сотрудников университета, проводит встречи с заведующими кафедр. По результатам обсуждения итогов встреч комиссия определяет балл и рейтинг кафедр в соответствии с моделью EFQM.

Целью представленной в статье работы является исследование возможности применения машинного обучения для упрощения работы экспертов в части получения оценок по критериям из группы результатов.

В статье предложена система оценивания деятельности кафедр по критериям из группы результатов на основе машинного обучения. Разработана программа на языке программирования Python, которая оценивает деятельность кафедр по этим критериям для каждой кафедры НИУ «МЭИ». Исходные данные для таких оценок программа получает из системы мониторинга ключевых показателей деятельности, внедренной в НИУ «МЭИ».

Currently, a number of educational organizations in Russia and abroad, including the National Research University “Moscow Power Engineering Institute” (MPEI), are introducing the European improvement model EFQM, designed to analyze and improve the educational, scientific and other activities of the departments. In accordance with this model, each university department is assigned a score equal to the sum of points for two groups of criteria: criteria from the group of opportunities and criteria from the group of results. To obtain such assessments, a commission consisting of external experts, EFQM assessors and university staff meets with heads of departments. Based on the results of the discussion of the results of the meetings, the commission determines the score and rating of the departments in accordance with the EFQM model.

The purpose of the work presented in the article is to study the possibility of using machine learning to simplify the work of experts in terms of obtaining estimates according to criteria from a group of results.

The article proposes a system for evaluating the activities of departments according to criteria from a group of results based on machine learning. A program in the Python programming language has been developed, which evaluates the activities of departments according to these criteria for each department of the MPEI. The program receives the initial data for such assessments from the monitoring system of key performance indicators implemented in MPEI.

машинное обучениемодель EFQMоценка работы кафедрmachine learningEFQM modelassessment of departments’ performanceReferencesМаслов Д. В., Мазалецкая А., Стид К. Модель совершенствования EFQM. Высшее образование в России. 2005;(9):48–55.Maslov D. V., Mazaleczkaya A., Stid K. Model of EFQM improvement. Vysshee Obrazovanie v Rossii = Higher Education in Russia. 2005;(9):48–55.Овсяницкий А. Д. Об использовании терминов «искусственный интеллект», «машинное обучение» и «глубокое обучение». Цифровая экономика в социально-экономическом развитии России: взгляд молодых. Материалы XV международной научно-практической конференции студентов, магистрантов и аспирантов. Челябинск; 2019. С. 549–551.Ovsyanitskiy A. D. On the use of the terms “artificial intelligence”, “machine learning” and “deep learning”. The digital economy in the socio-economic development of Russia: the view of the young. Proc. 15th Int. Scientific and Practical Conf. Chelyabinsk; 2019. P. 549–551.Профессиональный информационно-аналитический ресурс, посвященный машинному обучению, распознаванию образов и интеллектуальному анализу данных. Режим доступа: http://www.machinelearning.ruProfessional information and analytical resource dedicated to machine learning, pattern recognition and data mining. Available at: http://www.machinelearning.ruГалимов Р. Г. Основы алгоритмов машинного обучения — обучение с учителем. Аллея науки. 2017;1(14):810–817.Galimov R. G. Fundamentals of machine learning algorithms — supervised learning. Alley of Science. 2017;1(14):810–817.Stanula P., Ziegenbein A., Metternich J. Machine learning algorithms in production: A guideline for efficient data source selection. Procedia CIRP. 2018;78:261–266. DOI: 10.1016/j.procir.2018.08.177Stanula P., Ziegenbein A., Metternich J. Machine learning algorithms in production: A guideline for efficient data source selection. Procedia CIRP. 2018;78:261–266. DOI: 10.1016/j.procir.2018.08.177Portugal I., Alencar P., Cowan D. The use of machine learning algorithms in recommender systems: A systematic review. Expert Systems with Applications. 2018;97:205–227. DOI: 10.1016/j.eswa.2017.12.020Portugal I., Alencar P., Cowan D. The use of machine learning algorithms in recommender systems: A systematic review. Expert Systems with Applications. 2018;97:205–227. DOI: 10.1016/j.eswa.2017.12.020Мюллер А., Гвидо С. Введение в машинное обучение с помощью Python: пер. с англ. М.: Альфа-книга; 2018. 480 с.Müller A., Guido S. An introduction to machine learning with Python. Moscow, Al`fa-kniga; 2018. 480 p.Shalev-Shwartz S., Ben-David S. Understanding machine learning: From theory to algorithms. New York, Cambridge University Press; 2014. 449 p. DOI: 10.1017/CBO9781107298019Shalev-Shwartz S., Ben-David S. Understanding machine learning: From theory to algorithms. New York, Cambridge University Press; 2014. 449 p. DOI: 10.1017/CBO9781107298019Клячкин В. Н. Метод оценки параметра гребневой регрессии. Вестник Ульяновского государственного технического университета. 1998;(1):38–40.Klyachkin V. N. A method for estimating the parameter of ridge regression. Bulletin of the Ulyanovsk State Technical University. 1998;(1):38–40.Бородин И. Д. Рефлексия в машинном обучении на примере обучения деревьев решений. Аллея науки. 2017;4(9):857–865.Borodin I. D. Reflection in machine learning on the example of learning decision trees. Alley of Science. 2017;4(9):857–865.Леусенко В. П. Принятие решений с рассмотрением полезностей. Деревья решений. Актуальные проблемы современной экономики. Математические методы, модели и информационные технологии. Материалы XVIII научно-практической конференции преподавателей, студентов, аспирантов и молодых ученых. Таганрог; 2017. С. 184–187.Leusenko V. P. Decision making with consideration of utility. Decision trees. Mathematical methods, models and information technologies. Proc. 18th Scientific and Practical Conf.. Taganrog; 2017. P. 184–187.Azad М., Moshkov М. Multi-stage optimization of decision and inhibitory trees for decision tables with manyvalued decisions. European Journal of Operational Research. 2017;263(3):910–921. DOI: 10.1016/j.ejor.2017.06.026Azad М., Moshkov М. Multi-stage optimization of decision and inhibitory trees for decision tables with manyvalued decisions. European Journal of Operational Research. 2017;263(3):910–921. DOI: 10.1016/j.ejor.2017.06.026Кафтанников И. В., Парасич А. В. Методы снижения взаимозависимости ошибок деревьев решений при обучении лесов решений. Научный поиск. Материалы VII научной конференции аспирантов и докторантов. Челябинск; 2015. С. 315–320.Kaftannikov I. V., Parasich A. V. Methods for reducing the interdependence of decision tree errors in training decision forests. Scientific search. Proc. 7th Scientific Conf. Chelyabinsk; 2015. P. 315–320.Дьяконов И. Д., Новикова С. В. Решение задачи прогнозирования при помощи градиентного бустинга над решающими деревьями. Научный форум: технические и физикоматематические науки. Материалы XV международной научно-практической конференции. М.; 2018. С. 9–12.Dyakonov I. D., Novikova S. V. Solution of the forecasting problem using gradient boosting over decision trees. Scientific forum: technical and physical and mathematical sciences. Proc. 15th Int. Scientific and Practical Conf. Moscow; 2018. P. 9–12.Чаткин В. В. Различия между искусственным интеллектом, машинным обучением и глубоким обучением. Конкурентоспособность территорий. Материалы XXII Всероссийского экономического форума молодых ученых и студентов. Екатеринбург; 2019. С. 185–187.Chatkin V. V. Differences between artificial intelligence, machine learning and deep learning. Territories competitiveness. Proc. 22nd All-Russian Economic Forum of Young Scientists and Students. Ekaterinburg; 2019. P. 185–187.Мингалиев З. З., Кычкин И. М. Решение обратных многомерных задач на основе многослойного персептрона. Вестник современных исследований. 2019;(3.3):30–34.Mingaliev Z. Z., Kychkin I. M. Solution of multidimensional inverse problems based on multilayer perceptron. Bulletin of Modern Research. 2019;(3.3):30–34.Арефьев А. В., Шумаев В. В. Оценка значимости уравнения регрессии, его коэффициентов, коэффициента детерминации. Инновационные идеи молодых исследователей для агропромышленного комплекса России. Материалы Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых. Пенза; 2019. С. 103–104.Arefiev A. V., Shumaev V. V. Estimation of the significance of the regression equation, its coefficients, the coefficient of determination. Innovative ideas of young researchers for the agro-industrial complex of Russia. Proc. All-Russian Scientific and Practical Conf. Penza; 2019. P. 103–104.Кинякин В. Н., Милевская Ю. С. Некоторые предостережения по проверке качества модели регрессии с помощью коэффициента детерминации. Вестник Московского университета МВД России. 2014;(8):200–204.Kinyakin V. N., Milevskaya Yu. S. Some caveats for checking the quality of a regression model using the coefficient of determination. Bulletin of the Moscow University of the Ministry of Internal Affairs of Russia. 2014;(8):200–204.Базилевский М. П. Отбор оптимального числа информативных регрессоров по скорректированному коэффициенту детерминации в регрессионных моделях как задача частично целочисленного линейного программирования. Прикладная математика и вопросы управления. 2020;(2):41–54. DOI: 10.15593/2499-9873/2020.2.03Bazilevskii M. P. Selection an optimal number of variables in regression models using adjusted coefficient of determination as a mixed integer linear programming problem. Applied Mathematics and Control Sciences. 2020;(2):41–54. DOI: 10.15593/2499-9873/2020.2.03Бринк Х., Ричардс Д., Феверолф М. Машинное обучение. СПб.: Питер; 2017. 336 с.Brink X., Richards D., Feverolf M. Machine learning. Saint Petersburg, Piter; 2017. 336 p.

The authors declare that there are no conflicts of interest present.