доцент кафедры информатики и вычислительной техники Сибирского государственного университета науки и технологий имени академика М. Ф. Решетнева
660049, Россия, г. Красноярск, ул. Марковского, д. 57, каб. А102
Associate Professor at the Department of Informatics and Computer Engineering of Reshetnev Siberian State University of Science and Technology660049, Russia, Krasnoyarsk, ul. Markovsky, 57, office A102
канд. физ.-мат. наук, доцент кафедры прикладной физики Сибирского государственного университета науки и технологий имени академика М. Ф. Решетнева, председатель предметной комиссии Красноярского края ОГЭ по физике660049, Россия, г. Красноярск, ул. Марковского, д. 57, каб. А102
Ph.D. of Physical and Mathematical Sciences, Associate Professor at the Department of Applied Physics of Reshetnev Siberian State University of Science and Technology, Chairman of the Krasnoyarsk Territory Subject Commission on Physics660049, Russia, Krasnoyarsk, ul. Markovsky, 57, office A102
В статье рассмотрено использование метода анализа иерархий для оценки согласованности в работе членов предметных комиссий ОГЭ и ЕГЭ в процессе проверки результатов выполнения заданий с развернутыми ответами. Данный метод является математическим инструментом системного подхода к сложным проблемам принятия решений. Он применяется во многих областях — от управления на межгосударственном уровне до решения отраслевых и частных проблем в бизнесе, промышленности, здравоохранении и образовании. Его использование для оценки согласованности в работе членов предметных комиссий ОГЭ и ЕГЭ в процессе проверки результатов выполнения заданий с развернутыми ответами обусловлено необходимостью разработки такого инструмента, который позволит максимально уменьшить субъективность как в формировании комиссий, так и в присвоении внутри них определенного статуса тем или иным экспертам. И в этом заключается его ключевая особенность, поскольку в преобладающем большинстве случаев подходы, направленные на решение аналогичных задач, опираются на результаты третьих проверок экзаменационных работ, выполненных старшими и ведущими экспертами, как на эталонные. Предложенный подход позволяет оценить работу каждого конкретного эксперта в пределах всей комиссии даже при условии, что эксперт осуществлял перекрестную проверку только лишь с некоторыми из ее членов. При этом значимым для оценки эффективности эксперта является не его статус, а присутствие или отсутствие расхождений в баллах, выставленных им за выполнение того или иного задания участником экзамена, с другими членами комиссии. В свою очередь, качество работы последних также индивидуально оценивается аналогичным образом уже при анализе их перекрестных проверок с другими группами экспертов. Предложенный способ применения метода анализа иерархий позволяет использовать результаты работы предметной комиссии ОГЭ или ЕГЭ в текущем году для модификации состава комиссии в следующем году с целью увеличения согласованности проверки экзаменационных работ экспертами.
Use of the Analytic Hierarchy Process for work consistency estimation of experts of the regional subject commissions on assessment of the problems with detailed answers of the General State Exam and the Unified State Exam is considered in the paper. This process is a mathematical technique of system approach for the complex problems of decision making. It is used in the different fields from management on interstate level to the solving the sectoral and particular problems in business, industry, public health and education. Its use for work consistency estimation of experts of the regional subject commissions on assessment of the problems with detailed answers of the General State Exam and the Unified State Exam is conditioned by a need of such technique development which will allow decreasing extremely the influence of subjectivity at commission formation as well as at awarding the status to ones and others experts inside the commission. And this is the key specialty of this process because in the most cases the approaches, considered for the solving the similar problems, are based on the results of the third (seniors or leading) experts as standard. Suggested technique allows estimating the work of every concrete expert in the frame of all commission even at the case, when he was carrying out cross validation with only some others its members. At thus the status of expert is not significant for estimation his efficiency but the absence or presence a difference in grades suggested by him and other commission members for problems solutions of exam participant are significant. At the same time the efficiency of last ones work is also estimated personally by the similar way at the consideration of their cross validations with other expert groups. Suggested principle of Analytic Hierarchy Process’ application allows using the results of work of the regional subject commissions on assessment of the problems with detailed answers of the General State Exam and the Unified State Exam in the current year for modification of the commission in the next one with a purpose to enhance the consistency of exam works validation by the experts.
The authors declare that there are no conflicts of interest present.