Preview

Информатика и образование

Расширенный поиск

Мониторинг сдвига данных в модели прогнозирования успешности обучения с использованием значений Шепли

https://doi.org/10.32517/0234-0453-2025-40-3-57-68

Аннотация

   Прогнозирование успешности обучения — одна из важнейших задач учебной аналитики, решение которой позволяет образовательным учреждениям своевременно выявлять студентов, испытывающих затруднения в обучении, и применять к ним средства педагогической поддержки и содействия. Для эффективной работы моделей прогнозирования в долгосрочной перспективе после внедрения их в учебный процесс необходимо регулярно проводить мониторинг сдвига данных в используемых моделях. Это позволит выявлять изменения в распределении образовательных данных, которые могут стать причиной падения точности прогнозирования, а также влиять на интерпретацию полученных прогнозов. В статье предлагается методика анализа моделей прогнозирования успешности обучения на сдвиг данных с помощью значений Шепли, предполагающая двухэтапный мониторинг. На первом этапе (непосредственно в ходе образовательного процесса) с помощью исследуемой модели проводится прогнозирование успешности обучения и выявляются изменения вклада предикторов модели в итоговый прогноз. На втором этапе (после проведения промежуточной аттестации), когда уже возможна оценка точности прогнозирования, определяются изменения вклада предикторов в функцию потерь модели. Такой подход позволяет обнаруживать разные типы сдвига данных. На основании результатов анализа образовательное учреждение может принимать своевременные решения о коррекции, переобучении или замене используемой модели. Предложенная методика была апробирована на моделях из сервиса прогнозирования успеваемости «Пифия», разработанного в Сибирском федеральном университете. После внедрения сервиса в образовательный процесс прогнозирование на новых данных было проведено для четырех учебных семестров, и было отмечено падение точности прогнозирования. В результате проведенного мониторинга для каждой из моделей ансамбля были выявлены отдельные предикторы, ставшие источниками ковариационного сдвига или сдвига концепции. Были предложены варианты коррекции используемых моделей.

Об авторах

Т. А. Кустицкая
Сибирский федеральный университет
Россия

Татьяна Алексеевна Кустицкая, канд. физ.-мат. наук, доцент, доцент кафедры

Институт космических и информационных технологий; кафедра прикладной математики и анализа данных

Красноярск



Р. В. Есин
Сибирский федеральный университет
Россия

Роман Витальевич Есин, канд. пед. наук, доцент, доцент кафедры

Институт космических и информационных технологий; кафедра прикладной математики и анализа данных

Красноярск



Список литературы

1. Дюличева Ю. Ю. Применение учебной аналитики в высшем образовании: датасеты, методы и инструменты. Высшее образование в России. 2024;33(5):86–111. EDN: EIDBZY. DOI: 10.31992/0869-3617-2024-33-5-86-111.

2. Kustitskaya T. A., Noskov M. V. Learning analytics in Russia and abroad: Level of development, trends and prospects. RUDN Journal of Informatization in Education. 2023;20(2):150–158. EDN: KEROFN. DOI: 10.22363/2312-8631-2023-20-2-150-158.

3. Sonnleitner B., Madou T., Deceuninck M., Theodosiou F., Sagaert Y. R. Evaluation of early student performance prediction given concept drift. Computers and Education: Artificial Intelligence. 2025;8:100369. DOI: 10.1016/j.caeai.2025.100369.

4. Maia Polo F., Izbicki R., Lacerda E. G., Ibieta-Jimenez J. P., Vicente R. A unified framework for dataset shift diagnostics. Information Sciences. 2023;649:119612. DOI: 10.1016/j.ins.2023.119612.

5. Hinder F., Vaquet V., Hammer B. One or two things we know about concept drift—a survey on monitoring in evolving environments. Part A: Detecting concept drift. Frontiers in Artificial Intelligence. 2024;7:1330257. DOI: 10.3389/frai.2024.1330257.

6. Deho O. B., Liu L., Li J., Liu J., Zhan C., Joksimovic S. When the past != the future: Assessing the impact of data-set drift on the fairness of learning analytics models. IEEE Transactions on Learning Technologies. 2024;17:1007–1020. DOI: 10.1109/TLT.2024.3351352.

7. Guo L. L., Pfohl S. R., Fries J., Posada J., Fleming S. L., Aftandilian C., Shah N., Sung L. Systematic review of approaches to preserve machine learning performance in the presence of temporal dataset shift in clinical medicine. Applied Clinical Informatics. 2021;12(04):808–815. DOI: 10.1055/s-0041-1735184.

8. Sahiner B., Chen W., Samala R. K., Petrick N. Data drift in medical machine learning: implications and potential remedies. The British Journal of Radiology. 2023;96(1150):20220878. DOI: 10.1259/bjr.20220878.

9. Allogmany B., Josyula D. An approach to dealing with incremental concept drift in personalized learning systems. IEEE 4th Int. Conf. on Cognitive Machine Intelligence (CogMI). 2022:139–147. DOI: 10.1109/CogMI56440.2022.00029.

10. Tiukhova E., Vemuri P., Flores N. L., Islind A. S., Óskarsdóttir M., Poelmans S., Baesens B., Snoeck M. Explainable Learning Analytics: Assessing the stability of student success prediction models by means of explainable AI. Decision Support Systems. 2024;182:114229. DOI: 10.1016/j.dss.2024.114229.

11. Ovadia Y., Fertig E., Ren J., Nado Z., Sculley D., Nowozin S., Dillon J., Lakshminarayanan B., Snoek J. Can you trust your model’s uncertainty? Evaluating predictive uncertainty under dataset shift. Advances in Neural Information Processing systems. 2019;32.

12. Намиот Д. Е., Ильюшин Е. А. Мониторинг сдвига данных в моделях машинного обучения. International Journal of Open Information Technologies. 2022;10(12):84–93. EDN: NDOMRK.

13. Wan J. S.-W., Wang S.-D. Concept drift detection based on pre-clustering and statistical testing. Journal of Internet Technology. 2021;22(2):465–472. DOI: 10.3966/160792642021032202020.

14. Gama J., Žliobaite I., Bifet A., Pechenizkiy M., Bouchachia A. A survey on concept drift adaptation. ACM Computing Surveys (CSUR). 2014;46(4):1–37. DOI: 10.1145/2523813.

15. Gama J., Medas P., Castillo G., Rodrigues P. Learning with drift detection. Advances in Artificial Intelligence–SBIA 2004. 2004;3171:286–295. DOI: 10.1007/978-3-540-28645-5_29.

16. Baena-Garcıa M., del Campo-Ávila J., Fidalgo R., Bifet A., Gavalda R., Morales-Bueno R. Early drift detection method. Fourth Int. Workshop on Knowledge Discovery from Data Streams. 2006;6:77–86.

17. Liu A., Lu J., Liu F., Zhang G. Accumulating regional density dissimilarity for concept drift detection in data streams. Pattern Recognition. 2018;76:256–272. DOI: 10.1016/j.patcog.2017.11.009.

18. Ackerman S., Dube P., Farchi E., Raz O., Zalmanovici M. Machine learning model drift detection via weak data slices. 2021 IEEE/ACM Third Int. Workshop on Deep Learning for Testing and Testing for Deep Learning (DeepTest). 2021:1–8. DOI: 10.1109/DeepTest52559.2021.00007.

19. Dong S., Wang Q., Sahri S., Palpanas T., Srivastava D. Efficiently mitigating the impact of data drift on machine learning pipelines. Proc. VLDB Endowment. 2024;17(11):3072–3081. DOI: 10.14778/3681954.3681984.

20. Ma S., Tourani R. Predictive and causal implications of using shapley value for model interpretation. Proc. 2020 KDD workshop on causal discovery. 2020:23–38.

21. Zheng S., van der Zon S. B., Pechenizkiy M., de Campos C. P., van Ipenburg W., de Harder H., Nederland R. Labelless concept drift detection and explanation. NeurIPS 2019 Workshop on Robust AI in Financial Services: Data, Fairness, Explainability, Trustworthiness, and Privacy. 2019:1–10.

22. Сомова М. В. Методическая модель персонифицированного образовательного процесса на основе прогнозирования успешности предметного обучения. Современные наукоемкие технологии. 2023;(12-1):165–170. EDN: IARKPS. DOI: 10.17513/snt.39877.

23. Kustitskaya T. A., Esin R. V., Vainshtein Y. V., Noskov M. V. Hybrid approach to predicting learning success based on digital educational history for timely identification of at-risk students. Education Sciences. 2024;14(6):657. DOI: 10.3390/educsci14060657.

24. Носков М. В., Сомова М. В., Федотова И. М. Управление успешностью обучения студента на основе марковской модели. Информатика и образование. 2018;(10(299)):4–11. EDN: SMQFKX. DOI: 10.32517/0234-0453-2018-33-10-4-11.

25. Носков М. В., Вайнштейн Ю. В., Сомова М. В., Федотова И. М. Прогностическая модель оценки успешности предметного обучения в условиях цифровизации образования. Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2023;20(1):7–19. EDN: BDFDRI. DOI: 10.22363/2312-8631-2023-20-1-7-19.

26. Kustitskaya T. A., Esin R. V., Kytmanov A. A., Zykova T. V. Designing an education database in a higher education institution for the data-driven management of the educational process. Education Sciences. 2023;13(9):947. DOI: 10.3390/educsci13090947.

27. Lundberg S. M., Lee S.-I. A unified approach to interpreting model predictions. Neural Information Processing Systems. 2017;30:4768–4777. DOI: 10.48550/arXiv.1705.07874.

28. Lundberg S. M., Erion G., Chen H., DeGrave A., Prutkin J. M., Nair B., Katz R., Himmelfarb J., Bansal N., Lee S. I. From local explanations to global understanding with explainable AI for trees. Nature Machine Intelligence. 2020;2(1):56–67. DOI: 10.1038/s42256-019-0138-9.

29. Cohen J. Statistical power analysis for the behavioral sciences (2nd ed.). New Jersey, Routledge; 1988. 567 p. DOI: 10.4324/9780203771587.


Рецензия

Для цитирования:


Кустицкая Т.А., Есин Р.В. Мониторинг сдвига данных в модели прогнозирования успешности обучения с использованием значений Шепли. Информатика и образование. 2025;40(3):57-68. https://doi.org/10.32517/0234-0453-2025-40-3-57-68

For citation:


Kustitskaya T.A., Esin R.V. Monitoring data shift in the learning success forecasting model using Shapley values. Informatics and education. 2025;40(3):57-68. (In Russ.) https://doi.org/10.32517/0234-0453-2025-40-3-57-68

Просмотров: 59


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 0234-0453 (Print)
ISSN 2658-7769 (Online)