infojournalИнформатика и образованиеInformatics and education0234-04532658-7769Publishing House Education and Informatics10.32517/0234-0453-2020-35-4-4-11infojournal-531Research ArticleПЕДАГОГИЧЕСКИЙ ОПЫТPEDAGOGICAL EXPERIENCEДиагностика профессиональной компетентности студентов ИТ-направлений на основе данных цифрового следаDiagnostics of professional competence of IT students based on digital footprint datahttps://orcid.org/0000-0002-4211-7675ЗахароваИ. Г.ZakharovaI. G.

Захарова Ирина Гелиевна, доктор пед. наук, профессор, профессор кафедры программного обеспечения, Институт математики и компьютерных наук

625003, г. Тюмень, ул. Володарского, д. 6;

354340, г. Сочи, Олимпийский проспект, д. 1

Irina G. Zakharova, Doctor of Sciences (Education), Professor, Professor at the Software Department, Institute of Mathematics and Computer Science

625003, Russia, Tyumen, ul. Volodarskogo, 6;

354340, Russia, Sochi, Olimpijskij prospekt, 1

i.g.zakharova@utmn.ruhttps://orcid.org/0000-0002-3663-0173БоганюкЮ. В.BoganyukYu. V.

Боганюк Юлия Викторовна, аспирант кафедры программного обеспечения, Институт математики и компьютерных наук

625003, г. Тюмень, ул. Володарского, д. 6;

354340, г. Сочи, Олимпийский проспект, д. 1

Yulia V. Boganyuk, Postgraduate Student at the Software Department, Institute of Mathematics and Computer Science

625003, Russia, Tyumen, ul. Volodarskogo, 6;

354340, Russia, Sochi, Olimpijskij prospekt, 1

y.v.boganyuk@utmn.ruhttps://orcid.org/0000-0002-1508-4089ВоробьеваМ. С.VorobyovaM. S.

Воробьева Марина Сергеевна, канд. тех. наук, доцент, зав. кафедрой программного обеспечения, Институт математики и компьютерных наук

625003, г. Тюмень, ул. Володарского, д. 6;

354340, г. Сочи, Олимпийский проспект, д. 1

Marina S. Vorobyova, Candidate of Sciences (Engineering), Docent, Head of the Software Department, Institute of Mathematics and Computer Science

625003, Russia, Tyumen, ul. Volodarskogo, 6;

354340, Russia, Sochi, Olimpijskij prospekt, 1

m.s.vorobyova@utmn.ruhttps://orcid.org/0000-0002-0408-9888ПавловаЕ. А.PavlovaE. A.

Павлова Елена Александровна, доцент кафедры программного обеспечения, Институт математики и компьютерных наук

625003, г. Тюмень, ул. Володарского, д. 6;

354340, г. Сочи, Олимпийский проспект, д. 1

Elena A. Pavlova, Associate Professor at the Software Department, Institute of Mathematics and Computer Science

625003, Russia, Tyumen, ul. Volodarskogo, 6;

354340, Russia, Sochi, Olimpijskij prospekt, 1

e.a.pavlova@utmn.ruТюменский государственный университет; Научно-технический университет «Сириус»РоссияUniversity of Tyumen; Sirius University of Science and TechnologyRussian Federation20200407202004411Copyright © Захарова И.Г., Боганюк Ю.В., Воробьева М.С., Павлова Е.А., 20202020Захарова И.Г., Боганюк Ю.В., Воробьева М.С., Павлова Е.А.Zakharova I.G., Boganyuk Y.V., Vorobyova M.S., Pavlova E.A.This work is licensed under a Creative Commons Attribution 4.0 License.https://info.infojournal.ru/jour/article/view/531

В статье предложен подход к диагностике уровня профессиональной компетентности выпускников ИТ-направлений, основанный на анализе данных цифрового следа студента и содержания соответствующей образовательной программы. Описаны способы извлечения показателей профессионального уровня студента из данных цифрового следа — текстов рабочих программ по освоенным дисциплинам и выпускных квалификационных работ. Показана методика соотнесения этих показателей с формализованными требованиями работодателей, отраженными в текстах вакансий в области информационных технологий. Приведен пример реализации предложенного подхода в Институте математики и компьютерных наук Тюменского государственного университета. Диагностика выполнялась на основании набора данных, включавшего тексты рабочих программ для ИТ-направлений бакалавриата и специалитета, 542 выпускные квалификационные работы по этим направлениям, 879 описаний требований к вакансиям и информации о трудоустройстве выпускников. Представленный подход позволяет оценить актуальность образовательной программы в целом и уровень профессиональной подготовки каждого студента на основе объективных данных. Полученные результаты были использованы для актуализации содержания базовых курсов и включения в учебный план новых элективных дисциплин.

The article goal is to demonstrate the possibilities of the approach to diagnosing the level of IT graduates’ professional competence, based on the analysis of the student’s digital footprint and the content of the corresponding educational program. We describe methods for extracting student professional level indicators from digital footprint text data — courses’ descriptions and graduation qualification works. We show methods of comparing these indicators with the formalized requirements of employers, reflected in the texts of vacancies in the field of information technology. The proposed approach was applied at the Institute of Mathematics and Computer Science of the University of Tyumen. We performed diagnostics using a data set that included texts of courses’ descriptions for IT areas of undergraduate studies, 542 graduation qualification works in these areas, 879 descriptions of job requirements and information on graduate employment. The presented approach allows us to evaluate the relevance of the educational program as a whole and the level of professional competence of each student based on objective data. The results were used to update the content of some major courses and to include new elective courses in the curriculum.

цифровой следизвлечение данныхвысшее образованиепрофессиональная компетентностьрынок трудаобразовательный результатанализ текстовdigital footprintdata extractionhigher educationprofessional competencelabor marketeducational resulttext analysisИсследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 19-37-51028The reported study was funded by RFBR, project number 19-37-51028ReferencesЗахарова И. Г. Методы машинного обучения для информационного обеспечения управления профессиональным развитием студентов // Образование и наука. 2018. Т. 20. № 9. С. 91–114. DOI: 10.17853/1994-5639-2018-9-91-114Zakharova I. G. Metody mashinnogo obucheniya dlya informatsionnogo obespecheniya upravleniya professional’nym razvitiem studentov [Machine learning methods of providing informational management support for students’ professional development]. Obrazovanie i nauka — The Education and Science Journal, 2018, vol. 20, no. 9, p. 91–114. (In Russian.) DOI: 10.17853/1994-5639-2018-9-91-114Baker R. S., Inventado P. S. Educational data mining and learning analytics // Learning Analytics. New York: Springer, 2014. P. 61–75. DOI: 10.1007/978-1-4614-3305-7_4Baker R. S., Inventado P. S. Educational data mining and learning analytics. Learning Analytics. New York, Springer, 2014, p. 61–75. DOI: 10.1007/978-1-4614-3305-7_4Siemens G., Baker R. S. J. d. Learning analytics and educational data mining: towards communication and collaboration // LAK ‘12. Proc. 2nd Int. Conf. on Learning Analytics and Knowledge. New York: ACM, 2012. P. 252–254. DOI: 10.1145/2330601.2330661Siemens G., Baker R. S. J. d. Learning analytics and educational data mining: towards communication and collaboration. LAK ‘12. Proc. 2nd Int. Conf. on Learning Analytics and Knowledge. New York, ACM, 2012, p. 252–254. DOI: 10.1145/2330601.2330661Зеер Э. Ф., Степанова Л. Н. Портфолио как инструментальное средство самооценивания учебно-профессиональных достижений студентов // Образование и наука. 2018. Т. 20. № 6. С. 139–157. DOI: 10.17853/1994-5639-2018-6-139-157Zeyer E. F., Stepanova L. N. Portfolio kak instrumental’noe sredstvo samootsenivaniya uchebno-professional’nykh dostizhenij studentov [Portfolio as an instrumental means of self-evaluation of educational and professional achievements of students]. Obrazovanie i nauka — The Education and Science Journal, 2018, vol. 20, no. 6, p. 139–157. (In Russian.) DOI: 10.17853/1994-5639-2018-6-139-157Бектемесов М. А., Гриншкун В. В., Скиба М. А., Турганбаева А. Р. Определение структуры, видов решаемых задач и направлений эффективного использования электронного портфолио студентов вузов // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2017. Т. 14. № 4. С. 406–417. DOI: 10.22363/2312-8631-2017-14-4-406-417Bektemesov M. A., Grinshkun V. V., Skiba M. A., Turganbaeva A. R. Opredelenie struktury, vidov reshaemykh zadach i napravlenij ehffektivnogo ispol’zovaniya ehlektronnogo portfolio studentov vuzov [The definition of structure, types of tasks and directions for electronic portfolio students effective use]. Vestnik Rossiiskogo universiteta druzhby narodov. Seriya: Informatizatsiya obrazovaniya — Bulletin of People’s Friendship University of Russia. Series: Informatization of Education, 2017, vol. 14, no. 4, p. 406–417. (In Russian.) DOI: 10.22363/2312-8631-2017-14-4-406-417Добудько Т. В., Горбатов С. В., Добудько А. В., Пугач О. И. Саморазвитие студентов сквозь призму электронного портфолио // Самарский научный вестник. 2019. Т. 8. № 3. С. 275–279. https://journals.eco-vector.com/2309-4370/article/view/34389Dobudko T. V., Gorbatov S. V., Dobudko A. V., Pugach O. I. Samorazvitie studentov skvoz’ prizmu ehlektronnogo portfolio [Students’ self-development through the prism of electronic portfolio]. Samarskij nauchnyj vestnik — Samara Journal of Science, 2019, vol. 8, no. 3, p 275–279. (In Russian.) Available at: https://journals.eco-vector.com/2309-4370/article/view/34389Рочев К. В., Моданов А. В., Коршунов Г. В. Реализация личного кабинета работодателя в информационной системе оценки деятельности студентов // Информатика и образование. 2019. № 5. С. 54–63. DOI: 10.32517/0234-0453-2019-34-5-54-63Rochev K. V., Modanov A. V., Korshunov G. V. Realizatsiya lichnogo kabineta rabotodatelya v informatsionnoj sisteme otsenki deyatel’nosti studentov [Implementation of the personal account of the employer in the information system for assessing students’ activity]. Informatika i obrazovanie — Informatics and Education, 2019, no. 5, p. 54–63. (In Russian.) DOI: 10.32517/0234-0453-2019-34-5-54-63Шефер О. Р., Носова Л. С., Лебедева Т. Н. Электронное портфолио в системе подготовки студентов бакалавриата к будущей профессиональной деятельности // Информатика и образование. 2019. № 2. С. 56–62. DOI: 10.32517/0234-0453-2019-34-2-56-62Shefer O. R., Nosova L. S., Lebedeva T. N. Ehlektronnoe portfolio v sisteme podgotovki studentov bakalavriata k budushhej professional’noj deyatel’nosti [E-portfolio in the system of preparation of students of baccalaureate for future professional activity]. Informatika i obrazovanie — Informatics and Education, 2019, no. 2, p. 56–62. (In Russian.) DOI: 10.32517/0234-0453-2019-34-2-56-62Ahmed E., Ward R. Analysis of factors influencing acceptance of personal, academic and professional development e-portfolios // Computers in Human Behavior. 2016. Vol. 63. P. 152–161. DOI: 10.1016/j.chb.2016.05.043Ahmed E., Ward R. Analysis of factors influencing acceptance of personal, academic and professional development e-portfolios. Computers in Human Behavior, 2016, vol. 63, p. 152–161. DOI: 10.1016/j.chb.2016.05.043Gikandi J. W. Promoting competence-based learning and assessment through innovative use of electronic portfolios // Handbook of Research on Promoting Higher-Order Skills and Global Competencies in Life and Work. Hershey: IGI Global, 2019. P. 181–208. DOI: 10.4018/978-1-5225-6331-0.ch012Gikandi J. W. Promoting competence-based learning and assessment through innovative use of electronic portfolios. Handbook of Research on Promoting Higher-Order Skills and Global Competencies in Life and Work. Hershey, IGI Global, 2019, p. 181–208. DOI: 10.4018/978-1-5225-6331-0.ch012Можаева Г. В., Слободская А. В., Фещенко А. В. Информационный потенциал социальных сетей для выявления образовательных потребностей школьников // Открытое и дистанционное образование. 2017. № 3. С. 25–30. DOI: 10.17223/16095944/67/4Mozhaeva G. V., Slobodskaya A. V., Feshchenko A. V. Informatsionnyj potentsial sotsial’nykh setej dlya vyyavleniya obrazovatel’nykh potrebnostej shkol’nikov [Informational potential of social networks for revealing pupils educational needs]. Otkrytoe i distantsionnoe obrazovanie — Open and Distance Education, 2017, no. 3, p. 25–30. (In Russian.) DOI: 10.17223/16095944/67/4Степаненко А. А., Шиляев К. С., Резанова З. И. Атрибуция профессиональных интересов пользователей социальной сети «ВКонтакте» на основе текстов тематических групп и персональных страниц // Вестник Томского государственного университета. Филология. 2018. № 52. С. 130–144. DOI: 10.17223/19986645/52/8Stepanenko A. A., Shilyaev K. S., Rezanova Z. I. Аtributsiya professional’nykh interesov pol’zovatelej sotsial’noj seti “VKontakte” na osnove tekstov tematicheskikh grupp i personal’nykh stranits [Attribution of professional interests of social network users based on subject-oriented groups and personal pages]. Vestnik Tomskogo gosudarstvennogo universiteta — Tomsk State University Journal of Philology, 2018, no. 52, p. 130–144. (In Russian.) DOI: 10.17223/19986645/52/8Feshchenko A., Goiko V., Stepanenko A. Recruiting university entrants via social networks // EDULEARN17. Proc. 9th Int. Conf. on Education and New Learning Technologies. Barcelona: IATED, 2017. P. 6077–6082. DOI: 10.21125/edulearn.2017.2375Feshchenko A., Goiko V., Stepanenko A. Recruiting university entrants via social networks. EDULEARN17. Proc. 9th Int. Conf. on Education and New Learning Technologies. Barcelona, IATED, 2017, p. 6077–6082. DOI: 10.21125/edulearn.2017.2375Напреенко Г. В. Идентификация текста по его авторской принадлежности на лексическом уровне (формально-количественная модель) // Вестник Томского государственного университета. 2014. № 379. С. 17–23. DOI: 10.17223/15617793/379/3Napreenko G. V. Identifikatsiya teksta po ego avtorskoj prinadlezhnosti na leksicheskom urovne (formal’no--kolichestvennaya model’) [Authorship identification of the text on the lexical level (formal-quantitative model)]. Vestnik Tomskogo gosudarstvennogo universiteta — Tomsk State University Journal, 2014, no. 379, p. 17–23. (In Russian.) DOI: 10.17223/15617793/379/3Резанова З. И., Романов А. С., Мещеряков Р. В. О выборе признаков текста, релевантных в автороведческой экспертной деятельности // Вестник Томского государственного университета. Филология. 2013. № 6. С. 38–52. DOI: 10.17223/19986645/26/4Rezanova Z. I., Romanov A. S., Meshcheryakov R. V. O vybore priznakov teksta, relevantnykh v avtorovedcheskoj ehkspertnoj deyatel’nosti [Selecting text features relevant for authorship attribution]. Vestnik Tomskogo gosudarstvennogo universiteta — Tomsk State University Journal of Philology, 2013, no. 6, p. 38–52. (In Russian.) DOI: 10.17223/19986645/26/4Knight S., Buckingham Shum S., Ryan P., Sándor Á., Wang X. Designing academic writing analytics for civil law student self-assessment // International Journal of Artificial Intelligence in Education. 2018. Vol. 28. P. 1–28. DOI: 10.1007/s40593-016-0121-0Knight S., Buckingham Shum S., Ryan P., Sándor Á., Wang X. Designing academic writing analytics for civil law student self-assessment. International Journal of Artificial Intelligence in Education, 2018, vol. 28, p. 1–28. DOI: 10.1007/s40593-016-0121-0Woods B., Adamson D., Miel S., Mayfield E. Formative essay feedback using predictive scoring models // KDD ‘17. Proc. 23rd ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. New York: ACM, 2017. P. 2071–2080. DOI: 10.1145/3097983.3098160Woods B., Adamson D., Miel S., Mayfield E. Formative essay feedback using predictive scoring models. KDD ‘17. Proc. 23rd ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. New York, ACM, 2017, p. 2071–2080. DOI: 10.1145/3097983.3098160Kyle K., Crossley S., Berger C. The tool for the automatic analysis of lexical sophistication (TAALES): version 2.0 // Behavior Research Methods. 2018. Vol. 50. P. 1030–1046. DOI: 10.3758/s13428-017-0924-4Kyle K., Crossley S., Berger C. The tool for the automatic analysis of lexical sophistication (TAALES): version 2.0. Behavior Research Methods, 2018, vol. 50, p. 1030–1046. DOI: 10.3758/s13428-017-0924-4Crossley S. A., Muldner K., McNamara D. S. Idea generation in student writing: computational assessments and links to successful writing // Written Communication. 2016. Vol. 33. Is. 3. P. 328–354. DOI: 10.1177/0741088316650178Crossley S. A., Muldner K., McNamara D. S. Idea generation in student writing: computational assessments and links to successful writing. Written Communication, 2016, vol. 33, is. 3, p. 328–354. DOI: 10.1177/0741088316650178McNamara D. S., Crossley S. A., Roscoe R. D., Allen L. K., Dai J. A hierarchical classification approach to automated essay scoring // Assessing Writing. 2015. Vol. 23. P. 35–59. DOI: 10.1016/j.asw.2014.09.002McNamara D. S., Crossley S. A., Roscoe R. D., Allen L. K., Dai J. A hierarchical classification approach to automated essay scoring. Assessing Writing, 2015, vol. 23, p. 35–59. DOI: 10.1016/j.asw.2014.09.002Skalicky S., Crossley S. A., McNamara D. S., Muldner K. Identifying creativity during problem solving using linguistic features // Creativity Research Journal. 2017. Vol. 29. Is. 4. P. 343–353. DOI: 10.1080/10400419.2017.1376490Skalicky S., Crossley S. A., McNamara D. S., Muldner K. Identifying creativity during problem solving using linguistic features. Creativity Research Journal, 2017, vol. 29, is. 4, p. 343–353. DOI: 10.1080/10400419.2017.1376490Kovanović V., Joksimović S., Mirriahi N., Blaine E., Gašević D., Siemens G., Dawson S. Understand students’ self-reflections through learning analytics // LAK ‘18. Proc. 8th Int. Conf. on Learning Analytics and Knowledge. New York: ACM, 2018. P. 389–398. DOI: 10.1145/3170358.3170374Kovanović V., Joksimović S., Mirriahi N., Blaine E., Gašević D., Siemens G., Dawson S. Understand students’ self-reflections through learning analytics. LAK ‘18. Proc. 8th Int. Conf. on Learning Analytics and Knowledge. New York, ACM, 2018, p. 389–398. DOI: 10.1145/3170358.3170374Ботов Д. С., Мельников А. В. Концепция автоматизированного формирования актуализированного набора учебных курсов с учетом требований рынка труда на основе интеллектуального анализа результатов обучения // Инновации в информационных технологиях и образовании: Сборник трудов III Международной научно-практической конференции. М.: ИТО, 2014. С. 238–244.Botov D. S., Melnikov A. V. Kontseptsiya avtomatizirovannogo formirovaniya aktualizirovannogo nabora uchebnykh kursov s uchetom trebovanii rynka truda na osnove intellektual’nogo analiza rezul’tatov obucheniya [The concept of automated formation of an updated set of training courses, taking into account the requirements of the labor market based on the intellectual analysis of learning outcomes]. Innovatsii v informatsionnykh tekhnologiyakh i obrazovanii: Sbornik trudov III Mezhdunarodnoj nauchno-prakticheskoj konferentsii [Innovations in information technology and education. Proc. 3d Int. Scientific-Practical Conf.]. Moscow, ITO, 2014, p. 238–244. (In Russian.)Ботов Д. С. Интеллектуальная поддержка формирования образовательных программ на основе нейросетевых моделей языка с учетом требований рынка труда // Вестник ЮУрГУ. Серия «Компьютерные технологии, управление, радиоэлектроника». 2019. № 1. С. 5–19. DOI: 10.14529/ctcr190101Botov D. S. Intellektual’naya podderzhka formirovaniya obrazovatel’nykh programm na osnove nejrosetevykh modelej yazyka s uchetom trebovanij rynka truda [Intelligent support development of educational programs based on the neural language models taking into account of the labor market requirements]. Vestnik YUUrGU. Seriya “Komp’yuternye tekhnologii, uprаvlenie, rаdioehlektronikа” — Bulletin of SUSU. Series “Computer Technologies, Automatic Control, Radioelectronics”, 2019, no. 1, p. 5–19. (In Russian.) DOI: 10.14529/ctcr190101ISO/IEC 25010:2011 Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models. https://www.iso.org/obp/ui/#iso:std:iso-iec:25010:ed-1:v1:enISO/IEC 25010:2011 Systems and software engineering — Systems and software Quality Requirements and Evaluation (SQuaRE) — System and software quality models. https:// www.iso.org/obp/ui/#iso:std:iso-iec:25010:ed-1:v1:enBird S., Klein E., Loper E. Natural language processing with Python. Sebastopol: O’Reilly Media, 2009.Bird S., Klein E., Loper E. Natural language processing with Python. Sebastopol: O’Reilly Media, 2009.

The authors declare that there are no conflicts of interest present.