Preview

Информатика и образование

Расширенный поиск

Современные подходы к организации технологического процесса сбора и подготовки больших данных и связанные с ними новые профессии в ИТ-отрасли: DevOps-инженер и инженер данных

https://doi.org/10.32517/0234-0453-2024-39-5-21-39

Аннотация

В статье рассмотрены современные технологические подходы к организации сбора и обработки больших данных, а также распространения и использования приложений с помощью платформы Docker с загрузкой и запуском комплекса приложений на основе контейнерного подхода к виртуализации. Кратко изложены основы постановки задачи по обработке больших данных и возникающие при этом технические проблемы масштабирования технической платформы и обеспечения качества данных. На примере развертывания и использования системы управления базами данных PostgreSQL со средствами управления и аналитической платформы Apache Superset представлен современный подход к организации получения, трансформации и последующей демонстрации данных в виде пульта. Работа с данными показана на примере цикла обработки реального набора открытых данных с демонстрацией всех основных этапов — загрузки, очистки, предварительного анализа и визуализации. В контексте рассмотренных технологий и подходов к организации рабочего процесса в виде конвейера приводятся примеры рабочих задач DevOps-инженера и инженера данных, подчеркивается необходимость их работы в составе команды. Продемонстрированные в статье технические решения могут также применяться при изучении тем «Базы данных», «Инфографика», «Анализ данных» в углубленном курсе информатики технологического профиля в качестве иллюстрации сложности рассматриваемых процессов и при подготовке будущих учителей информатики.

Об авторах

Н. Н. Самылкина
Московский педагогический государственный университет
Россия

Самылкина Надежда Николаевна, доктор пед. наук, доцент, профессор кафедры теории и методики обучения информатике, Институт математики и информатики



И. А. Калинин
Московский государственный лингвистический университет
Россия

Калинин Илья Александрович , канд. пед. наук, доцент, начальник управления информатизации, Департамент цифрового развития, доцент кафедры международной информационной безопасности, Институт информационных наук



Список литературы

1. Самылкина Н. Н. Информатика, углубленный уровень. Реализация требований ФГОС среднего общего образования: методическое пособие для учителя. М.: Институт стратегии развития образования; 2023. 226 с. EDN: LGYRRI

2. Lee S. J., Kwon K. A systematic review of AI education in K-12 classrooms from 2018 to 2023: Topics, strategies, and learning outcomes. Computers and Education: Artificial Intelligence. 2024;6:100211. DOI: 10.1016/j.caeai.2024.100211.

3. Israel-Fishelson R., Moon P. F., Tabak R., Weintrop D. Preparing students to meet their data: An evaluation of K-12 data science tools. Behaviour & Information Technology. 2023:1–20. DOI: 10.1080/0144929X.2023.2295956.

4. Hazzan O., Ragonis N., Lapidot T. Data science and computer science education. Guide to Teaching Computer Science. Springer, Cham; 2020:95–117. DOI: 10.1007/978-3-030-39360-1_6.

5. Foundations of data science for students in grades K-12: Proceedings of a workshop. Washington, DC, The National Academies Press; 2023. 152 p. DOI: 10.17226/26852.

6. Ткач Т. В. Машинное обучение и обработка больших данных в условиях современной школы. Информатика в школе. 2020;(7(160)):25–29. EDN: JETIPH. DOI: 10.32517/2221-1993-2020-19-7-25-29.

7. Самылкина Н. Н., Салахова А. А. Обучение осно вам искусственного интеллекта и анализа данных в курсе информатики на уровне среднего общего образования: монография. М.: МПГУ; 2022. 242 с. EDN: BACMCW. DOI: 10.31862/9785426310643.

8. Лейн Д. Машинное обучение для детей. Практическое введение в искусственный интеллект. М.: Лаборатория знаний; 2023. 288 с.

9. Lynch C. How do your data grow? Nature. 2008;455(7209):28–29. DOI: 10.1038/455028a.

10. Корнев М. С. История понятия «большие данные» (Big Data): словари, научная и деловая периодика. Вестник РГГУ. Серия: История. Филология. Культурология. Востоковедение. 2018;(1(34)):81–85. EDN: YXCBFP. DOI: 10.28995/2073-6355-2018-1-81-85.

11. Бессонов В. А. Какие возможности для статистики цен открывают новые технологии? Деньги и кредит. 2021;80(1):120–126. EDN: NCADLU. DOI: 10.31477/rjmf.202101.120.

12. Салий В. В., Кухаренко Л. В., Ищенко О. В. Цифровая трансформация экономики и внедрение хранилищ данных на основе больших данных в инфраструктуру компании. Вестник Академии знаний. 2021;44(3):208–214. EDN: FIQRSU. DOI: 10.24412/2304-6139-2021-11240.

13. Смирнов Д. В., Грушо А. А., Забежайло М. И., Тимонина Е. Е. Система сбора и анализа информации из различных источников в условиях Big Data. International Journal of Open Information Technologies. 2021;(9(4)):64– 71. EDN: VNVDNQ.

14. Менщиков А. А., Перфильев В. Э., Федосенко М. Ю., Фабзиев И. Р. Основные проблемы использования больших данных в современных информационных системах. Столыпинский вестник. 2022;4(1):30. EDN: NDZPQO.

15. Reis D., Piedade B., Correia F. F., Dias J. P., Aguiar A. Developing docker and docker-compose specifications: A developers’ survey. IEEE Access. 2022;10:2318–2329. EDN: JWRGVP. DOI: 10.1109/access.2021.3137671.

16. Егоров В. Б. Некоторые вопросы программного определения центров обработки данных. Системы и средства информатики. 2020;30(2):103–112. EDN: FXXGJY. DOI: 10.14357/08696527200210.

17. Roy D., Dutta M. A systematic review and research perspective on recommender systems. Journal of Big Data. 2022;9:59. DOI: 10.1186/s40537-022-00592-5.

18. He Q., Li X., Cai B. Graph neural network recommendation algorithm based on improved dual tower model. Scientific Reports. 2024;14:3853. DOI: 10.1038/s41598-024-54376-3.

19. Бруссард М. Искусственный интеллект: пределы возможного. М.: Альпина нон-фикшн; 2020. 362 с.

20. Макшанов А. В., Журавлев А. Е., Тындыкарь Л. Н. Большие данные. Big Data: учебник для СПО. Санкт-Петербург: Лань; 2022. 188 с.


Рецензия

Для цитирования:


Самылкина Н.Н., Калинин И.А. Современные подходы к организации технологического процесса сбора и подготовки больших данных и связанные с ними новые профессии в ИТ-отрасли: DevOps-инженер и инженер данных. Информатика и образование. 2024;39(5):21-39. https://doi.org/10.32517/0234-0453-2024-39-5-21-39

For citation:


Samylkina N.N., Kalinin I.A. Modern approaches to the organization of the technological process of big data collection and preparation and related new professions in the IT industry: DevOps-engineer and data engineer. Informatics and education. 2024;39(5):21-39. (In Russ.) https://doi.org/10.32517/0234-0453-2024-39-5-21-39

Просмотров: 163


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 0234-0453 (Print)
ISSN 2658-7769 (Online)