Самылкина Надежда Николаевна, доктор пед. наук, доцент, профессор кафедры теории и методики обучения информатике, Институт математики и информатики
Nadezhda N. Samylkina, Doctor of Sciences (Education),Docent, Professor at the Department of Theory and Methodology of Informatics Education, Institute of Mathematics andInformatics
Калинин Илья Александрович , канд. пед. наук, доцент, начальник управления информатизации, Департамент цифрового развития, доцент кафедры международной информационной безопасности, Институт информационных наук
Ilya A. Kalinin, Candidate of Sciences (Education), Docent, Head of Informatization Administration, the Department of Digital Development, Moscow State Linguistic University Associate Professor at the Department of International Information Security, Institute of Information Sciences
В статье рассмотрены современные технологические подходы к организации сбора и обработки больших данных, а также распространения и использования приложений с помощью платформы Docker с загрузкой и запуском комплекса приложений на основе контейнерного подхода к виртуализации. Кратко изложены основы постановки задачи по обработке больших данных и возникающие при этом технические проблемы масштабирования технической платформы и обеспечения качества данных. На примере развертывания и использования системы управления базами данных PostgreSQL со средствами управления и аналитической платформы Apache Superset представлен современный подход к организации получения, трансформации и последующей демонстрации данных в виде пульта. Работа с данными показана на примере цикла обработки реального набора открытых данных с демонстрацией всех основных этапов — загрузки, очистки, предварительного анализа и визуализации. В контексте рассмотренных технологий и подходов к организации рабочего процесса в виде конвейера приводятся примеры рабочих задач DevOps-инженера и инженера данных, подчеркивается необходимость их работы в составе команды. Продемонстрированные в статье технические решения могут также применяться при изучении тем «Базы данных», «Инфографика», «Анализ данных» в углубленном курсе информатики технологического профиля в качестве иллюстрации сложности рассматриваемых процессов и при подготовке будущих учителей информатики.
The article modern technological approaches to the organization of big data collection and preparation, as well as the distribution and use of applications with the help of the Docker platform, loading and launching a set of applications on the basis of the container approach to virtualization, are considered. The basics of big data processing task formulation and technical problems of technical platform scaling and data quality assurance are briefly outlined. On the example of deploying and using PostgreSQL database management system with management tools and Apache Superset analytics platform, a modern approach to organizing data acquisition, transformation and subsequent demonstration in the form of a dashboard is presented. Work with data is shown on the example of a real open data set processing cycle with demonstration of all the main stages — loading, cleaning, preliminary analysis and visualization. In the context of the considered technologies and approaches to workflow organization in the form of a pipeline, examples of DevOps engineer and data engineer work tasks are given, the necessity of their work as part of a team is emphasized. The technical solutions demonstrated in the article can also be used in the study of the topics “Databases”, “Infographics”, and “Data analysis” in the advanced informatics course of technological profile as an illustration of the complexity of the relevant processes and in the training of future informatics teachers.
The authors declare that there are no conflicts of interest present.