01 / ОБЪЁМ
1TB+ данных в день
Пакетная обработка больших наборов данных с Apache Spark.
Backend / 2021
Data Pipeline
Пайплайн обработки данных для аналитики с Apache Airflow и Spark.
RAW
Сырые записиIDСУММА
CLEAN
Единый форматIDСУММА
A0189.00
A02129.50
A0342.00
A0465.00
A05210.00
A0618.50
READY
Разделы по дате2026 / 09 / 11— записи
2026 / 09 / 12— записи
Принимаем пакетПроверка 6 записей
ЗАПИСЬ / 01
Выберите запись, чтобы увидеть её преобразование.
ДО11.09.202689,00ПОСЛЕОжидание—
Обработка демонстрационного набора в браузере. Выберите строку RAW для просмотра деталей.
02 / О ПРОЕКТЕ
Что внутри
02 / ОРКЕСТРАЦИЯ
Задачи по порядку
Airflow управляет зависимостями и запускает этапы обработки по расписанию.
03 / СТРУКТУРА
Порядок в данных
Дедупликация исключает повторные записи. Партиции ускоряют работу с нужным диапазоном дат.
СЛЕДУЮЩИЙ ПРОЕКТ