Запрос счета
Заполните поля ниже, чтобы получить счет на оплату билетов PyCon Russia от юридического лица. Футболки PyCon Russia можно купить в Магазине IT-People
Юр. лицо
ИНН
Количество билетов на конференцию
+
Промокод (если есть)
Отказоустойчивое масштабирование ETL систем
Тезисы
Из доклада вы узнаете о том, какие проблемы ожидают ETL проект во время фазы активного увеличения кодовой базы, как их можно эффективно решать с помощью изолированных идемпотентных шагов пайпланов.

Я расскажу вам, как сохранить консистентность данных с помощью отказоустойчивых хранилищ и организовать ETL систему таким образом, чтобы состояние данных можно было восстановить в случае их потери. Также расскажу, как обеспечить работоспособность ETL и streaming процессов при условии отказов в серверной инфраструктуре. Рассмотрим, какие возможности по масштабированию нагрузки возникают при данном архитектурном подходе.

Доклад рассчитан на специалистов уровня middle и выше.

Слушатели узнают текущую ситуацию с python приложениями на Airflow:
  • Как правильно версионировать данные в ETL системах
  • ETL пайплайны на python в условиях нестабильной технической инфраструктуры
  • Адаптивное масштабирование ETL систем под доступные ресурсы
  • Отказоустойчивое использование python streaming приложений
Из доклада вы узнаете о том, какие проблемы ожидают ETL проект во время фазы активного увеличения кодовой базы, как их можно эффективно решать с помощью изолированных идемпотентных шагов пайпланов.

Я расскажу вам, как сохранить консистентность данных с помощью отказоустойчивых хранилищ и организовать ETL систему таким образом, чтобы состояние данных можно было восстановить в случае их потери. Также расскажу, как обеспечить работоспособность ETL и streaming процессов при условии отказов в серверной инфраструктуре. Рассмотрим, какие возможности по масштабированию нагрузки возникают при данном архитектурном подходе.

Доклад рассчитан на специалистов уровня middle и выше.

Слушатели узнают текущую ситуацию с python приложениями на Airflow:
  • Как правильно версионировать данные в ETL системах
  • ETL пайплайны на python в условиях нестабильной технической инфраструктуры
  • Адаптивное масштабирование ETL систем под доступные ресурсы
  • Отказоустойчивое использование python streaming приложений
Видеозапись доклада
Появится здесь после конференции
Информация о спикере
Андрей Попов
Техлид, Positive Technologies
Занимаюсь разработкой с 2003 года. Питон мой родной язык, использую с первых версий. Сейчас руковожу командой опытных программистов.
Андрей Попов
Техлид, Positive Technologies
Занимаюсь разработкой с 2003 года. Питон мой родной язык, использую с первых версий. Сейчас руковожу командой опытных программистов.
Все доклады секции