Современная платформа данных
Тезисы
Многие знают, что такое платформа данных, а некоторые даже строят, однако каждый подразумевает под этим термином что-то свое.

В докладе я расскажу про своё видение платформы данных, предпосылки появления в СберЗдоровье и конкретную архитектуру на основе современных open-source компонентов.

Так же я подробно остановлюсь на DataOps части платформы, которую можно иллюстрировать парадигмой everything-as-code и благодаря которой россыпь компонентов объединяется в единое целое.

Доклад рассчитан на дата-инженеров и архитекторов, а также всех, кому может быть интересна конкретная реализация платформы данных на основе современных компонентов с учетом near realtime и работы с персданными.

Слушатели смогут:
  • расширить кругозор и узнать про современные инструменты (airbyte, dbt, datahub);
  • увидеть на конкретном примере, как выстроена платформа данных;
  • посмотреть everything-as-code на практике: вся платформа управляется декларативно из yaml конфигов (ingest, dq, clickstream) и легкого фреймворка на основе python (dwh transform).
Многие знают, что такое платформа данных, а некоторые даже строят, однако каждый подразумевает под этим термином что-то свое.

В докладе я расскажу про своё видение платформы данных, предпосылки появления в СберЗдоровье и конкретную архитектуру на основе современных open-source компонентов.

Так же я подробно остановлюсь на DataOps части платформы, которую можно иллюстрировать парадигмой everything-as-code и благодаря которой россыпь компонентов объединяется в единое целое.

Доклад рассчитан на дата-инженеров и архитекторов, а также всех, кому может быть интересна конкретная реализация платформы данных на основе современных компонентов с учетом near realtime и работы с персданными.

Слушатели смогут:
  • расширить кругозор и узнать про современные инструменты (airbyte, dbt, datahub);
  • увидеть на конкретном примере, как выстроена платформа данных;
  • посмотреть everything-as-code на практике: вся платформа управляется декларативно из yaml конфигов (ingest, dq, clickstream) и легкого фреймворка на основе python (dwh transform).
Видеозапись доклада
Информация о спикере
Олег Кочергин
Head of data, СберЗдоровье
20+ лет в айтишке, первые 15 в разработке, последние 7 в data.
В 2019 году, когда это еще не было популярно, в Альфа-Банке запускал разработку feature store.
Дважды успешно разрабатывал inhouse платформу продуктовой аналитики.
https://www.linkedin.com/in/oleg-kochergin-660438108/
  • Олег Кочергин
    Head of data, СберЗдоровье
    20+ лет в айтишке, первые 15 в разработке, последние 7 в data.
    В 2019 году, когда это еще не было популярно, в Альфа-Банке запускал разработку feature store.
    Дважды успешно разрабатывал inhouse платформу продуктовой аналитики.
    https://www.linkedin.com/in/oleg-kochergin-660438108/
Все доклады секции