Airflow в коммунальном ML: от боли к эффективному использованию
Тезисы
Как сделать так, чтобы было можно использовать инстанс Аirflow, развёрнутый в Kubernetes, в качестве оркестратора ML-пайплайнов, причём сразу несколькими командами, которые не мешают и даже помогают друг другу?

В докладе я поделюсь теми болями, с которыми нам пришлось столкнуться, и как удалось их решить. Кроме того, я покажу несколько лайфхаков, заметно упрощающих жизнь пользователям Аirflow.

Доклад будет полезен не только MLOps'ам, отвечающим за ML-инфраструктуру, но и тем, кто использует Аirflow для написания пайплайнов.
Как сделать так, чтобы было можно использовать инстанс Аirflow, развёрнутый в Kubernetes, в качестве оркестратора ML-пайплайнов, причём сразу несколькими командами, которые не мешают и даже помогают друг другу?

В докладе я поделюсь теми болями, с которыми нам пришлось столкнуться, и как удалось их решить. Кроме того, я покажу несколько лайфхаков, заметно упрощающих жизнь пользователям Аirflow.

Доклад будет полезен не только MLOps'ам, отвечающим за ML-инфраструктуру, но и тем, кто использует Аirflow для написания пайплайнов.
Видеозапись доклада
Появится здесь после конференции
Информация о спикере
Владимир Пузаков
MLOps, Точка
Москва
Зарабатываю программированием почти 20 лет.

Последнее время развиваю с ребятами ML инфраструктуру в Точке.

Делюсь опытом программирования на нашем любимом языке в рамках сообщества Moscow Python и курсов Learn Python.
  • Владимир Пузаков
    MLOps, Точка
    Москва
    Зарабатываю программированием почти 20 лет.

    Последнее время развиваю с ребятами ML инфраструктуру в Точке.

    Делюсь опытом программирования на нашем любимом языке в рамках сообщества Moscow Python и курсов Learn Python.
Все доклады трека