Наведи порядок в Airflow: как мы внедрили Cluster Policies в флагманском проекте F&R в Magnit Tech

Тезисы
В свой Airflow два раза вот этот механизм внедряй — и прод не будет болеть: разберёмся, как учитывать внутренние соглашения и доменную логику дата-инженерного проекта при работе с ИИ-агентами. На примере Apache Airflow Cluster Policies я покажу, как детерминированные механизмы платформы помогают разделить ответственность: агент генерирует правила и тесты, а код политик валидирует и при необходимости мутирует DAG-и. Мы проследим весь путь такого правила — от требований и спецификации на естественном языке до генерации кода, семантической проверки в CI/CD и применения в Airflow. Отдельно поговорим о том, как дать агенту знания о проекте с помощью AGENTS.md, skills, MCP-интеграций с базами знаний и долговременной памяти вроде ICM. В итоге составим практическую карту: что можно поручить ИИ, где необходимы guardrails, а что должно остаться обычным, детерминированным и проверяемым кодом.
В свой Airflow два раза вот этот механизм внедряй — и прод не будет болеть: разберёмся, как учитывать внутренние соглашения и доменную логику дата-инженерного проекта при работе с ИИ-агентами. На примере Apache Airflow Cluster Policies я покажу, как детерминированные механизмы платформы помогают разделить ответственность: агент генерирует правила и тесты, а код политик валидирует и при необходимости мутирует DAG-и. Мы проследим весь путь такого правила — от требований и спецификации на естественном языке до генерации кода, семантической проверки в CI/CD и применения в Airflow. Отдельно поговорим о том, как дать агенту знания о проекте с помощью AGENTS.md, skills, MCP-интеграций с базами знаний и долговременной памяти вроде ICM. В итоге составим практическую карту: что можно поручить ИИ, где необходимы guardrails, а что должно остаться обычным, детерминированным и проверяемым кодом.
Информация о спикере
Михаил Онянов
Ведущий Python разработчик, Magnit Tech
Привет, я Миша!
Мне 22, я backend-разработчик в Magnit Tech с 3+ годами опыта на Python. Хотел стать актёром, но пошёл в IT — и стал экстравертом разработчиком.

В чём моя экспертиза?
Разработка BI/ETL-систем и систем загрузки данных, доработка open-source проектов и экспертиза в области AI для повышения эффективности разработки. В MagnitTech работаю над крупнейшей системой автопополнения в российском ритейле, улучшаю жизнь дата-инженеров удобными сервисами и автоматизацией их рутины, люблю общаться с бизнесом и разбираюсь в системной аналитике.
Вне работы делаю стартап в сфере BI и учусь в магистратуре.
  • Михаил Онянов
    Ведущий Python разработчик, Magnit Tech
    Привет, я Миша!
    Мне 22, я backend-разработчик в Magnit Tech с 3+ годами опыта на Python. Хотел стать актёром, но пошёл в IT — и стал экстравертом разработчиком.

    В чём моя экспертиза?
    Разработка BI/ETL-систем и систем загрузки данных, доработка open-source проектов и экспертиза в области AI для повышения эффективности разработки. В MagnitTech работаю над крупнейшей системой автопополнения в российском ритейле, улучшаю жизнь дата-инженеров удобными сервисами и автоматизацией их рутины, люблю общаться с бизнесом и разбираюсь в системной аналитике.
    Вне работы делаю стартап в сфере BI и учусь в магистратуре.
Все доклады трека