Купить билет
Запросить счёт

Наведи порядок в Airflow: как мы построили guardrails против нейрослопа с помощью Cluster Policies

Тезисы
В свой Airflow два раза вот этот механизм внедряй — и прод не будет болеть: разберёмся, как учитывать внутренние соглашения и доменную логику дата-инженерного проекта при работе с ИИ-агентами. На примере Apache Airflow Cluster Policies я покажу, как детерминированные механизмы платформы помогают разделить ответственность: агент генерирует правила и тесты, а код политик валидирует и при необходимости мутирует DAG-и. Мы проследим весь путь такого правила — от требований и спецификации на естественном языке до генерации кода, семантической проверки в CI/CD и применения в Airflow. Отдельно поговорим о том, как дать агенту знания о проекте с помощью AGENTS.md, skills, MCP-интеграций с базами знаний и долговременной памяти вроде ICM. В итоге составим практическую карту: что можно поручить ИИ, где необходимы guardrails, а что должно остаться обычным, детерминированным и проверяемым кодом.
В свой Airflow два раза вот этот механизм внедряй — и прод не будет болеть: разберёмся, как учитывать внутренние соглашения и доменную логику дата-инженерного проекта при работе с ИИ-агентами. На примере Apache Airflow Cluster Policies я покажу, как детерминированные механизмы платформы помогают разделить ответственность: агент генерирует правила и тесты, а код политик валидирует и при необходимости мутирует DAG-и. Мы проследим весь путь такого правила — от требований и спецификации на естественном языке до генерации кода, семантической проверки в CI/CD и применения в Airflow. Отдельно поговорим о том, как дать агенту знания о проекте с помощью AGENTS.md, skills, MCP-интеграций с базами знаний и долговременной памяти вроде ICM. В итоге составим практическую карту: что можно поручить ИИ, где необходимы guardrails, а что должно остаться обычным, детерминированным и проверяемым кодом.
Информация о спикере
Михаил Онянов
Ведущий Python разработчик, MAGNIT TECH
Я MLOps-разработчик в Magnit Tech. Работаю над крупнейшей системой автопополнения в российском ритейле и создаю внутренние инструменты для команды дата-инженеров: сервисы, автоматизацию рутины и инженерные стандарты. Помогаю делать так, чтобы сырки всегда оказывались на полках в нужном количестве ✌️

Сейчас занимаюсь бэкендом на Python и развиваю инженерную обвязку нашей дата-платформы вокруг Airflow, Spark и OpenMetadata. Раньше занимался интеграциями и BI-разработкой, работал с Apache Superset и ETL-системами, адаптировал OSS под задачи команд и защищал проекты перед заказчиками. Последний год встраиваю ИИ-агентов в инженерные процессы – так, чтобы они приносили пользу, а не плодили неподдерживаемый нейрослоп.

Когда-то я хотел стать актёром, но пошёл в IT. Теперь выступаю на конференциях – можно сказать, почти получилось 🤫
Вне работы делаю стартап на стыке BI и AI и учусь в магистратуре ИТМО.
  • Михаил Онянов
    Ведущий Python разработчик, MAGNIT TECH
    Я MLOps-разработчик в Magnit Tech. Работаю над крупнейшей системой автопополнения в российском ритейле и создаю внутренние инструменты для команды дата-инженеров: сервисы, автоматизацию рутины и инженерные стандарты. Помогаю делать так, чтобы сырки всегда оказывались на полках в нужном количестве ✌️

    Сейчас занимаюсь бэкендом на Python и развиваю инженерную обвязку нашей дата-платформы вокруг Airflow, Spark и OpenMetadata. Раньше занимался интеграциями и BI-разработкой, работал с Apache Superset и ETL-системами, адаптировал OSS под задачи команд и защищал проекты перед заказчиками. Последний год встраиваю ИИ-агентов в инженерные процессы – так, чтобы они приносили пользу, а не плодили неподдерживаемый нейрослоп.

    Когда-то я хотел стать актёром, но пошёл в IT. Теперь выступаю на конференциях – можно сказать, почти получилось 🤫
    Вне работы делаю стартап на стыке BI и AI и учусь в магистратуре ИТМО.
Все доклады трека