Мониторинг ML-моделей в production: как измерить data drift и интегрировать это в ML-пайплайн
Тезисы
Поговорим про мониторинг ML-моделей в production: о том, зачем и как это делать, что такое data drift и как его измерить.

Также расскажу о том, почему выбор "правильной" метрики для data drift — одно из главных решений в мониторинге, и поделюсь результатами исследования пяти популярных статтестов, которое мы недавно провели в Evidently. На примерах покажу, как ведут себя разные метрики в зависимости от объема данных и размера data drift.

Слушатели смогут сформировать интуицию о том, как ведут себя различные статтесты для определения data drift, и подобрать подходящую метрику под свою задачу и "сценарий" использования.
Поговорим про мониторинг ML-моделей в production: о том, зачем и как это делать, что такое data drift и как его измерить.

Также расскажу о том, почему выбор "правильной" метрики для data drift — одно из главных решений в мониторинге, и поделюсь результатами исследования пяти популярных статтестов, которое мы недавно провели в Evidently. На примерах покажу, как ведут себя разные метрики в зависимости от объема данных и размера data drift.

Слушатели смогут сформировать интуицию о том, как ведут себя различные статтесты для определения data drift, и подобрать подходящую метрику под свою задачу и "сценарий" использования.
Видеозапись доклада
Информация о спикере
Ольга Филиппова
Lead Data Scientist, Evidently AI
Lead Data Scientist at Evidently AI, open-source ML monitoring
Instructor at Data Mining in Action, largest offline data science course in Russia
Ex Data Science Team Lead at Bank Otkritie
Ex Data Scientist at Mechanica AI and Raiffeisen Bank
https://www.linkedin.com/in/olga-filippova-b029a51b9/
  • Ольга Филиппова
    Lead Data Scientist, Evidently AI
    Lead Data Scientist at Evidently AI, open-source ML monitoring
    Instructor at Data Mining in Action, largest offline data science course in Russia
    Ex Data Science Team Lead at Bank Otkritie
    Ex Data Scientist at Mechanica AI and Raiffeisen Bank
    https://www.linkedin.com/in/olga-filippova-b029a51b9/
Все доклады секции