Serverless для деплоя ml/dl моделей (с gpu зависимостью)
Тезисы
Покажу, как можно запаковать ml/dl модельку в serverless за 20-30 минут (при условии, что код уже запускается на локалке) на примере http://modal.com (онлайн задачи) и gcp vertex jobs (оффлайн задачи).

Основной профит, который можно будет вынести с доклада — сакральные знания (нет), темплейт упаковки, док, как это паковать.

Ну и еще поговорим про:
  1. текущую ситуацию на рынке serverless сервисов с поддержкой gpu — какие еще есть сервисы
  2. плюсы и минусы serverless (священный холивар selfhosted vs serverless)
  3. как съехать с них на другой serverless или на self-hosted
  4. особенности/грабли/боль двух платформ выше
Покажу, как можно запаковать ml/dl модельку в serverless за 20-30 минут (при условии, что код уже запускается на локалке) на примере http://modal.com (онлайн задачи) и gcp vertex jobs (оффлайн задачи).

Основной профит, который можно будет вынести с доклада — сакральные знания (нет), темплейт упаковки, док, как это паковать.

Ну и еще поговорим про:
  1. текущую ситуацию на рынке serverless сервисов с поддержкой gpu — какие еще есть сервисы
  2. плюсы и минусы serverless (священный холивар selfhosted vs serverless)
  3. как съехать с них на другой serverless или на self-hosted
  4. особенности/грабли/боль двух платформ выше
Видеозапись доклада
Появится здесь после конференции
Информация о спикере
Андрей Литвинов
ML engineer, Rosebud AI
  • Андрей Литвинов
    ML engineer, Rosebud AI
Все доклады трека