Хотели понять, как устроены популярные Offline RL алгоритмы, но не смогли найти понятных и доступных имплементаций, с которыми легко экспериментировать? Мы тоже! Поэтому в Tinkoff AI решили написать свою собственную open-source библиотеку CORL со всеми популярными Offline RL алгоритмами в доступной форме — на каждый алгоритм по одному файлу и с минимумом зависимостей.

В докладе расскажу подробнее о том, почему решили писать своё с нуля, что из этого вышло и как это повлияло на наши новые исследования в Offline RL.

Доклад рассчитан на тех, кому интересен Offline RL, кому интересно узнать об опыте open-source проектов и о том, как устроен процесс исследований в Tinkoff AI. Слушатели поймут, чем исследования в RL отличаются от применения на практике и почему для этого могут потребоваться библиотеки с разной философией.