Генерация данных для квантования нейронных сетей: Data-Free Quantization
Тезисы
Иногда требуется получить данные, характерные для имеющейся нейронной сети. Такие данные нужны, например, при квантовании модели – т.е подборе новых целочисленных весов среди ограниченного количества дискретных значений. Для квантования полезно иметь исходную обучающую выборку, чтобы дообучить модель или хотя бы оценить характерный масштаб активаций в слоях. Однако доступа к обучающей выборке может и не быть. Тогда требуется по самой нейронной сети получить данные того же домена.

В докладе обсудим современные подходы к Data-Free Quantization: разберемся, как дистиллировать обучающие сэмплы из batch-norm статистик, как построить генератор данных, подойдут ли open-source данные из другого домена и можно ли вообще обойтись без данных при квантовании.

Доклад рассчитан на data-science специалистов, знакомых с нейросетями, но не знакомых с их квантованием, интересующихся узнать новое для себя направление.
Иногда требуется получить данные, характерные для имеющейся нейронной сети. Такие данные нужны, например, при квантовании модели – т.е подборе новых целочисленных весов среди ограниченного количества дискретных значений. Для квантования полезно иметь исходную обучающую выборку, чтобы дообучить модель или хотя бы оценить характерный масштаб активаций в слоях. Однако доступа к обучающей выборке может и не быть. Тогда требуется по самой нейронной сети получить данные того же домена.

В докладе обсудим современные подходы к Data-Free Quantization: разберемся, как дистиллировать обучающие сэмплы из batch-norm статистик, как построить генератор данных, подойдут ли open-source данные из другого домена и можно ли вообще обойтись без данных при квантовании.

Доклад рассчитан на data-science специалистов, знакомых с нейросетями, но не знакомых с их квантованием, интересующихся узнать новое для себя направление.
Видеозапись доклада
Появится здесь после конференции
Информация о спикере
Павел Плюснин
Старший инженер, Huawei
Руковожу небольшой научной группой по квантованию нейронных сетей в Huawei. Делаем так, чтобы передовые технологии быстро работали на смартфонах, в умных часах и прочих гаджетах.

Даю в руки медикам и биологам Физтеха мощный инструмент Машинного Обучения: веду курс по Продвинутому Программированию и Анализу Данных для студентов МФТИ.

Являюсь автором и ведущим курса по Словесной Импровизации: помогаю людям замечать интересности в своей жизни и рассказывать об этом истории.
  • Павел Плюснин
    Старший инженер, Huawei
    Руковожу небольшой научной группой по квантованию нейронных сетей в Huawei. Делаем так, чтобы передовые технологии быстро работали на смартфонах, в умных часах и прочих гаджетах.

    Даю в руки медикам и биологам Физтеха мощный инструмент Машинного Обучения: веду курс по Продвинутому Программированию и Анализу Данных для студентов МФТИ.

    Являюсь автором и ведущим курса по Словесной Импровизации: помогаю людям замечать интересности в своей жизни и рассказывать об этом истории.
Все доклады трека