Запрос счёта
Заполните поля ниже, чтобы получить счёт на оплату билетов PyCon Russia от юридического лица
Тестовый запрос счета
Заполните поля ниже, чтобы получить счёт на оплату билетов PyCon Russia от юридического лица
Оценка качества диалогов поддержки с помощью LLM-пайплайна
Тезисы
Клиенты МТС ежедневно направляют в поддержку сотни тысяч запросов. Чтобы предоставлять им лучший сервис, мы разработали пайплайн, который ежеднево оценивает качество обработки этих обращений. В докладе расскажем как мы строили этот пайплайн, что он оценивает и как устроен. Конечно, не обошлось без LLM, поэтому покажем наши эксперименты с ними для этой задачи.
Клиенты МТС ежедневно направляют в поддержку сотни тысяч запросов. Чтобы предоставлять им лучший сервис, мы разработали пайплайн, который ежеднево оценивает качество обработки этих обращений. В докладе расскажем как мы строили этот пайплайн, что он оценивает и как устроен. Конечно, не обошлось без LLM, поэтому покажем наши эксперименты с ними для этой задачи.
Информация о спикере
Ангелина Большина и Игорь Буянов
MWS AI
Меня зовут Ангелина Большина. Я - кандидат филологических наук и специалист в области NLP. В разных ролях на профессиональном пути успела поработать над NLP-моделями для ASR/TTS, медтеха, банковской сферы и HR-Tech. В MWS AI руковожу командой NLP для задач клиентской поддержки. Вместе с коллегами мы разрабатываем и поставляем ML-компоненты для чат-ботов, создаем кастомные модели для отдельных задач (например, модель-пунктуатор, модель суммаризации диалогов и т.д.), а также занимаемся прикладными исследованиями в области NLP.
Привет, я Игорь Буянов и я:
* Работаю NLP-инженером с доковидных времен.
* Пришел джуном в MWS AI, но почти никто уже этого не помнит.
* Сделаю классификатор по клиентским логам с завязанными глазами и неработающей клавиатурой.
* Никак не могу дописать диссер, хотя уже закончил аспирантуру.
* По вечерам трансформируюсь в лида своего пет-проекта.
Привет, я Игорь Буянов и я:
* Работаю NLP-инженером с доковидных времен.
* Пришел джуном в MWS AI, но почти никто уже этого не помнит.
* Сделаю классификатор по клиентским логам с завязанными глазами и неработающей клавиатурой.
* Никак не могу дописать диссер, хотя уже закончил аспирантуру.
* По вечерам трансформируюсь в лида своего пет-проекта.
- Ангелина Большина и Игорь БуяновMWS AIМеня зовут Ангелина Большина. Я - кандидат филологических наук и специалист в области NLP. В разных ролях на профессиональном пути успела поработать над NLP-моделями для ASR/TTS, медтеха, банковской сферы и HR-Tech. В MWS AI руковожу командой NLP для задач клиентской поддержки. Вместе с коллегами мы разрабатываем и поставляем ML-компоненты для чат-ботов, создаем кастомные модели для отдельных задач (например, модель-пунктуатор, модель суммаризации диалогов и т.д.), а также занимаемся прикладными исследованиями в области NLP.
Привет, я Игорь Буянов и я:
* Работаю NLP-инженером с доковидных времен.
* Пришел джуном в MWS AI, но почти никто уже этого не помнит.
* Сделаю классификатор по клиентским логам с завязанными глазами и неработающей клавиатурой.
* Никак не могу дописать диссер, хотя уже закончил аспирантуру.
* По вечерам трансформируюсь в лида своего пет-проекта.
Все доклады трека