Запрос счёта
Заполните поля ниже, чтобы получить счёт на оплату билетов PyCon Russia от юридического лица
Тестовый запрос счета
Заполните поля ниже, чтобы получить счёт на оплату билетов PyCon Russia от юридического лица
Оценка качества диалогов поддержки с помощью LLM-пайплайна
Тезисы
Клиенты МТС ежедневно направляют в поддержку сотни тысяч запросов. Чтобы предоставлять им лучший сервис, мы разработали пайплайн, который ежеднево оценивает качество обработки этих обращений. В докладе расскажем как мы строили этот пайплайн, что он оценивает и как устроен. Конечно, не обошлось без LLM, поэтому покажем наши эксперименты с ними для этой задачи.
Клиенты МТС ежедневно направляют в поддержку сотни тысяч запросов. Чтобы предоставлять им лучший сервис, мы разработали пайплайн, который ежеднево оценивает качество обработки этих обращений. В докладе расскажем как мы строили этот пайплайн, что он оценивает и как устроен. Конечно, не обошлось без LLM, поэтому покажем наши эксперименты с ними для этой задачи.
Информация о спикере
Ангелина Большина
Tech Lead NLP Customer Support, MWS AI, Москва
Кандидат филологических наук и специалист в области NLP.
В разных ролях на профессиональном пути успела поработать над NLP-моделями для ASR/TTS, медтеха, банковской сферы и HR-Tech. В MWS AI руковожу командой NLP для задач клиентской поддержки. Вместе с коллегами мы разрабатываем и поставляем ML-компоненты для чат-ботов, создаем кастомные модели для отдельных задач (например, модель-пунктуатор, модель суммаризации диалогов и т.д.), а также занимаемся прикладными исследованиями в области NLP.
В разных ролях на профессиональном пути успела поработать над NLP-моделями для ASR/TTS, медтеха, банковской сферы и HR-Tech. В MWS AI руковожу командой NLP для задач клиентской поддержки. Вместе с коллегами мы разрабатываем и поставляем ML-компоненты для чат-ботов, создаем кастомные модели для отдельных задач (например, модель-пунктуатор, модель суммаризации диалогов и т.д.), а также занимаемся прикладными исследованиями в области NLP.
Все доклады трека