Calltouch Предикт: 365 дней распознавания речи и машинного обучения

Уже давно «звонящий» рынок перешел с модели «плачу за звонок» на модель «плачу за звонок, который ведет к продаже». В автомобильном бизнесе – это звонки в отдел продаж, в недвижимости – звонки, которые приводят новых клиентов, в медицине – первичная запись пациентов и так далее.

Важность определения целевых звонков заключается в том, что в подобных сферах до 70% входящих звонков не интересны маркетологу для настройки рекламы: это звонки от текущих или повторных клиентов, сотрудников, различный спам и пр. Опираясь на общее количество обращений, рекламщик будет считать эффективным источник, который по факту не приводит новых клиентов. Для того, чтобы оптимизировать затраты на рекламу, звонки нужно разделять и размечать на те, которые приводят к продаже, и те, которые нет. В итоге у компании есть выбор: возложить этот ручной труд тегирования звонков на плечи операторов или продавцов или использовать нейронные сети и другие методы машинного обучения.

В середине 2016 года мы первые на рынке запустили технологию автоматического определения качества и результата телефонного звонка. В основу Calltouch Predict легла система распознавания речи SpeechKit от Яндекс и собственные алгоритмы компании. Мы услышали довольно много скепсиса в свой адрес о том, что это не будет работать.

В общем, год спустя мы готовы рассказать без чего тегирование звонков действительно не будет работать эффективно:

Точность распознавания не ниже 90%

Вроде бы очевидное заявление, что автоматическое определение качества и результата телефонного звонка нужно именно для того, чтобы нивелировать человеческий фактор при работе оператора с CRM. Если точность составляет, например, 80%, то такую систему можно и не внедрять, а довольствоваться работой сотрудников контактного центра. 2 ошибки на 10 звонков — это обычная ручная погрешность. Технология должна обеспечивать более высокую точность определения звонка. Что для этого нужно? Тут все просто: чем больше данных для обучения модели, тем выше точность распознавания речи и типирования звонков. Специалистам по транскрибации надо потратить время и расшифровать вручную не менее миллиона звонков. Это поможет накопить большую базу данных и улучшить языковую модель, тем самым сократив процент word error rate (ошибок распознавания речи) до минимума. Наших клиентов удовлетворяет нижняя планка в 90%. Поэтому сейчас система даже не начнет автоматически ставить теги, если точность ниже этого показателя.

Нормализатор

У продукта должна быть система, которая приводит все словоформы к определенному виду (склонения, спряжения и т д), для того чтобы осуществлять поиск по единообразным словарным конструкциям. Своего рода нормализатор языка. Это значительно повышает точность типирования звонков.

Оптимизатор

Само по себе автоматическое распознавание и тегирование просто дает набор данных о звонках, которые надо применять при оптимизации рекламных кампаний. Логично, когда система автоматически расставляет теги на звонки, оптимизатор контекстной рекламы «подтягивает» звонки согласно тегам, и все это происходит внутри одной системы. А не сотрудник сводит это руками, используя разные сервисы. Для чего это нужно: ценность целевого звонка для автоматического управления ставками выше, чем ценность данных о продаже: важнее иметь большой массив целевых обращений, которые могли бы привести к продаже, чем маленькую выборку фактически совершенных сделок. Так как зачастую качественный лид может быть неэффективно обработан в отделе продаж.

Пример тестирования (30 дней) системы Predict в тандеме с оптимизатором контекстной рекламы у застройщика Х:
Кол-во уникальных звонков (звонки с новых номеров) – 510
Кол-во уникально — целевых звонков (звонок с нового номера с опред. длительностью) — 410
Кол-во звонков с автоматическим тегом «целевой» – 360

Следовательно, доля истинно целевых звонков среди уникальных составляет 71%, доля истинно целевых среди уникально — целевых 87%. Из этого следует вывод, что 29% звонков не являются целевыми среди уникальных, и 13% не являются целевыми среди уникально целевых. С помощью Predict мы смогли определить долю истинно — целевых звонков, а далее с помощью оптимизатора снизили CPA на 48% и увеличили CR на 115%.

Антифрод

Нельзя игнорировать тот факт, что в некоторых отраслях высокий индекс фрода: не всегда звонок, который якобы приводит к продаже (показ жилья, запись на тест-драйв) ведет к сделке, потому что может быть накруткой от недобросовестной рекламной площадки. В момент телефонного звонка, даже если мы автоматически помечаем его «сделка», клиент не может быть уверены, что это не фродовый звонок по скрипту. К сегментам рынка с высоким процентом фрода относится, например, продажа недвижимости (9%). Для таких компаний тегирование наиболее эффективно работает в цепочке: «входящий звонок — система определения качества звонка — антифрод — тегирование — оптимизатор».

Выявление негатива

Заказчикам продукта оказался необходим контроль качества сотрудников, которые общаются с клиентами. Для того, чтобы исключить ручной труд, система автоматического тегирования должна выделять эти звонки в отдельную категорию. Кроме общеупотребимых негативно окрашенных выражений (для этого используются элементы машинного обучения, такие как скрытый семантический анализ, метод опорных векторов и семантическая направленность в этой области), можно расширять словарь лексических единиц, которые несут риски для клиентов. Например: суд, ФАС, Роспотребнадзор и тд.

Довольно трудно быть первыми во внедрении новых решений: сколько будет грабель – все твои. Нам потребовался год, чтобы собрать первые пять. Думаю, что нас впереди ждет еще много открытий 🙂

Источник: habrahabr.ru