Самый короткий роман
Этот выпуск — про два движка сразу, потому что их истории зеркальны. Один обещал больше всех и продержался у нас меньше всех: приговор Grok мы вынесли меньше чем за двое суток. Второй ничего особенного не обещал, показал лучший результат за всю историю наших тестов — и всё равно не стал основным. Обе истории — о том, что решает на самом деле.
С Grok всё было быстро. Подключили, дали те же сценарии, что и всем: узнай абонента, проверь баланс, переведи на человека. Из шести попыток перевода он справился с двумя. Из десяти сценариев в целом — с тремя. Тридцать процентов. Для понимания масштаба: предыдущие кандидаты на тех же задачах давали от семидесяти пяти и выше.
Главная беда была та самая, про которую мы просили вас запомнить два выпуска назад: он отказывался звать инструменты. Контекст ясен, инструмент лежит рядом, в инструкции прямым текстом написано «в этой ситуации вызови вот это» — не зовёт. Отвечает сам, из головы. Это, к слову, честно признаёт и собственная документация разработчиков — мы просто убедились на практике, что признание не преувеличено.
Мы не сдались сразу — перепробовали четыре подхода. Усилили правила: ноль исправлений из десяти. Урезали инструкцию втрое, чтобы важное не тонуло в середине текста, — не помогло. Обошли баг подключения, из-за которого инструкция вообще доезжала до движка с опозданием, — чуть лучше, но потолок тот же. Переписали всё в родном для движка формате — тридцать процентов. Стена.
Добила языковая упрямость. На вежливую просьбу абонента «можно по-русски?» движок отвечал по-русски — и через две реплики сползал обратно на украинский. Пять раз из пяти. Для контакт-центра, где половина города говорит на одном языке, а половина на другом, это не причуда — это профнепригодность.
Считать экономику даже не пришлось: цена у него была хорошая, те же пять центов, но тридцать процентов качества не окупаются ни за какие деньги. Пилот закрыли, ресурсы перебросили — и вот тут на сцене появляется тихий герой этой серии.
Параллельно со всем этим цирком мы гоняли вторую версию OpenAI Realtime. И она показала лучший результат за всю историю наших тестов — девяносто шесть и шесть десятых процента на урезанной инструкции. Со своими причудами: жёсткий лимит на размер инструкции, при превышении которого движок молча работал без наших правил, будто их и не было; всё то же сползание в чужой язык на части провалов; и заметно более длинные, вязкие диалоги — там, где будущий победитель укладывался в минуту-полторы, этот разговаривал три-четыре, с лишними кругами и переспросами.
Но не стал он основным не из-за причуд. Опять арифметика: восемнадцать-двадцать центов за минуту в перспективе против пяти. Четырёхкратная разница за качество, которое на живых звонках ощущалось не лучше, а местами и хуже — длиннее, шумнее, утомительнее для человека на том конце. Мы оставили его на скамейке запасных, где он сидит до сих пор: если с основным движком что-то случится, есть кому подхватить.
Итого к середине мая счёт был такой: четыре громких имени попробованы, ни одно не подошло. Красивый голос проиграл скорости разработки, безупречный — цене, самый большой — собственным капризам, самый разрекламированный — самому себе. Основным стал пятый — движок, о котором вы, скорее всего, никогда не слышали, и именно это нам в нём и понравилось. Финал серии — в следующем выпуске.