Дневник обучения. Запись 1: девятьсот сорок часов разговора
Чтобы модель заговорила по-португальски, ей нужно много слушать. Не дикторов и не лекции — живые разговоры двух людей, где перебивают, смеются, переспрашивают. И это должен быть европейский португальский, а не бразильский. Звучит как простая задача: найти записи. На деле весь первый месяц ушёл на то, чтобы понять, что именно искать.
Сначала мы думали, что материала с избытком. Начали с YouTube — разговорные подкасты и передачи португальских радио и телеканалов; YouTube не раз нас притормаживал, пришлось качать медленнее. Всего в открытых каталогах нашлось больше двадцати тысяч часов. Но большая часть оказалась монологами, а значительная — бразильской. Отличить одно от другого автоматически оказалось труднее, чем казалось: классификатор акцента, отлично работавший на записях с YouTube, на других ошибался в обе стороны. Пришлось проверять источники по одному.
Самый большой открытый корпус, который мы нашли, — тысячи часов заседаний парламента с готовой расшифровкой. Бесплатно и аккуратно размечено. Мы его скачали — и отложили. Модель для контакт-центра должна звучать как живой человек, а не как депутат с трибуны.
Главной находкой стали радиоспектакли: почти триста часов естественного многоголосого диалога из одного источника. Дальше — разговорные передачи, радио со звонками слушателей, ток-шоу, университетское радио. Мы пробовали и детские голоса, и мультфильмы — и через день от них отказались: не тот регистр.
Отдельно о нашей ошибке. Сначала мы хотели учить модель на отраслевой лексике — телефония, номера, протоколы. Это была грубая ошибка, и мы её исправили. Модель учится на обычной речи: цены, дорога, дети, школа, машины, отношения, политика. Говорить о деле она научится потом. Сначала — просто говорить.
Самая трудная часть — разделить запись на голоса. Модели нужен каждый собеседник в своей дорожке. Мы попробовали сделать это сами открытыми инструментами: на пилоте вышло 97% точности, при масштабировании — ни одного годного эпизода. Честный отрицательный результат. Дальше помогла известная компания, которая занимается диаризацией — разделением речи по говорящим с точностью до слова. С ней разговор стал разбираться на голоса надёжно.
И последнее правило этого месяца: без покупок. Только открытые и бесплатные источники. Платные корпуса и заказная запись диалогов — не наш путь сейчас.
Итог на сегодня: около девятисот сорока часов разговоров, готовых для обучения, и непрерывный сбор новых. Обучение прошло несколько циклов и теперь идёт без пауз: модель сама берёт новые порции данных, как только они готовы. Медленно — видеокарт по-прежнему мало. В следующих записях — что модель уже умеет, где ошибается и какие цифры у нас получились.