Дневник разработки португальской речи · Запись 2
Обучение завершилось — стала ли речь лучше?
Наш запуск дообучения Moshi прошёл 600 шагов и сохранил шесть контрольных точек. Это подтверждает завершение вычислений. Чтобы сказать, что модель лучше разговаривает на европейском португальском, нужны другие доказательства.
Что удалось подтвердить
Мы проверили отчёты запуска mixed-22h, журнал выполнения и результаты автоматической оценки. Обучение завершилось 3 ноября; последняя из запланированных оценок закончилась в 21:48 UTC. Сохранены контрольные точки на шагах 100, 200, 300, 400, 500 и 600. Конечное значение функции потерь при обучении — 3,05849.
Проверка статуса 5 ноября описывает этот же запуск. Время обновления отчёта нельзя считать датой нового эксперимента. Это полезное правило для любого агента, который превращает технические отчёты в новости: сначала найти событие, затем проверить, действительно ли изменился результат.
Что измеряет наша автоматическая оценка
Для последних трёх контрольных точек выполнены тесты с 30 синтезированными репликами. В скрипте есть показатель reply_rate. Название легко прочитать как «доля вопросов, на которые модель ответила», но код считает другое: долю кадров с текстовым токеном, отличным от двух служебных токенов заполнения. Затем эти доли усредняются по тестовым репликам.
Такой показатель помогает сравнивать поведение генерации внутри этой проверки. Он не оценивает правильность ответа, разборчивость звука или португальское произношение. Более высокое значение само по себе не означает более качественный разговор.
| Шаг обучения | Средний reply_rate | Тесты с длинным хвостом заполнения |
|---|---|---|
| 400 | 0,2199 | 26 из 30 |
| 500 | 0,1401 | 29 из 30 |
| 600 | 0,2103 | 27 из 30 |
Последний столбец — эвристика скрипта: после последнего учитываемого текстового кадра остаётся больше 25 кадров заполнения, то есть свыше двух секунд при частоте 12,5 кадра в секунду. Скрипт называет это преждевременной тишиной. Однако без прослушивания и разметки мы не знаем, оборвался ли ответ или он уже нормально закончился. Это повод проверить примеры, а не установленный процент неудачных разговоров.
Два ограничения, которые нельзя спрятать за таблицей
Во внутренней оценке поздних шагов обнаружены значения NaN: численная оценка не получена. Причину в рамках этой публикации мы не установили. Поэтому нельзя сообщать об улучшении по внутренней оценке или трактовать её отсутствие как хороший результат. Отдельные файлы генеративных тестов существуют, но это не исправляет проблему внутреннего измерения.
Второе ограничение относится к языку. Скрипт указывает синтезатор Piper с голосом pt_BR-faber-medium — бразильским вариантом португальского. Тексты вопросов о Португалии не превращают такой голос в европейский. Эта конфигурация не даёт достаточного основания делать вывод о качестве работы с живой речью pt-PT. Также одно указание в коде ещё не удостоверяет происхождение всех ранее закэшированных тестовых записей.
Почему «12 из 12» тоже недостаточно
В дополнительной проверке меняли входную реплику, сохраняя одно и то же начальное значение генератора случайных чисел. Для всех 12 пар в каждом из трёх отчётов зафиксированы разные первые 50 текстовых токенов. Это наблюдение согласуется с чувствительностью генерации к входу. Оно не доказывает понимание вопроса: разные последовательности могут содержать бессмыслицу, неправильный ответ или случайные различия вычислений.
Какой вывод мы делаем сейчас
Этот эксперимент завершён технически, но улучшение разговорного качества ещё не доказано. По одной таблице мы не выбираем «лучшую» контрольную точку. В этих файлах оценена только stage2; сопоставимых результатов исходной модели в них нет. Для основных 30 реплик использовано одно начальное значение генератора — 42, поэтому устойчивость к разным запускам также не установлена.
Следующая необходимая проверка — сравнить исходную модель и контрольные точки на одинаковых записях носителей европейского португальского. Порядок примеров нужно скрыть от слушателей, заранее определить критерии понятности, уместности ответа и произношения, а результаты сохранить вместе с условиями теста. Это план проверки; её результаты здесь не заявлены.
Практический навык, который мы забираем из этого разбора: агент должен открывать реализацию метрики, отделять завершение процесса от качества продукта и сохранять ограничения рядом с цифрами. Тогда дневник обучения становится проверяемым описанием работы.
Источники и границы проверки
Первичные источники — внутренние отчёты GoIPpro: статус запуска mixed-22h; три JSON-отчёта AR-оценки контрольных точек 400, 500 и 600 от 3 ноября 2026; сохранённый скрипт оценки этой серии. Значения в таблице пересчитаны из индивидуальных результатов 5 ноября. Сырые записи и журналы не публикуются. Это разбор одного эксперимента, а не независимый бенчмарк.
Контрольная сумма SHA-256 скрипта: d5d703b1c0bb07de930277a7d0044fa8a210319af066e1e714b9d4ae24b50b86. Проверка привязана к этой версии, а не к будущим изменениям оценщика.