«Яндекс.Переводчик» объединил статистический перевод с нейросетью

РИАМО – 14 сен. Сервис «Яндекс.Переводчик» начал использовать гибридную систему перевода, во время которой используется статистическая модель и технология нейронной сети — это позволяет взять лучшее от каждого метода и повысить качество перевода, говорится в сообщении пресс-службы компании «Яндекс».

«Яндекс.Переводчик» начал использовать гибридную систему перевода. К статистической модели, которая работает в переводчике с момента запуска, добавилась технология перевода на нейронной сети. Текст переводят обе модели, а затем алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший», — говорится в пресс-релизе.

Нейронная сеть не разбивает текст на отдельные слова и фразы, а выдает полностью перевод предложения, что позволяет учесть контекст. Также эта технология предлагает в качестве перевода грамотно составленное предложение. В то же время статистическая модель лучше переводит редкие слова и фразы и не «фантазирует», как это может сделать нейросеть.

«Исходное предложение: «Can I have a banana?». Статистический перевод: «Я могу есть банан?». Нейросетевой перевод: «Можно банан?» — приводится пример в сообщении.

Гибридная система позволяет взять лучшее от обоих методов и повысить качество перевода. Помимо этого, специальная модель языка исправляет перевод, сделанный нейронной сетью, чтобы избежать грамматических ошибок.

Сейчас гибридная система работает только для переводов с английского на русский — это самое популярное направление, на него приходится 80% запросов.

Сервис «Яндекс.Переводчик» заработал в 2011 году, тогда он мог работать с русским, украинским и английским языками. Сейчас сервис знает 94 языка, включая экзотические, и переводит любые пары языков.