Facebook анонсировал новый искусственный интеллект, который сможет совершать прямые парные переводы более чем между 100 языками. Система сможет переводить тексты без применения английского языка в качестве промежуточного.

 

По словам представителей компании, новый ИИ сможет производить двунаправленные переводы (например с французского на китайский и наоборот) без использования английского. По оценке BLEU (алгоритм оценки качестве переведённого текста) качество перевода на 10 баллов выше, чем с использованием англо-ориентированной модели.

 

Чтобы создать новый ИИ, команда Facebook использовала сервис CommonCrawl для сбора текстовых примеров по всей Сети. После этого разработчики проанализировали весь материал при помощи системы FastText, которую компания создала несколько лет назад. В итоге удалось сформировать базу данных из 7,5 миллиардов предложений, которые система использует для перевода.

С каким числом языков сможет в будущем работать система, пока неясно. Всё зависит от ресурсов, которые окажутся в распоряжении системы. У основных языков, таких как индийский, китайский или немецкий, много материала, потому что на них публикуется множество текстов в Сети. Гораздо больше проблем с языками на подобии Зулу, которые не так распространены.

 

Компания предоставит международному исследовательскому сообществу набор данных и моделей работы в виде открытого исходного кода. Когда систему внедрят в повседневную работу соцсети, пока неясно.