Служба машинного перевода социальной сети Facebook, каждые сутки осуществляющая 4,5 млрд переводов в 2 тыс. языковых направлениях, в конце прошлой недели была переключена с простой модели, использующей фразы, на более продвинутую — базирующуюся на свёрточных нейросетях (Convolutional Neural Network, CNN).

«Обеспечить безукоризненный, высокоточный перевод для 2 млрд людей, использующих Facebook, сложная задача, — объясняется в официальном блоге компании. — Мы должны принимать во внимание одновременно контекст, слэнг, опечатки, сокращения и намерения».

Самое большое отличие новой системы перевода от старой заключается в масштабе анализа. Прежняя, статистическая система переводила слово за словом, максимум, короткие фразы, что создавало проблемы если языки использовали разный порядок следования слов в предложении.

Поэтому, при создании нейронной системы инженеры Facebook взяли за основу рекуррентную нейросеть LSTM (Long Short-Term Memory), учитывающую при переводе контекст исходного предложения целиком. Это позволило осуществлять при необходимости, как например в случае языковой пары английский-турецкий, перестановку слов, отстоящих далеко друг от друга.

«Сравнивая новую систему с фразовой для всех языков, мы видим среднее относительное увеличение на 11% показателя BLEU, широко используемого при оценке точности машинного перевода», — заявляет компания.

Базисом для анонсированной системы послужила инструментальная среда глубокого обучения Caffe2, что улучшило эффективность машинного перевода в 2,5 раза. Весной этого года Facebook сделала Caffe2 открытым проектом, позиционируя её как альтернативу решениям Google Tensorflow и Nvidia GPU.