Яндекс создал "гибридный" искусственный интеллект для перевода текстов

14 сентября 2017 г. 10:30:25

Специалисты "Яндекса" создали новую систему онлайн-перевода, которая одновременно использует и старые статистические алгоритмы, и искусственный интеллект, сообщает пресс-служба компании.

"Пока наша новая система поддерживает только перевод с русского на английский язык. В ближайшее время мы начнем добавлять другие языковые пары и в течение нескольких месяцев реализуем поддержку большинства самых популярных языков", — заявили в пресс-службе "Яндекса", отвечая на вопросы корреспондента РИА Новости.

В последние несколько лет ведущие IT-компании начали активно развивать и использовать различные формы искусственного интеллекта для поиска информации в сети, обработки фотографий и их каталогизации и множества других целей, где не классические алгоритмы обработки данных не работают.

Ярким примером этого подхода стала система искусственного интеллекта AlphaGo, открыто обыгравшая чемпионов мира и Европы по го и анонимно победившая сотни топ-игроков в онлайн-системах этой древнекитайской игры.

Большая часть таких разработок основывается на так называемых глубинных, или сверточных нейросетях. Они представляют собой каскады или многослойные структуры из нескольких десятков или сотен более простых нейросетей. Каждая из них обрабатывает не исходные данные, а продукты анализа, полученные сетью, расположенной выше, что позволяет упрощать очень сложные проблемы и решать их при помощи сравнительно скромных вычислительных ресурсов.

Нечто похожее происходит и при использовании искусственного разума для перевода с одного языка на другой. Когда нейросеть "читает" переводимый текст, то она не пытается перевести его по фразам или отдельным словам, а ищет ответ целиком, используя данные, накопленные при анализе текстов, переведенных человеком.

У подобного подхода, как отмечают специалисты "Яндекса", есть как плюсы, так и минусы – в таком виде текст становится более читаемым и похожим на то, как его перевел бы человек, но, с другой стороны, машина периодически начинает "фантазировать", если ей встречаются редкие слова и фразы.

Эту проблему "Яндекс" решил, объединив искусственный разум со старой системой перевода, хорошо справлявшейся с редкими словами, но сталкивавшейся с большими проблемами при их объединении в предложения. Когда пользователь вводит текст, его одновременно переводbт и нейросеть, и статистический алгоритм, после чего система машинного обучения CatBoost, недавно созданная "Яндексом", сопоставляет результаты и собирает из них более читаемый и грамотный вариант.

Сейчас старая версия Яндекс.Переводчика поддерживает 94 языка, в том числе ряд редких и вымышленных, например синдарин — язык эльфов из книг Дж. Р. Р. Толкина.


Источник








comments powered by HyperComments