Благодаря технологиям компьютерного зрения, машинного перевода и поиска, камера в мобильном приложении Яндекса умеет в реальном времени распознавать и искать предметы, которые попали в объектив. А еще – переводить текст и сканировать документы.
Вот как она работает.
В основе умной камеры лежат технологии компьютерного зрения. С их помощью камера выделяет на изображении отдельные объекты и распознает, что перед ней – стол, стул или, например, комнатное растение.
Для этого используются нейронные сети, обученные на огромном числе примеров. Также технологии компьютерного зрения позволяют найти и распознать надпись на картинке, которую нужно перевести.
Стоит навести на что-нибудь камеру, и она отметит объекты, которые смогла распознать. Про многие из них можно узнать, что это и где продается.
Если понравился рюкзак прохожего, легко посмотреть, где купить такой же или похожий. Также можно узнать название комнатного растения, породу собаки или найти информацию о памятнике архитектуры.
Еще одна удобная функция – перевод надписей с иностранных языков. Если направить на неё камеру, система тут же переведет её с помощью Яндекс.Переводчика.
Переведенный текст появится поверх изображения. Это удобно, если нужно понять, что написано на этикетке или, скажем, на указателе. В приложении также есть сканер: он позволяет сделать цифровую копию любого документа, будь то паспорт или диплом.
Умная камера доступна в приложении Яндекс для iOS и Android. Чтобы её включить, нужно нажать на иконку камеры в поисковой строке.
Технология компьютерного зрения ранее уже была внедрена в Яндекс.Переводчике. Благодаря этому, Яндекс.Браузер научился переводить текст на картинках, что значительно облегчило покупки и поиск информации на зарубежных сайтах.
Опубликовано редакцией Yagla