Сейчас в Google можно искать по картинкам четырьмя разными способами:
- просто перетащить изображение из интернета или с компьютера в окно поиска;
- загрузить файл с помощью специального окна;
- нажать на картинку правой кнопкой мыши и скопировать ее URL, а затем предложить Google поискать по этой ссылке;
- установить расширение для браузеров Google Chrome или Firefox, после нажать на картинку в интернете правой кнопкой мыши.
В 2017-м появился Google Lens — система для «понимания» изображений: по загруженному фото она может распознать текст на незнакомом языке, определить улицу и номер дома по вывеске, рассказать о незнакомом растении и т.д. К 2022 году она должна научиться сочетать поиск по картинке и тексту.
Главная ценность такого сочетания — более сложные сценарии, которые нужны пользователям: например, как починить конкретную деталь велосипеда или найти предмет одежды с понравившимся принтом.
Как устроен визуальный поиск
В основе визуального поиска лежит компьютерное зрение и глубокое машинное обучение. Чтобы так обучить систему, требуется время, многочисленные тесты и большой объем входной информации (до нескольких миллионов фотографий конкретного товара в разных ракурсах, при разном освещении и на разном фоне). Так система анализирует входные данные и запоминает основные атрибуты товара: форму, размер, цвет и т.д.
