Яндекс создал свой датасет изображений на базе CTR

Специалисты Яндекса создали свой датасет изображений, использовав для нанесения семантической разметки показатель CTR и нейронные сети, об этом рассказал ведущий специалист Яндекса в области глубинного обучения и компьютерного зрения Константин Лахман на саммите «МАШИНЫ МОГУТ ВИДЕТЬ» (STRELKA, 9 июня 2017 года).

Спикер отметил, что перед компьютерным зрением сегодня стоят многие задачи, одна из которых консолидация изображений  для использования поисковой системой. Сотрудники Яндекса решают задачу поиска изображений по запросам пользователей, а также по сходствам с другими изображениями. Для решения данной задачи необходимо производить разметку изображений, присваивать им теги. В то же время, база размеченных изображений не удовлетворяет запросы пользователей, поделился Лахман.

Для сокращения, затрачиваемого на присвоение тегов времени и создания собственного датасета, Яндекс использовал технологии transfer learning, которая позволяет верифицировать классификации разных датасетов и для облегчения сворачивать слои нейронной сети.

По словам Лахмана, датасет Яндекса создавался с использованием ImageNeta на тысячу классов изображений, ImageNeta на 10 тыс классов, баз Yahoo flickr и т.д. В качестве дополнительного параметра была взята «кликабельность» изображения, т.н. рейтинг CTR. В итоге точность совпадения поискового запроса с предложенным изображением превысила 86%.

Отвечая на вопросы собравшихся, Лахман сказал, что компания пока не имеет планов по публикации датасета.