Мы мельком заглянули в будущее онлайн поиска, и вот что мы там увидели: 17 секундное видео со щеночком , предоставленное Clarifai – небольшим стартапом, специализирующимся на искусственном интеллекте.

Видео показывает милого щеночка, тыкающегося в свою хозяйку, но самое интересное находится в линиях снизу видео. Использую базу данных из 10 000 визуальных категорий, которую Clarifai собрали за последние пол года, программное обеспечение компании следит за каждым кадром видео, автоматически описывая их такими словами, как «собака», «женщина», «глаза» и даже «милый».

Основная идея в том, что вы можете после этого искать по этим словам и ПО покажет те кадры, где появляются изображения, соотвествующие им.

Эта часть тренда в ИИ, называемого «deep learning», широко используемого технологическими гигантами, позволяет достигнуть человеческих уровней распознавания. Google использует deep learning для улучшения распознавания голоса в Android. Microsoft использует его для мгновенного перевода с языка на язык в стиле Star Track. Facebook с его помощью улучшает автоматическое распознавание людей на фото. И, в скором времени, deep learning изменит, как мы будем искать видео, делая возможным автоматический анализ клипов с распознанием того, что на них происходит.

Это очень важно, потому что в настоящее время технологии поиска по видео выдают результаты, основывающиеся на тексте, который содержится за пределами видео – заголовках, комментариях или метаданных или используя теги, проставленные при загрузке. С помощью этих технологий можно найти видео автомобильной погони, но найти момент, когда она начинается не предоставляется возможным.

Директор Clarifai, Matthew Zeiler, говорит, что они могут решить эту проблемы. Мы писали о Zeiler в прошлом году, когда его алгоритмы ИИ выиграли престижный конкурс распознавания изображений ImageNet. В настоящее время Clarifai уже продают высококачественное ПО поиска по изображениям, которое может быть использовано на смартфонах, компаниями, предоставляющими каталоги или любым, кто работает с большими объёмами изображений.

Технологии поиска по видео могут привнести deep learning для использования в архивах видео или даже в такие компании, как GoPro. Представьте себе, что вы может получить все моменты, когда отрываетесь от земли из видео, отснятых на горнолыжном отдыхе. Или поиск грабителя садового гнома с вашей лужайки на видео с камер наблюдения. Мы удивимся, если, в течении ближайших лет, вы не сможете делать подобный поиск в том числе по видео на YouTube.

К тому времени, ПО от Clarifai скорее всего сможет автоматически обрабатывать и обощать видео и даже сортировать их по тому, что в них происходит. «Это лишь вершина айсберга», говорит Zeiler.