Появился новый алгоритм, который может изучать произведения искусства и находить сходства между ними. Модель обучает сама себя и становится лучше с каждой итерацией.

Новая система, разработанная исследователями из MIT, находит неочевидные сходства между произведениями искусства. Модель MosAIc сканирует изображения, а затем использует глубокие сети, чтобы найти сходства в них — это могут быть культурологические сходства, похожие методы работы или детали, которые не могут заметить даже искусствоведы.

Чтобы использовать MosAIc, пользователь загружает туда изображения, а алгоритм находит похожие произведения искусства. В одном из примеров MosAIc связал работы Франсиско де Сурбарана «Мученичество Святого Серапиона» и Яна Асселина «Испуганный лебедь».

Исследователи пояснили, что эти два художника никогда не встречались друг с другом, не переписывались, однако модель смогла найти несколько сюжетов, которые лежали в основе двух работ.

Особенно сложным аспектом разработки MosAIc было создание алгоритма, который может найти не только сходство в цвете или стиле, но и сюжеты в произведениях искусства. Исследователи изучили глубокую сеть связей, которые уже замечали искусствоведы, а алгоритм изучал логику того, как одни произведения искусства связаны с другими.

Исследователи также использовали новую структуру данных для поиска изображений — KNN Tree, она объединяет картинки в древовидную структуру. Чтобы найти ближайшее совпадение одного изображения с другим, алгоритм начинает со «ствола» связей, а потом следует за ближайшим перспективным «ответвлением». Таким образом, структура данных улучшается самостоятельно. Ученые надеются, что их разработка может быть полезна и в других областях — гуманитарных, общественных науках и медицине.

«Эти области богаты информацией, которая никогда не обрабатывалась с помощью наших методов. Они могут стать источником вдохновения как для ученых, так и просто интересующихся людей».