Команда ученых из американского Корнелл Тек, Университета Северной Каролины и швейцарского института EPFL в Лозанне выполнили обратное проектирование ИИ на основании запросов и анализа ответов. Таким образом они смогли с почти 100% точностью скопировать чужой ИИ.

В сфере информатики считается, что, обучая ИИ, мы создаем черный ящик: поглотив большое количество данных, система начинает выдавать ответы, алгоритм появления которых никто, даже создатели этого ИИ, не могут до конца понять. Однако, недавнее исследование доказывает, что ИИ можно понять — и украсть — даже извне, пишет Wired.

«Вы берете черный ящик и реконструируете его внутренности через очень узкое отверстие интерфейса, — говорит профессор Ари Джуэлс. — В некоторых случаях можно сделать действительно идеальную реконструкцию».

Этот трюк можно использовать на сервисах, которые предоставляют такие компании, как, например, Amazon, Google, Microsoft и BigML, которые позволяют пользователю публиковать или раскрывать результат машинного обучения. Метод ученых, который они назвали «извлекающей атакой» (extraction attack), может дублировать ИИ, считающиеся частной собственностью, а в некоторых случаях даже восстанавливать конфиденциальные данные, на основе которых ИИ обучали.