Черное становится прозрачным: создан интерактивный инструмент, позволяющий наблюдать за работой автоматизированной системы машинного обучения и корректировать ее. Уверенней с ИИ себя чувствуют даже те, кто вовсе не знаком с машинным обучением.

Разработка модели машинного обучения для определенных задач — классификации изображений, диагностики или предсказания колебаний фондового рынка — процесс долгий и в итоге непрозрачный. Эксперты должны выбрать между множеством различных алгоритмов тот, на котором будут строить свою модель. Затем вручную настроить «гиперпараметры», определяющие общую структуру модели. Лишь после этого начинается ее обучение.

Недавно разработанные автоматизированные системы машинного обучения (AutoML) многократно тестируют и модифицируют алгоритмы и их параметры, и выбирают наиболее подходящие модели. Но они действуют как «черные ящики», то есть их методы скрыты от пользователей. А раз неясен метод принятия решения, значит, неизвестны и основания для этого. Поэтому результатам нельзя доверять и, кроме того, их сложно настроить под конкретные нужды, пишет MIT News.

Разработчики из MIT (США), Гонконгского университета науки и технологии и Чжэцзянского университета (Китай) представили на Конференции по человеческому фактору в компьютерных системах инструмент ATMSeer, который передает анализ и контроль над методами AutoML в руки пользователя.

ATMSeer анализирует AutoML — набор данных и информацию о поставленной задаче. А затем визуализирует процесс поиска в удобном для пользователя интерфейсе, обобщая информацию о производительности модели.

Испытания показали, что пользователи, не знакомые с AutoML, после применения ATMSeer чувствовали себя увереннее в выборе модели на 85%. Почти все участники эксперимента оценили удобство этого инструмента. Теперь вся информация находится в одном месте, и исследователи могут видеть, что происходит «за кулисами».

Похожий инструмент визуализации процесса принятия решений нейронной сети разработали в IBM и Гарварде. Инструмент Seq2Seq-Vis создает визуальное представление различных этапов процесса перевода для проверки решений модели и поиска ошибок.