Своим впечатляющим прогрессом в последние годы системы искусственного интеллекта обязаны использованию нейросетей, которые способны обучаться обнаружению закономерностей в массивах информации, например, выявлять определённые объекты на цифровых фотографиях или распознавать фразы, произнесённые на естественном языке.

Один из существенных недостатков искусственной нейросети состоит в том, что она является вещью в себе, работающей по своим, никому не понятным правилам.

На Конференции по эмпирическим методам в обработке естественного языка, организованной Ассоциацией вычислительной лингвистики, исследователи из лаборатории CSAIL Массачусетского Технологического Института (MIT) представили новый метод тренировки нейросетей, позволяющий получать от них объяснения причин, по которым они принимают те или иные решения.

Для того, чтобы сделать возможной интерпретацию решений нейросети, в CSAIL разделили её на два модуля. Первый извлекает сегменты текста из тренировочных данных и оценивает их в зависимости от длины и логичности (чем короче длина, тем выше балл). Из него сегменты попадают во второй модуль, выполняющий классификацию или прогнозирование. Оба модуля тренируют вместе с целью максимально увеличить как балл извлечённых сегментов, так и точность предсказания или классификации.

Для проверки эффективности метода его протестировали на подборке обзоров разных марок пива. Данные содержали собственно текст обзора из восьми или девяти предложений в вольной форме, с такими описательными фразами как «пена телесного оттенка примерно на полдюйма», «знаковый запах Гиннеса» или «отсутствие пузырьков», и итоговый пятибалльный рейтинг по трём категориям: аромату, вкусу и внешнему виду.

В эксперименте, соответствие объяснений системы аннотациям людей составило 96% и 95% по внешнему виду и аромату, и 80% по вкусовым ощущениям.

«В практических приложениях иногда людям нужно понимать почему модель даёт именно такие прогнозы, — заявил аспирант MIT Тао Лей (Tao Lei), первый автор представленной статьи. — Главная причина, по которой врачи не доверяют методам машинного обучения это отсутствие объяснений».