Блог компании Open Data Science. Автор: Олег Седухин. Во многих популярных курсах машинного и глубокого обучения вас научат классифицировать собак и кошек, предсказывать цены на недвижимость, покажут еще десятки задач, в которых машинное обучение вроде как отлично работает. Но вам расскажут намного меньше (или вообще ничего) о тех случаях, когда ML-модели не работают так, как ожидалось.

Частой проблемой в машинном обучении является неспособность ML-моделей корректно работать на большем разнообразии примеров, чем те, что встречались при обучении. Здесь идет речь не просто о других примерах (например, тестовых), а о других типах примеров.

Например, сеть обучалась на изображениях коровы, в которых чаще всего корова был на фоне травы, а при тестировании требуется корректное распознавание коровы на любом фоне. Почему ML-модели часто не справляются с такой задачей и что с этим делать – мы рассмотрим далее. Работа над этой проблемой важна не только для решения практических задач, но и в целом для дальнейшего развития ИИ.

Конечно, этим проблемы машинного обучения не ограничиваются, существуют также сложности с интерпретацией моделей, проблемы предвзятости и этики, ресурсоемкости обучения и прочие. В данном обзоре рассмотрим только проблемы обобщения.

Содержание

Проблемы обобщения

Задача обобщения в машинном обучении

Утечка данных

Shortcut learning: «right for the wrong reasons»

Shortcut learning в языковых моделях

Уровни обобщения моделей машинного обобщения

Состязательные атаки

Проблема неконкретизации в ML-задачах

Выводы

Способы решения проблем обобщения

Стресс-тесты для диагностики работы модели

Доменная адаптация

Еще больше данных?

Более крупные или более эффективные модели?

Модификации способов обучения языковых моделей

Архитектура моделей и структура данных

Направления исследований

Общий искусственный интеллект

Заключение