Исследователи из Израиля и Facebook разработали модель машинного обучения, которая генерирует ответы на тест Рейвена. При этом алгоритм способен не только с высокой точностью давать верные ответы наравне с самыми современными машинными методами, но и делает это, не видя вариантов.

Тесты с множественным выбором дают учащимся возможность сравнить варианты ответов и выбрать правильный. Они помогают сузить зону поиска, отбросив варианты, которые верны лишь частично.

Один из них — тест стандартными прогрессивными матрицами Рейвена на интеллект, созданный еще в первой половине прошлого века и определяющий способность к обучению на основе обобщения собственного опыта и умения обрабатывать сложные события. Испытуемый должен последовательно выбрать правильный ответ на графические загадки, представленные в виде абстрактных изображений. Каждая задача состоит из восьми изображений, помещенных в решетку 3×3. Нужно проанализировать их и понять, каким должно быть девятое, отсутствующее изображение.

Прошлые попытки решать задачи теста Рейвена с помощью машинных методов касались исключительно выбора правильного ответа из предложенных вариантов. В данном случае исследователи из Университета Тель-Авива и Facebook научили модель генерировать ответ не видя вариантов, что намного сложнее, пишет VentureBeat. Предложенная модель нейронной сети сочетает достижения генеративных моделей и способна не только давать правильные ответы, но и конкурировать с новейшими методами решения задач с множественным выбором.

В ходе эксперимента с использованием набора данных RAVEN-FAIR исследователи добились точности ответов модели на уровне 60,8%. По их словам, это очень убедительный результат, несмотря на не-детерминистическую природу проблемы.

Помимо потенциального применения в образовании переход от выбора к генерации правильного ответа может привести к появлению более интерпретируемых методов машинного обучения, которые можно будет использовать, например, для оценки машинной логики.