Авторы бенчмарка SuperGLUE опубликовали результаты последнего тестирования моделей обработки естественного языка. Модели Microsoft DeBERTa и Google T5 + Meena доказали понимание причинно-следственных связей в тексте и впервые обошли в этом человека. ИИ от Microsoft набрал 90,3 балла, ИИ от Google — 90,1 балла, в то время как усредненный результат человека в этом тесте составляет 89,8 баллов. Тестирование моделей DeBERTa и T5 + Meena проводились только на английском языке.

Тестирование SuperGLUE включало восемь сложных задач, связанных с пониманием контекста, структуры текста, причинно-следственных связей и альтернативных вариантов. В ходе последней серии испытаний ИИ анализировал короткие отрывки статей из Википедии, отвечал на вопросы со «спрятанными» в тексте ответами и подбирал аналогии. У обеих моделей — Microsoft и Google — это получилось лучше, чем у людей.

Важно отметить, что тест измеряет не интеллект как таковой, а логику, которая раньше давалась ИИ с большим трудом. А представители Microsoft добавили, что рекордный результат DeBERTa не делает модель хорошим собеседником для бытового диалога, но определяет важный момент на пути к созданию общего ИИ.

«DeBERTa, превосходящая человеческие характеристики на SuperGLUE, знаменует собой важную веху на пути к общему ИИ. В отличие от DeBERTa, люди чрезвычайно хорошо используют свои знания, полученные при выполнении различных задач, для решения новой задачи без демонстрации пути достижения результата или с минимальной демонстрацией», — объяснили авторы из Microsoft Research.

В качестве примера Microsoft привела сложный тест для понимания естественного языка, с точки зрения ИИ: «Ребенок стал невосприимчив к болезни. В чем причина? 1) Он избежал контакта с болезнью. 2) Он получил вакцину от болезни».

Если раньше этот простой для человека вопрос, поставил бы ИИ в тупик, то теперь все изменилось. Большая часть теста SuperGLUE включала аналогичные задачи и DeBERTa успешно с ними справилась.

Как отмечает VentureBeat, представители Google пока не готовы раскрывать подробности своей языковой модели, но Microsoft расписала характеристики DeBERTa в официальном блоге. Последняя версия DeBERTa поставляется с 1,5 млрд. параметров и построена на базе существующих моделей компании. Microsoft пообещала опубликовать исходный код DeBERTa и интегрировать систему в свои продукты: Bing, Office, Dynamics и Azure Cognitive Services.