Американский разработчик представил классификатор на основе сверточной нейросети: он умеет оценивать качество научных работ по компьютерным наукам на основе внешнего вида статей. Классификатор, описание работы которого доступно в препринте на arXiv, может правильно определить 50 процентов плохих научных работ и неправильно «забраковать» хорошие — лишь в 0,4 проценте случаев. Интересно, что статью о самом себе классификатор посчитал некачественной.

Важная часть публикации статьи в научном журнале — процесс рецензирования. Обычно на должность рецензентов выбираются эксперты по теме, способные объективно оценить ее качество. Некоторые научные области сравнительно молоды, поэтому найти соответствующих людей бывает непросто. Более того, рецензирование требуется и на конференциях, для чего к этому процессу (из-за обилия заявок) могут быть привлечены даже студенты.

Цзя-Бинь Хуан (Jia-Bin Huang) из Политехнического университета Виргинии решил автоматизировать процесс рецензирования, а именно — научить нейросеть автоматически определять качество статьи по ее внешнему виду. Мотивацией Хуану послужил быстрый рост количества статей, которые подают на конференции по компьютерному зрению — и именно на них он решил сосредоточиться: в таких работах обычно много визуального материала, благодаря чему объективно оценить качество легче.

Хуан взял датасет из 5618 принятых и 1503 отвергнутых статей по компьютерному зрению и обучил на них классификатор на основе сверточной нейросети ResNet-18. Обученной системе затем дали оценить реальные статьи, прошедшие и не прошедшие на конференцию: ей удалось правильно отвергнуть 50 процентов работ, при это количество ошибок первого рода (ошибочно отвергнутых работ, которые на самом деле были приняты людьми) — всего 0,4 процента. Интересно, что саму работу с описанием этой работы классификатор определил как плохую с вероятностью 97 процентов.

Затем автор работы также использовал датасет, чтобы натренировать генеративно-состязательную сеть создавать примеры хороших и плохих статей по компьютерному зрению. Несмотря на то, что в тексте сгенерированных статей, в основном, бессвязные предложения, полученные примеры дают понять, как должны выглядеть хорошие и плохие работы. В частности, Хуан отметил, что хорошую работу определяют яркие иллюстрации, графики и наличие математических расчетов.

Пример хорошей работы (красным выделены основные элементы статьи) / Jia-Bin Huang / arXiv, 2018

Пример плохой работы (красным выделены основные элементы статьи) / Jia-Bin Huang / arXiv, 2018

Некачественное рецензирование может привести к тому, что хорошей статье, которая готовилась долгое время, может быть отказано в публикации (или авторам — в выступлении на конференции). Новая нейросеть может не только ускорить и облегчить процесс рецензирования, но также и сделать его более объективным. Стоит учитывать, что нейросеть опирается только на внешний вид статьи, а не на ее содержание, из-за чего использовать ее как единственный метод рецензирования нельзя, хотя существуют и методы для автоматической оценки текста.