Наш мозг способен быстро составить впечатление о незнакомце по его лицу. За несколько секунд определяются ключевые характеристики человека: его привлекательность, интеллект, возраст, надёжность, социальный статус (доминантность), общительность и уровень морали. Понятно, что это впечатление неточное, а иногда совершенно неправильное. Абсолютная точность здесь не требуется. Важна скорость. Это совершенно необходимый социальный механизм, без которого трудно выжить в обществе, жизненно важный навык. Поэтому первое впечатление настолько сильное и важное. Изменить его потом очень непросто.

Оставляя за скобками очевидную необъективность первого впечатления, важно научить компьютеры оценивать лица так же, как это делают другие люди. Такие попытки неоднократно предпринимались. Исследователи пытались алгоритмически выполнять категоризацию различных эмоций по лицу человека, в том числе с помощью нейросетей. Опубликованы работы по автоматическому определению привлекательности лица, а также наличию чувства юмора и других личных характеристик человека с помощью нейросетей.

Результат обработки фотографий Джулиана Ассанжа и Бенедикта Камбербэтча нейросетью для предсказания первого впечатления о человеке. Заметна небольшая нехватка субъективного интеллекта и доминантности у актёра по сравнению с героем, которого он играл в фильме «Пятая власть». В остальном образ Ассанжа передан вполне корректно. Иллюстрация: Университет Нотр-Дам, Гарвардский университет

Все эти исследования — совершенно необходимая часть работы по созданию искусственного интеллекта человеческого уровня. ИИ должен уметь читать лица не хуже, чем человек, и выносить субъективные оценки по лицу не хуже человека.

Сейчас группа исследователей из Университета Нотр-Дам (США) и Гарвардского университета (США) провела новое исследование, которое дополнит научные наработки в сфере социальной психологии. Их работа посвящена автоматическому составлению первого впечатления, которое возникает о человеке у окружающих. Анализ выполняет нейросеть, обученная на образцах фотографий.

По мнению психологов, которые специализируются на изучении системы социальных оценок у людей, при первой оценке незнакомого человека по лицу ключевыми являются две характеристики: надёжность и доминантность. По мнению Александра Тодорова, все остальные характеристики можно вывести из этих двух основных. Психологи довольно давно составили набор базовых характеристик, которые демонстрируют доминантность человека над окружающими, в том числе наклон головы, жесты бровей и рта.

Учёные из Университета Нотр-Дам и Гарвардского университета обучали нейросеть на выборке 6300 фотографий из общедоступной бызы Annotated Facial Landmarks in the Wild. Эти фотографии аннотировали пользователи краудсорсинговой платформы TestMyBrain.org по трём социальным атрибутам: доминантность, надёжность и IQ, а также дополнительному атрибуту — возраст.

6000 фотографий использовались для обучения, ещё 200 — для доводки и тонкой настройки, а последние 100 — для проверки нейросети.

Практически идеальное совпадение профилей Эдварда Сноудена и играющего его актёра Джозефа Гордона-Левитта в фильме «Сноуден». Иллюстрация: Университет Нотр-Дам, Гарвардский университет

Учёные отмечают, что по атрибутам IQ и возраст они могли бы составить аннотации с настоящими, а не субъективными характеристиками. Но тогда нейросеть бы обучилась определять настоящие IQ и возраст человека по его лицу. Как было сказано выше, задача состояла совершенно в другом, поэтому для обучения нейросети категории IQ и возраст тоже присваивались с помощью краудсорсинга.

На иллюстрации показаны отдельные фотографии из базы, которая использовалась для обучения. Образцы выбраны среди обладателей минимальных, средних и максимальных характеристик по всем категориям. Как несложно заметить, у маленьких детей — самые минимальные оценки в категориях IQ, доминантности и возраста. У человека с разукрашенным лицом — одна из минимальных оценок по надёжности.

Распределение показателей в наборе данных для обучения близко к нормальному распределению.

В таблице показаны средние оценки фотографий по четырём категориям, составленные по результатам оценок пользователей. Указаны минимальная и максимальная оценки, а также среднее количество выставленных оценок. Каждое лицо получило, в среднем, по 32 оценки для доминантности и надёжности, а также по 15 оценок для возраста и IQ.

После обучения нейросеть демонстрировала довольно точную оценку лиц, близкую к результатам оценки пользователей сайта.

Авторы надеются, что их нейросеть пригодится в разработке программ компьютерного зрения. Такая система умеет анализировать видеопоток в реальном режиме времени. Например, показывать на экране в виде графика, как изменяется со временем субъективно воспринимаемый интеллект лица ведущего телевизионной программы. То есть насколько умным выглядит его лицо в отдельные моменты времени. Представьте, что программа составит дайджест самых интересных моментов передачи, когда лицо ведущего выглядело наиболее глупо.

При обработке видео нейросеть обрабатывает каждый кадр в отдельности.

Можно придумать и другие применения этой технологии. Например, для выбора актёров, которые наиболее точно передают субъективное впечатление от внешности своих героев в реальной жизни, как показано в ранее упомянутых примерах с Джулианом Ассанжем и Эдвардом Сноуденом.

Наверное, такая нейросеть найдёт применение в программах личностного роста: изменяя выражение лица перед камерой, человек будет тренироваться, как стать более солидным и умным в глазах окружающих — наблюдая оценку своего лица нейросетью.

Можно представить, что некоторые фирмы начнут набирать сотрудников с учётом результатов субъективной оценки лиц кандидатов. То есть при обучении нейросети начальник выбирает несколько десятков лиц, которые ему нравятся по характеристикам IQ и надёжности, а программа находит кандидатов точно с такими характеристиками, какие нужны начальнику.

Исследователи только предупреждают, что точность работы нейросети напрямую зависит от качества исходных данных, то есть оценки лиц. Важно, чтобы эту оценку проводили представители целевой аудитории. Дело в том, что впечатление о человеке сильно зависит от личности того, кто выставляет оценку: его культуры и национальности. Грубо говоря, очень авторитетный и мудрый человек в зулусском племени не будет воспринят как доминантный лидер в сообществе оксфордских аристократов.

Научная работа опубликована 25 октября 2016 года на сайте arXiv.org.