Если вы  часто листаете ленту новостей в соцсети Facebook, то знаете, что в ленте большая часть информации представлена именно в виде изображений. Получается, что слабовидящие люди не могут получить эту информацию. И чтобы исправить эту недоработку, инженеры Facebook взялись за создание искусственного интеллекта, который будет описывать вслух все изображения людям со зрительными дисфункциями.

Facebook называет свою систему «автоматическим альтернативным текстом», и она работает на основе нейронной сети, наполненной миллиардами параметров и миллионами образцов. Такие нейронные сети — сложные, огромные базы данных, максимально воссоздающие возможности человеческого мозга — играют все более важную роль в современном компьютерном мире.

Программное обеспечение с ИИ по сути не «видит» картинку, но может сравнить предметы, изображенные на ней, с огромной базой данных похожих фото и понять, что именно там изображено. Одна из важнейших задач — это «заставить» компьютеры распознать, что на фотографии играет наибольшую роль — люди, фон или какое-то событие. Для каждой картинки система ИИ отображает показатель достоверности, указывающий на уровень «уверенности» программы в том, что именно она видит на фото. Если показатель выше 80%, то на фото появляется заголовок, генерируемый автоматически. По словам разработчиков, система на текущий момент способна распознать примерно половину всех фото в социальной сети, а технология, лежащая в основе, улучшается постоянно (что является еще одной ключевой характеристикой нейронных сетей).

Когда объекты и люди идентифицированы, программа составляет предложение с  описанием фото, обычно в порядке «уверенности» искусственного интеллекта в присутствии каждого элемента. Если все же остается какая-то неопределенность насчет фотографии, то тогда предложение начинается со слов «изображение может содержать», дабы показать эту неопределенность.

Данная функция уже доступна в приложении Facebook для iOS, но пока только для англоязычных пользователей в странах Великобритании, США, Канады, Австралии и Новой Зеландии. Но специалисты Facebook заверяют, что в будущем услуга будет доступна и на других платформах, языках и рынках. Работает сервис с любой программой для чтения с экрана — например, на iOS он активируется через функцию VoiceOver.

Что интересно, Twitter также начал экспериментировать с аналогичной функцией, но в его случае заголовки следует добавлять вручную. Пользователи на iOS и Android могут сами добавлять текстовые заголовки, чтобы людям с ограничениями было комфортнее. Таким образом, результат получается более точным, так как здесь все делают живые люди. Но для этого необходимо, чтобы человек потратил свое время для описания фотографии, которую он постит.