С помощью системы Air-Guardian компьютерная программа сможет отслеживать направление взгляда летчика, чтобы лучше понимать его намерения. Это помогает компьютеру принимать решения, согласованные с действиями летчика, а в случае, если человек отвлекся или забыл сделать что-то важное, ИИ быстро страхует его.

Летчику, пилотирующему современные самолеты, приходится иметь дело с большим объемом информации, поступающим со множества дисплеев и панелей, особенно в чрезвычайных ситуациях. Система Air-Guardian, разработанная специалистами лаборатории MIT, берет на себя функции второго пилота, внимательно следящего за действиями первого и готового помочь, если тот не справляется.

Оценка внимания летчика происходит на основе технологии окулографии, или определения координат глазного яблока, а нейросеть работает на базе так называемых «карт значимости», которые указывают, куда направлено внимание. Эти карты служат визуальными подсказками, подсвечивающими ключевые регионы на изображении. С их помощью Air-Guardian идентифицирует признаки потенциальной угрозы, чтобы вмешиваться только в экстренных случаях.

В полевых испытаниях летчик и система принимали решения на основе одинаковых исходных визуальных данных, ведя самолет к указанной точке. Эффективность Air-Guardian измерялась по совокупным очкам, полученным в ходе полета. Система смогла снизить уровень опасности полета и повысить успешность навигации до точки назначения.

Главное преимущество Air-Guardian в ее базовой технологии. Благодаря объединению и оптимизации визуального внимания летчика и машины и возможностям комплексной нейросети с непрерывным временем в области распознавания отношений причинности система анализирует поступающие изображения на предмет важной информации. Дополняет все это алгоритм VisualBackProp, который идентифицирует фокальные точки в изображении, что улучшает понимание карт внимания.

Возможности применения этой системы выходят за рамки авиации, пишет MIT News. Те же механизмы совместного управления могут использоваться в наземном транспорте, пилотировании дронов и в робототехнике. Однако для удобства практического применения требуется доработка интерфейса человек-машина.