Разработчики игр используют технологию захвата движения, чтобы научить беспилотные автомобили Cruise понимать жесты.

Автор оригинала: Casey Weaver. Улица с четырьмя полосами движения сужается до двух, чтобы вместить рабочих, ремонтирующих большую выбоину. Один рабочий держит в левой руке знак остановки, а правой рукой машет машинам. Водители-люди не задумываются долго, следовать ли жесту или знаку; они плавно двигаются вперед, не останавливаясь. Однако автономное транспортное средство в такой ситуации, скорее всего, остановится. Оно бы поняло стоп-знак и как на это реагировать, но вот с жестом рукой всё намного сложнее.

Водители ежедневно сталкиваются с подобной и гораздо более сложными ситуациями, в которых чтение языка тела является ключевым. Представим угол городской улицы: пешеход, готовый пересечь дорогу на зеленый свет, останавливается, чтобы проверить свой телефон, и машет рукой водителю автомобиля, поворачивающим направо, пропуская его. Другой пешеход поднимает руку, чтобы помахать другу через дорогу, но продолжает движение. Водитель-человек может распознать эти жесты с первого взгляда.

Чтобы решать подобные моменты безопасно и не прерывая движение транспорта, необходимо, чтобы автономные транспортные средства понимали обычные движения рук, используемые для управления водителями в неожиданных ситуациях, а также жесты и язык тела пешеходов, занимающихся своими делами. Это сигналы, на которые люди реагируют, не задумываясь, но они представляют собой проблему для компьютерной системы, которая все еще изучает окружающий мир.

Разработчики автономных транспортных средств по всему миру в течение нескольких лет работали над тем, чтобы научить беспилотные автомобили понимать хотя бы некоторые основные жесты рук, первоначально ориентируясь на сигналы велосипедистов. Как правило, разработчики полагаются на машинное обучение, чтобы улучшить способность транспортных средств определять реальные ситуации и понимать, как с ними справляться.

В Cruise мы собираем эти данные из нашего парка, состоящего из более чем 200 беспилотных автомобилей. Эти автомобили проезжают сотни тысяч миль каждый год в течение последних семи лет; до начала пандемии на них ездили круглосуточно, с перерывами только для подзарядки — наши машины полностью электрические — и для регулярного технического обслуживания. Наши автомобили учатся быстро, потому что они движутся по холмистым улицам Сан-Франциско, одной из самых сложных сред вождения в Соединенных Штатах.

Но мы поняли, что в наших моделях машинного обучения не всегда достаточно обучающих данных, потому что наши автомобили недостаточно часто видят важные жесты в реальном мире. Нашим транспортным средствам необходимо распознавать каждую из этих ситуаций с разных углов и расстояний и в разных условиях освещения — комбинация ограничений, которая дает огромное количество возможностей. Нам потребовались бы годы, чтобы получить достаточно информации об этих событиях, если бы мы полагались только на реальный опыт наших автомобилей.

Мы в Cruise нашли творческое решение проблемы нехватки данных: захват движения (или mo-cap) человеческих жестов — технику, которую разработчики игр используют для создания персонажей.