Машинное (радио)зрение видит сквозь стены
Друзья, с момента основания проекта прошло уже 20 лет и мы рады сообщать вам, что сайт, наконец, переехали на новую платформу.
Какое-то время продолжим трудится на общее благо по адресу
На новой платформе мы уделили особое внимание удобству поиска материалов.
Особенно рекомендуем познакомиться с работой рубрикатора.
Спасибо, ждём вас на N-N-N.ru
Про радиозрение команды лаборатории CSAIL (Computer Science and Artificial Intelligence Lab) уже писали на Хабре (раз и два), сегодня немного свежих подробностей. Алгоритм использует радиоволны, а не видимый свет, чтобы определить, что люди делают, не показывая, как они выглядят.
Машинное зрение имеет впечатляющий послужной список. Оно обладает сверхчеловеческой способностью распознавать людей, лица и предметы. Оно может даже распознавать различные виды действий, хотя и не так хорошо, как люди.
Но его производительность ограничена. Особенно трудно машинному зрению тогда, когда люди, лица или предметы частично закрыты. И когда уровень освещенности падает до 0, они, как и люди, практически слепы.
Но есть и другая часть электромагнитного спектра, которая не настолько ограничена. Радиоволны заполняют наш мир, будь то ночь или день. Они легко проходят сквозь стены, передаются и отражаются человеческими телами. Действительно, исследователи разработали различные способы использования радиосигналов Wi-Fi, чтобы видеть за закрытыми дверями.
Но у этих систем радиовидения есть некоторые недостатки. Их разрешение низкое, изображения шумные и заполнены отвлекающими переотражениями, что затрудняет понимание происходящего.
В этом смысле радиоизображения и изображения в видимом свете имеют свои дополнительные преимущества и недостатки. И это повышает вероятность использования сильных сторон одного для преодоления недостатков другого.
Слева два человека жмут руки, причем один из них за стеной от камеры. Справа человек в темноте кидает предмет человеку, который звонит по телефону. Снизу — сгенерированная скелетная модель и предсказание действий.
Познакомьтесь с Tianhong Li и его коллегами из MIT, которые нашли способ научить систему радиовидения распознавать действия людей, обучая ее с помощью изображений в видимом свете. Новая система радиовидения позволяет увидеть, чем занимаются люди в широком диапазоне ситуаций, когда визуализация в видимом свете невозможна.
«Мы внедряем модель нейронной сети, которая может обнаруживать действия человека через стены и окклюзии, а также в условиях плохого освещения», — говорят Ли и Ко.
- Источник(и):
- Войдите на сайт для отправки комментариев