Группа ученых из США «представила»!:https://github.com/…nsso/dannce/ нейросетевой алгоритм, позволяющий по видео с животными восстанавливать их трехмерную позу с высокой точностью. В отличие от большинства современных подходов, этот метод не требует прикрепления маркеров к животным, а значит он будет удобен для наблюдений за животными не только в лабораториях, но и в естественной среде.

Результаты исследования были опубликованы в Nature.

Изучение движения животных занимает центральное место в этологии, нейробиологии, психологии и экологии. Однако до сих пор не существует универсального метода, воспроизводимого в лабораториях и устойчивого в естественной среде обитания, который бы не использовал прикрепление маркеров к животным.

Изучение движений животных ранее уже автоматизировали с помощью двумерных методов — например, нейросети помогали отслеживать двумерные координаты частей тела. Хотя эти 2D-прогнозы и могут быть триангулированы в 3D с использованием нескольких независимых изображений, такой подход неэффективен для изучения свободно движущихся зверей.

Происходит это потому, что сама нейросеть не знает ничего о трехмерной позе и не может объединять информацию с разных изображений. Если с одного из ракурсов часть тела будет перекрыта посторонним предметом, положение анатомических ориентиров определится неточно. У использования двумерных методов есть еще один недостаток: ничего не гарантирует хороший результат для любых поз животных и углов обзора камеры.

Для борьбы с таким и проблемами придумали оптимизационные схемы, которые используются для уточнения или отбрасывания неточно определенных координат. Но они пока не способны надежно отслеживать свободно движущихся животных, за исключением случаев обучения с большим количеством кадров.

Для изучения движения животных группа под руководством Тимоти Данна (Timothy Dunn) из Дьюкского университета и Джесси Маршалла (Jesse Marshall) из Гарвардского университета разработала сверточную нейросеть DANNCE. Ключевым нововведением DANNCE по сравнению с предыдущими алгоритмами является то, что сеть полностью трехмерна, так что она может узнавать об особенностях 3D-изображения и о том, как камеры и ориентиры связаны друг с другом в пространстве.