Уже достаточно давно существует технология распознавания речи. Как и функция распознавания изображения. Так почему бы их не совместить, улучшив сразу обе? Видимо, именно так и подумали эксперты из Массачусетского технического университета (MIT), разработав алгоритм, способный определить отдельные объекты на изображении, основываясь лишь на речевом описании.

О весьма интересной технологии пишет издание Engadget. Устройство нейросети довольно просто: она состоит из двух взаимодействующих между собой частей. Первая работает непосредственно с изображением – она разделяет его на сетку из ячеек, в то время как вторая отвечает за обработку аудио сигнала. Входящее сообщение разделяется на короткие 1–2 секундные отрезки. После этого программа проверяет, насколько каждая ячейка разделенного изображения соответствует каждому 1–2 секундному аудиофайлу. Сами разработчики сравнивают такой метод с общением с ребенком, когда вы указываете ему на объекты и говорите ему их названия.

Для новой технологии есть довольно большой спектр применений, самый очевидный из которых – интеграция в поисковые системы, однако разработчикам больше по душе использование системы в качестве инструмента для переводов, способных распознать язык и подобрать подходящие слова с точностью до 100%.

«Вместо того, чтобы давать программе задание использовать «прямой» перевод, можно сделать его контекстно-зависимым и научить систему переводить на разные языки описания и назначения объектов в зависимости от ситуации.»