В преддверии старта нового потока курса «Machine Learning Pro + Deep Learning», делимся с вами статьей о вокенизации — новом методе на основе неконтролируемого обучения, который позволяет масштабировать современные небольшие визуально-языковые наборы данных, подобные MS COCO, до размеров английской Википедии, то есть миллиардов записей.

В сущности гигантские языковые модели учатся видеть мир. Подробности о том, что из себя представляет метод, как он работает и как может изменить искусственный интеллект, как всегда, под катом.

Вы, наверное, читали об этом, ведь мы писали об этом бесчисленное количество раз: GPT-3 — громоздкий ИИ, генерирующий текст, похожий на текст человека — это чудо. Но в основном это чудо только удивительный мираж. Проделайте несложный трюк: спросите у GPT-3 о цвете вороны, и она будет отвечать «черный» так же часто, как «белый», отражая фразу «белая ворона» в нашем языке. [прим. перев. — в оригинале речь идет о фразе black sheep — буквально «черная овца»].

И это — проблема языковых моделей. Они обучались только на текстах, поэтому им не хватает здравого смысла. Чтобы изменить ситуацию, исследователи из Университета Северной Каролины в Чэпел Хилл (далее UNC), разработали новую методику. Они называют ее «вокенизацией». Вокенизация дает подобным GPT-3 языковым моделям возможность «видеть».