Видео, выпущенное к презентации ИИ от Google, где человек взаимодействует с Gemini, оказалось подделкой. Компания признала, что сократила и ускорила ответы, а чат-бот вместо видео реагировал на статичные картинки. Пользователи, которые успели протестировать новинку, подтверждают проблемность Gemini и недовольны ее способностями — она неправильно отвечает на вопросы и не умеет анализировать информацию.

В соцсетях набирает популярность видео «Hands-on with Gemini: Interacting with multimodal AI» с официального канала Google. На нём сотрудник компании показывает модели разные рисунки, фото и видео, а она быстро угадывает, что изображено на них или что произойдёт дальше. Большинство ответов правильные и похожи на человеческие, что очень впечатлило зрителей. Однако ролик оказался подделкой.

В Google признали, что на самом деле показывали Gemini статичные изображения и вводили текстовые запросы. Она не воспринимала аудиозапись с человеческой речью и отвечала дольше, чем в ролике. Она ещё не умеет анализировать видео, поэтому ей показывали отдельные скриншоты из них. Кроме того, сотрудники компании сократили и отредактировали ответы модели. Таким образом, хотя Gemini и могла генерировать показанные в видео реплики, она делала это не в реальном времени и не так, как подразумевалось в демонстрации.

Промо-ролик сильно преувеличивает нынешние способности Gemini. Разработчики признались, что пока что их детище не превосходит GPT-4, а примерно соответствует GPT-3,5. Gemini Ultra, самая продвинутая версия модели, которая сможет конкурировать с продуктом OpenAI, выйдет только в следующем году.

После такой рекламы у пользователей были завышенные ожидания от работы обновлённого чат-бота Bard, но он не соответствует им. ИИ-помощник неправильно отвечает на вопросы, выдумывает несуществующие факты и события, плохо справляется с любыми языками кроме английского и предлагает собеседникам самостоятельно погуглить новости.

Например, он не может назвать победителей премии «Оскар» 2023 года. Модель интегрирована с «Google Поиск» и «Google Новости», поэтому должна комментировать и резюмировать новости, как это делает GPT-4. Однако вместо этого чат-бот предлагает пользователям поискать информацию самостоятельно.

Кроме того, пытливые клиенты Google уже успели найти способы «взлома» модели, позволяющие обойти защитные фильтры и заставить ее раскрыть общественно опасную информацию. Сейчас она крайне уязвима для злоумышленников, которые пытаются выманить внутренние данные компании или узнать, как изготовить взрывчатку в домашних условиях. Тем не менее, Gemini Pro не является самой продвинутой версией нейросети и работает всего день, поэтому у нее все впереди. Разработчики обещают устранить все ошибки в ближайшее время.