Современные диалоговые системы могут сойти за людей, пока разговор идет по накатанной колее. В противном случае фразы чатбота становятся удручающе бессмысленными или зацикленными. Однако Meena — новый частбот Google — умеет поддерживать беседу, шутить и импровизировать.

Диалоговая система Meena, созданная разработчиками Google, была обучена на внушительном объеме примеров — 341 ГБ разговоров в социальных сетях. Это в 8,5 раз больше, чем было у другого нашумевшего ИИ — GTP-2 от OpenAI. Как пишут в блоге создатели, Meena умеет поддерживать беседу практически на любую тему и даже придумывает шутки.

Свободные диалоги на вольную тему для современных чатботов дело сложное, подчас невыполнимое. В определенный момент большинство из них начинает нести бессмыслицу или демонстрировать отсутствие базовых знаний о мире. ИИ, не допускающий таких «детских» ошибок, вывел бы общение между человеком и машиной на новый уровень.

Чтобы оценить возможности Мины, Google разработала новую метрическую систему Sensibleness and Specificity Average (SSA), которая обращает внимание на важные характеристики естественного разговора. В частности, на то, несет ли каждое высказывание смысл в контексте (это умеют многие чатботы) и касается ли оно того, что только было сказано. Эта часть самая трудная для нынешних алгоритмов.

К примеру, если вы скажете «я люблю теннис», и чатбот ответит: «Это здорово», ответ будет содержать смысл, но не будет конкретным. Многие ИИ используют такие фокусы, чтобы скрыть тот факт, что не понимают, о чем вы говорите. Гораздо естественнее был бы конкретный ответ: «Я тоже, обожаю Рождера Федерера».

В итоге Мина получила 79% по оценке SSA, а Мицуко — выдающийся чатбот, получавший последние четыре года премию конкурса «AI Loebner» — только 56%. Живой разговор двух людей набрал по этой системе всего 86%.

К сожалению, поговорить с Миной пока нельзя. Она не будет доступна для бета-тестирования, пока разработчики не проверят ее на безопасность и непредвзятость. Вероятно, чтобы она не повторила судьбу чатбота Microsoft 2016 года, который за несколько часов живого общения с троллями превратился в расиста и женоненавистника.