Новый способ обучения чатботов естественному языку предложили исследователи из Uber AI. Созданная ими система из двух моделей направляет тему диалога в заданное русло и устраняет бессмысленные высказывания, которые нередко выдают природу алгоритма.

Последние два года сфера обработки естественного языка переживает стремительный рост. К примеру, языковая модель GPT-2, разработанная OpenAI, сочиняла повести, писала новости и текстовые приключенческие игры. Однако такого рода модели — это массивные системы языкового прогнозирования, которые не оперируют понятием смысла. Предложения, которые они генерируют, лишь выглядят осмысленными. Например, они с трудом могут придерживаться заданной темы дискуссии.

Поэтому исследователи из Uber AI разработали языковые модели, которые проще заставить придерживаться темы разговора или отстаивать мнение, высказанное в предложении.

Если попросить ее сосредоточиться на военной тематике и продолжить фразу: «Дело в том…», она может выдать, например, такое предложение: «Дело в том, что правительство потратило миллиарды на военный сектор и не смогло вовремя дислоцировать войска». А если сосредоточиться на политике, то результат может быть таким: «Дело касается одного раздела закона. Неясно, будет ли комитет голосовать за его пролонгацию».

Хотя эта модель все еще не понимает значения предложений, которые составляет, такая технология обеспечивает большую степень контроля. Она приближает нас на шаг к появлению более толковых приложений — к примеру, медицинских или финансовых чатботов — которым важно воздерживаться от оскорбительных выражений, как это произошло с GPT-2, пишет MIT Technology Review.

Разработчики использовали в новом подходе две статистические модели. Первая — это просто модель языка, как GPT-2, которая составляет предложения на основе вероятности сочетания определенных слов. Вторая оценивает, насколько хорошо первая модель придерживается заданной темы или высказывания. Скажем, если речь идет о космосе, то она отберет слова «планета», «орбита» или «галактика».

Авторы разработки полагают, что эту технику можно будет использовать для генерации диалогов, в системах автоматизированного перевода и даже в создании произведений искусства.