Компании Nvidia и Microsoft создали самую мощную и большую на сегодняшний день языковую модель организованного генератора, которая вмещает 530 миллиардов параметров. Языковая модель полностью превосходит своих предшественников и обладает большим количеством настроек, которые размещаются на 105 уровнях. Пока мы все живем в 2021 году, разработчики технологии живут уже в 2050 как минимум?

Что может делать уникальная языковая модель MT-NLG? Она безошибочна в широком спектре задач машинного обучения, понимает прочитанный текст, может рассуждать на основе здравого человеческого смысла, устраняет неоднозначность слов в своем лексиконе и может делать прогноз на основе причинно-следственных связей.

Эта модель генеративного языка является наиболее мощной и крупной среди других моделей. Искусственная языковая модель обучена на Microsoft Azure NDv4 и суперкомпьютере машинного обучения Selene от Nvidia, который включает 560 серверов DGX A100. Каждый сервер имеет 8 графических процессоров A100 по 80 ГБ на специальном наборе данных.

Модель имеет несколько наборов данных объемом 825 ГБ. Это различная информация из Интернета с множества источников: от материалов Википедии до новостных роликов, а также, различных репозиториев академических журналов и веб-сайтов. Megatron-Turing Natural Language Generation (MT-NLG) намного лучше предыдущих моделей, ведь отвечает на вопросы, автозаполняет фразы, читает и выполняет аналогичные задачи с минимальными настройками.

К сожалению, внушительное количество информации допускает искаженное повторение языковой моделью расистских или сексистских материалов, что заставляет разработчиков модернизировать свою технологию. Но самое главное в том, что языковая модель облегчит жизнь представителям многих профессий, ведь избавит от рутинной работы и даст возможность заниматься действительно важными рабочими процессами, которые требуют особых навыков.