OpenAI формирует новую команду для снижения «катастрофических рисков», связанных с искусственным интеллектом. Команда будет заниматься отслеживанием, оцениванием и прогнозированием потенциальных проблем, вызванных ИИ, включая ядерные угрозы.

Команду возглавит Александр Мадри, директор Центра развертываемого машинного обучения Массачусетского технологического института. Генеральный директор OpenAI Сэм Альтман и другие эксперты неоднократно предупреждали об опасности ИИ. А Илон Маск и вовсе уверен, что сверхинтеллект уничтожит человечество.

Команда будет работать над смягчением «химических, биологических и радиационных угроз», а также «автономного воспроизводства» ИИ. Кроме того, группа будет заниматься такими рисками, как обман людей и угрозы в области кибербезопасности.

Возглавит команду по обеспечению готовности Александр Мадри, который занимает должность директора Центра развертываемого машинного обучения Массачусетского технологического института. OpenAI отмечает, что группа также будет работать над «политикой разработки с учетом рисков», которая будет описывать подход компании к оценке и мониторингу моделей ИИ.

«Мы считаем, что передовые модели искусственного интеллекта, которые превысят возможности, присутствующие в настоящее время в самых передовых существующих моделях, принесут пользу всему человечеству. Но они также несут все более серьезные риски», — пишет OpenAI.

Генеральный директор OpenAI Сэм Альтман ранее предупреждал о возможности катастрофических событий, вызванных ИИ. В мае Альтман и другие видные исследователи ИИ опубликовали заявление, в котором говорится, что «снижение риска исчезновения человечества из-за ИИ должно стать глобальным приоритетом наряду с другими рисками социального масштаба, такими как пандемии и ядерная война». Во время интервью в Лондоне Альтман также предложил правительствам относиться к ИИ так же серьезно, как и к ядерному оружию.