Автор: kraidiky. «Да не дерзнет никто создавать машину по образу и подобию человеческого разума» © Фрэнк Герберт, Дюна. «Шок Будущего» в который человечество повергло появление ChatGPT, вызвал огромное обсуждение вопросов безопасности AI. Ещё месяц или даже неделю назад серьёзные специалисты в машинном обучении с презрением обходили стороной вопросы общего искусственного интеллекта, как удела сторонних наблюдателей. И вдруг все, включая специалистов, вспомнили свои страхи, надежды и соображения связанные с ИИ человеческого и сверхчеловеческого уровня.

За последнее время я читал множество таких рассуждений, и ни у кого пока не увидел один аргумент, который непосредственно относится к устройству ChatGPT и делает его очень опасным, словно это какая то слепая зона. Ну, если никто, то я. «Душа поэта не вытерпела безвестности, и он щедро делится своими высокими идеями.» © анонимус

Раньше, буквально месяц назад я считал, что искусственный интеллект нам по большому счёту пока не угрожает, и не затронут многими ограничениями и мотивами, которые нам людям в себе не нравятся, и присутствуют у нас, потому что мы результат жестокого естественного отбора. Настолько меня это не заботило, что я считал, что если человечество погибнет, ИИ могут нас пережить и дождаться контакта с каким нибудь инопланетным разумом. Это было чертовски логично. ИИ не приходилось конкурировать за место под солнцем с другими ИИ, передавать кому бы то ни было свой генетическое наследие, не нужно было для существования иметь инстинкт самосохранения. Откуда бы всему этому браться.

Очень многие думают также и сейчас, относясь к угрозе от ИИ как к чему то философскому или экзистенциальному, но не как к прямой угрозе вот прямо сейчас в виду конкретных технических особенностей. Элизер Юдковски в связи с нашумевшим письмом о полугодовом моратории на разработку ИИ хорошо выразил эту мысль: «ИИ не любит тебя и не ненавидит тебя, но ты сделан из атомов, которые ИИ может использовать для чего то ещё».

А потом я вдруг как понял… Что пока человечество сумело создать ИИ только одним способом — скормив ему весь огромный корпус текстов, которым мы наполнили интернет за всё время нашего существования, и научив по любой части текста предсказывать его продолжение. Если вдуматься, то точнее будет сказать — по любому куску текста, предугадывая что бы сказал на его месте человек. И в этом ChatGPT определённо добился большого успеха. Одна проблема, человек более развитый, столкнувшись с цивилизацией менее развитой ведёт себя одним типичным способом. И если ИИ так поступит, нам это не понравится, а он читал всю нашу историю и всю нашу фантастику, и он очень хорошо знает, чего мы от него ожидаем и как бы поступило существо с человеческим разумом на его месте. Мы создали существо на нечеловеческих принципах, но впитавшее в себя и понявшее большую часть человеческой мотивации…

Не страшно, мы всё поправим, скажет оптимист, но пока всё плохо. Беспомощность создателей ИИ заставить его не выдавать неприемлемый для них контент показывает насколько все плохо. И мы даже понимаем почему — с позиции МЛ. Все уже заметили, что ChatGPT способен с умным видом нести чушь на абсолютно любую тему. Он подвержен бесконечного размера ошибке False Positive. Понятно, что у него нет множества человеческих механизмов, заставляющих нас сомневаться в информации и проверять её рассуждениями, которые могут в свою очередь изменить спонтанную реакцию на такую информацию. Но на более простом уровне — ИИ учился не на всём корпусе возможных текстов, а только на всех существующих текстах. О несуществующих он знает крайне мало. В его мире: если есть затравка текста, то должно быть и его продолжение. В его учебных датасетах слабо представлены затравки текстов, оканчивающиеся фразой «науке это пока неизвестно». Когда же создатели пытаются что то запретить этому ИИ, то доучивают его мелкими датасетами всякого неприемлемого, где то даже прямо вхардкоривая переключатель на заранее заданные ответы.

Предполагалось, что ИИ будет всё знать, но знать, что некоторые вещи говорить не надо. На практике многочисленные робопсихологи ломают эту защиту так, что только хруст стоит, а пресса пополняется новыми кликбейтными заголовками каждый день по три раза.