Автор: Антон Околелов. Сейчас модно обсуждать ChatGPT / Сopilot и код, который они генерируют. Может ли AI полноценно программировать? Заменит ли он меня? Имхо этот вопрос вторичен, проблема куда глубже и серьёзнее.

Одни говорят, что на сегодняшний день в Copilot нет ничего плохого — это всего лишь инструмент, устраняющий мелкую рутину. Оно напишет за тебя цикл, проверит if err != nil, но не более того. Другие — что развитие ИИ идет нелинейно, с ускорением, и по опросам специалистов появление разума, сравнимого с человеческим, неизбежно. А если можно будет тиражировать искусственных ученых и программистов, то и до сверхразума недалеко. Который, хе-хе, может решить уничтожить всех людей.

Т.е. другими словами, никто не знает, что будет. Мнения различаются, но важно понимать, что вероятность опасного развития событий больше нуля и эта вероятность не то чтобы совсем иллюзорна.

Окей, возможно, в сверхразум на всякий случай встроят три закона робототехники, и допустим это сработает. Или даже бог с ним, предположим, сверхразум сделать не получится, а просто будут очень-очень умные ИИ-помощники, на порядки круче, чем GPT4. Но даже если и так, человечество очень быстро получит доступ к огромному числу изобретений: производство, медицина, электроника и вообще что угодно. Это может привести человечество к золотой эпохе.

А может и убить: знаменитый эксперимент с крысами (Вселенная-25) показал, что когда им сделали а-ля «золотую эпоху», они вообще перестали размножаться и вымерли. Эксперимент много критиковали, но как иллюстрация возможных проблем — самое то.

А что если люди смогут жить по 500 лет, и при этом размножаться? Ух, что будет! Что-то непредсказуемое. Перенаселение, болезни и войны за ресурсы? Или экстренное освоение космоса?

Я к тому, что при любом раскладе есть много нюансов и потенциальных смертельных опасностей. Смертельных для всего человечества. Но эти нюансы если и обсуждаются, то даже не на втором плане, а скорее на десятом. Обычно мы просто делаем свою работу, и всё. Максимум — разговоры в курилке «а возможно ли заменить программистов».

Поймите меня правильно, есть организации, которые исследуют такие проблемы, например, MIRI, но власти у них ноль, скоуп исследований ограничен, и почти никто это не обсуждает. В отличие от приколов типа «смотрите, мне chatGPT нарисовал текстом Девятый вал Айвазовского»

Это, конечно, впечатляет, что нейросеть непойми как научилась считать и рисовать (хотя задумывалась как T9 на максималках), но это же по сути всё неважно, по сравнению с рисками для человечества.

Воззвание Илона Маска и прочих с целью остановить развитие GPT — это интересно, но не более. Никакого практического результата от этого нет и не будет.

Философия отстает от технологий

Проблема в том, что хотя человек как отдельная личность вроде бы более менее начал что-то соображать и хотя бы немного ушел от стадии инстинктов обезьяны, всё человечество в целом живет абсолютно хаотично. Оно почти никогда не задается вопросами «зачем» и «а что будет, если».

Мы сначала что-то делаем, потом смотрим что получилось. Это самый настоящий дебаг на проде.

Такое броуновское движение породило, например, атомную энергию. Вроде и польза огромна, но минимум четыре раза человечество было буквально на волосок от полного уничтожения, помогло только чудо.

Урбанизация населения и появление самолётов ускорило наше развитие, но за счет такого плотного взаимодействия людей очередная пандемия может уничтожить сразу всех.

Индустриализация возможно в конце концов уничтожит наш климат.

И так далее.

Эти вероятности небольшие, но мы постоянно раз за разом испытываем судьбу, и если ничего с этим не сделать, то по закону больших чисел человечество обязательно погибнет.

Если бросать монетку много-много раз, то она встанет однажды на ребро.

Искусственный интеллект — это просто еще одна вероятность звиздеца в эту копилку. Классический пример: какой-нибудь неадекват с помощью мощного интеллектуального помощника может сделать саморазмножающегося наноробота, и эти твари за считанные дни съедят всю поверхность планеты, превратив ее в серую грязь.

Специалистов, занимающихся исследованиями, связанными с машинным обучением, всё больше и больше, тысячи их, они растут чуть ли не по экспоненте.

Философских обсуждений, которые у всех на слуху — ничтожно мало. Международных организаций, способных продумать, проверить на риски и главное эффективно ограничить сомнительную технологию на уровне всего мира — ровно ноль.

Просто все страны сами по себе. Если условная Европа заботится о выбросах углекислого газа и сортирует мусор, то в других странах могут топить чем попало и выбрасывать мусор прямо в реку или море.

Этические проблемы и вопрос «зачем?»

Вот мы сделали нейросети, которые умеют рисовать во многом лучше художников. Внимание, вопрос: что это в целом дало человечеству, какую пользу? Ради чего мы лишаем любимой работы тысячи людей? Чтобы что? Будет меньше голода или болезней? Нет ведь.

Свободный рынок очень хорош для развития, но в любой стране обязательно есть процедуры для его регулирования: антимонопольная служба, трудовой кодекс с ограничением трудового дня и т.д. Совсем без ограничений нельзя, потому что иначе в итоге победит одна корпорация, которая скупит всех конкурентов, а людей сделает практически рабами.

Мы хорошо помним печальную историю добавления тетраэтилсвинца в бензин, когда все уже знали, что это ужасно вредно (особенно детям), но бизнес еще десятилетиями не сдавался и продолжал травить людей (и даже себя) ради извлечения прибыли.

Луддизм — не выход

Но запретить вообще всё новое — конечно тоже не выход. Технологии нам нужны. Как минимум неплохо было бы забэкапить человечество на других планетах, или построить эффективную защиту от метеоритов. А то мало ли что. Сделать это без технологий (а возможно и сверхразума) не получится.

Избавиться от голода и бедности тоже хотелось бы. Да и работать в целом поднадоело, пусть роботы уже пашут.

Но и хаотическое неконтролируемое бросание смертельной для всех монетки тоже недопустимо. А мы бросаем ее с ускоряющейся частотой. Дебаг на проде.

Кстати о луддизме. Были бы все эти восстания и погромы машин, если бы промышленная революция в Англии шла чуть медленнее и продуманнее? Промышленная эволюция, так сказать. А может, это чушь, и лучше ускорять развитие как можно сильнее, тогда в целом меньше людей будет страдать? Я не знаю.

Еще пример: раньше в сельском хозяйстве было задействовано больше 90% населения. Благодаря автоматизации это число сократилось до единиц процентов (в развитых странах). Т.е. огромные толпы людей в то или иное время оказывались без работы и перемещались в города, чтобы хоть как-то заработать себе копейку. Сколько там было сломанных судеб?

В общем, эти проблемы должны кем-то продумываться в явном виде, и цель «заработать еще миллиард любой ценой» недопустима, когда речь идёт обо всех людях сразу.

Кто знает, может быть как раз сверхразум поможет человечеству выбраться из смертельной ловушки экзистенциальных угроз.

«Fun» facts

• Элиезер Юдковский предложил стратегию, призывающую человечество к «смерти с достоинством», он считает выживание человечества недостижимо, мы должны сместить фокус наших усилий на то, чтобы помочь человечеству умереть с чуть большим достоинством.
• Многие думают, что исчезновение одних профессий компенсируется появлением других профессий. Сейчас меньше трубочистов (более современное отопление), зато появились сантехники. Это во многом так, но при замене интеллектуального труда искусственным интеллектом это не сработает, ведь ИИ универсален, и сможет заменить до кучи и все вновь появившиеся профессии.

Зачем я всё это пишу?

Очень хочется, чтобы люди говорили о глобальных проблемах, потому что это экстремально важно. Просто обсудите с кем-нибудь в курилке, в рабочем чате, особенно если кто-то скидывает очередной прикол про chatGPT или midjourney.

Хватит уже дебажить на проде.