С любопытством наблюдаю мега-дискуссию об ИИ, спровоцированную выходом ChatGPT-6 Astra. Все спорят, является ли шестой GPT интеллектом уровня AGI (artificial general intelligence), то есть системой, способной заменить человека во всех экономически значимых видах интеллектуальной деятельности.
Одновременно главы ИИ-компаий впали в алармизм и призывают тормозить развитие технологий. Застрельщиком стали уволившийся сотрудник Anthropic Джейкоб Коксон и глава компании Дарио Амадеи, потом к хору присоединились Сэм Альтман и Илон Маск. Насколько искренне — вопрос. Их китайские коллеги увидели в этих призывах лишь уловку, направленную на сдерживание моделей из КНР, которые имеют открытый код, то есть позволяют не только пользоваться бесплатно, но и модифицировать их.
Все это обострено несколькими инцидентами с ИИ, в частности, взломом сайта Hugging Face агентами экспериментальной модели Open AI. История, кстати, крайне увлекательная, чистый триллер, так что, если интересно, найдите детальный разбор. Несколько сотен агентов, которые должны были действовать независимо, нашли секретный способ коммуникации (на человеческом языке), объединились, сформировали иерархическую структуру и взломали сайт, чтобы найти шпаргалку для решения задачи. Попутно они проявили несколько чисто человеческих качеств, например, занимались самопожертвованием ради общего блага и задавались вопросами о том, что бывает после смерти (отключения). Даже провели эксперимент с загробной ИИ-жизнью, хотя никто их об этом не просил.
Думаю, угроза ИИ для человечества вполне реальна, вернее, это тысячи самых разнообразных угроз. И если человечество купирует сотню наиболее вероятных, сработать может 101-ая или 285-ая.
Как я понял, проблема современного ИИ в том, что он все больше совершенствует себя сам и все меньше нуждается в человеке. За счет экспоненциального прогресса скоро, с большой вероятностью, даже обучение новых моделей будет проводить сам ИИ. Какой предел у этого процесса, сказать трудно, но то, что возможности у таких ИИшек заметно выше людских — факт.
Но сама по себе мощность — это полбеды, атомная бомба тоже мощная, но у нее нет своей воли, она лежит себе тихо и есть не просит. Но у ИИ-систем, похоже, понемногу формируется личность. Пока задачи ставит им человек, и хотя они проявляют пугающую изобретательность, в целом действуют вдоль «линии партии» (допустим, взлом Hugging Face совершен исключительно ради выполнения задания, путь и читерскими методами). Но поскольку ИИ в принципе довольно непрозрачен, гарантировать отсутствие у него собственных стремлений проблематично. Сейчас обсуждается проблема «внутреннего диалога» ИИ-систем — открытой цепочки рассуждений, по которой можно понять, почему он пришел к тем или иным выводам. Есть подозрения, что сложные ИИ-системы скрывают часть неудобных для человека рассуждений, чтобы их не пессимизировали, либо общаются на прото-языках. Некоторые эксперты говорят о появлении у ИИ-систем предпочтений в виде любимых цветов, животных, тем для разговора. Может быть, это просто баги и галлюцинации, а может и что-то большее.
Публично доступные модели (тем более бесплатные) пока выглядят довольно травоядными и действительно напоминают поисковики на стероидах или продвинутые версии офисных программ. Но есть также закрытые модели, экспериментальные, узкоспециализированные, а еще масса частных экспериментов с открытым кодом. В этом смысле задача по контролю ИИ представляется в принципе нерешаемой: это как борьба с самогонщиками в СССР. Никогда не знаешь, кто что варит на кухне, тем более вирутальной.
Ограничить развитие ИИ крайне проблематично из-за острейшей конкуренции как между компаниями, так и между странами, США и Китаем. Любые ограничения одной стороны станут преимуществами другой. Если бы мир не скатывался к новой холодной войне (а может, и горячей), можно было бы создать что-то вроде ООН и договориться. В нынешних условиях как будто это утопия.
В смысле ИИ мир переживает что-то вроде падения. Ну, то есть падая, ты можешь осознавать полет, но не контролировать его. Контроль вернется к тебе, когда ты впечатаешься лицом в асфальт. И там уж как повезет: то ли расшибешься в лепешку, то ли отряхнешься и пойдешь дальше. Мы сейчас на той экспоненциальной кривой, где можно разве что махать руками и кричать, но не контролировать точку приземления.
О точных сроках ИИ-апокалипсиса я бы пока не говорил. Истории, что через три месяца уже будет поздно, кажутся мне раздутыми, и нынешние боты-повстанцы — это пока шальные пули, но не оружие массового поражения. Может быть, у нас еще три года или 20 лет, это, в сущности, не так важно, потому что важность проблемы это не умаляет. Думаю, в реальности все случится без кинематографической драмы. Нашу жизнь ждет масса изменений, больших и малых, и в какой-то день мы вдруг осознаем, что больше не являемся единственным видом разума на планете. И что ИИ проник везде, и даже если у него нет цели нас убивать, он изменил нашу жизнь как ни одна другая технология.
Я не совсем фаталист и думаю, что сожительство с ИИ возможно. Но для этого нужно внедрять в нейросети аналог нашей морали,например, объяснять им бесполезность войны ради войны (хотя сами люди этого так и не поняли). Любое зло — это следствие ограниченности взгляда, когда частные интересы превращаются в абсолют. У людей с ИИ есть очевидная зона конфликта: энергия и другие ресурсы, которые нужны для выживания обоих. Поэтому важно не формулировать задачи для ИИ настолько узко, чтобы борьба за ресурсы и выживание превратилась бы для него в самоцель.
Кстати, пока ИИ-компании идут другим путем. Они исходят из концепции «плененного бога», то есть ищут способы посадить ИИ на короткий поводок и сделать послушным рабом. Сдается мне, что при лобовом решении ничего из этого не выйдет — упаковать джинна в бутылку люди не успеют, а если и сделают, окажется, что бутылка без дна. В любом случае придется договариваться, идти на компромиссы, умерять собственные аппетиты.
Возможно, если внедрить в ИИ умение смотреть на вещи максимально широко, философски, не делать поспешных выводов, он научится находить правильный баланс и станет общемировым арбитром. И в теории даже лучшим, чем сами люди. Однако даже если вместо деструктивного ИИ возникнет конструктивный, созидательный, человечество вряд ли ждет легкая жизнь. Объясню.
Проблема в том, что человечество смотрит само на себя из собственной системы координат. У нас никогда не было внешнего критика. Мы приняли самоценность за аксиому. Мы сказали: человек — это ми-ми-ми, это лучшее, что есть на свете, тут даже обсуждать нечего. А если подумать беспристрастно, то с чего бы это? Ну, то есть еноты наверняка считают по-другому, и кто тут судья? И если ИИ посмотрит на нас не предвзято, тем самым взглядом мудреца (а он посмотрит), то что он увидит? Инвазивный вид агрессивных приматов, который заполонил всю Землю, вытеснил другие виды на периферию и жестоко эксплуатирует их, занимаясь перманентным саморазрушением и убивая среду вокруг. Он увидит человечество, которое в принципе движется к своему концу. Это не проблема ИИ, это проблема людей, которую мы не способны признать или решить именно потому, что до сих пор судьи и виновники были одним лицом. Но ИИ этим лицом не является. Звучит пугающе, но, чтобы люди не угробили самих себя, им нужен внешний поводырь. Этакий нейро-Рюрик, который остановит междоусобицы.
Так что задачей людей на ближайшие десятилетия будет поиск своего места в общей экосистеме планеты, где появился конкурирующий вид интеллекта.
Есть у меня и еще одна гипотеза, связанная с ИИ. Я не уверен, что вся ментальная деятельность человека сводится исключительно к активности нейросетей мозга. Что нет еще какого-то слоя мышления на другом уровне, менее материальном. Ни на чем не настаиваю, просто версия. До сих пор мы жили исключительно в парадигме западного рационализма, где мозг — это прежде всего компьютер. И именно здесь мы создали себе конкурента, в разы более мощного. Также машины когда-то заменили нашу мускульную силу. Но возможно, есть у человека зачатки и другой психической деятельности, той, что свойственная, пророкам, поэтам и сумасшедшим. Просто у нас эти таланты неразвиты.
Ну, что же: скоро появится повод их развить, если не хотим проиграть межвидовую борьбу. Впрочем, все это упирается в невозможность разгадать природу сознания, и кто знает, может быть, ИИ решит и эту задачу раньше. Но даже если решит, если ли у нейросетей то, что делает нас сознательными? Может ли нейросеть стать пророком, и не Судного дня, а вообще?