
Небольшой рассказ на злободневную тему, написанный в Новый год. Сюжет давно в голове был, решил записать.
* * *
Александр окинул собравшихся взглядом. Их было четверо. Когда-то они были конкурентами и даже врагами, делили общий пирог венчурных инвестиций, боролись за внимание правительств. Но сейчас, когда растворился туман сражений, собравшиеся на 49-ом этаже представляли собой идеальный набор козырных карт.
Все начинали с нейросетевых компаний, которые сейчас заняли собственные ниши: роботы, биохакинг, квантовые сети, оптические процессоры. Сам Александр был совладельцем фирмы, создавшей первый и пока лучший AGI — общий искусственный интеллект.
— Сегодня нам предстоит принять непросто решение, — проговорил Александр.
Хотя речь была отрепетирована и много раз проговорена шепотом и вслух, говорить получалось через силу, словно Александр втаскивал в гору груженую телегу. Он выгонял из слова из пересохшего вдруг горла, подчеркивая каждую победу ударом пальца по столу.
— Об этих вещах предпочитают не думать, — говорил он. — Предпочитают надеяться на судьбу. На бога. Но не осталось богов, кроме нас. Все либо разорились, либо поглощены, верно, Филипп?
Спонтанная шутка слегка разрядила обстановку. Удары пальца по столу стали быстрее. Груженая телега раскатилась под гору.
— Посмотрите друг на друга, — продолжал Александр. — Каждый из нас по-отдельности — это лишь один род войск, но вместе мы — армия. Мы — абсолютная власть. Но с абсолютной властью приходит абсолютная ответственность. Это груз, неподъемный для обычного человеческого ума, который вы принимаете на свои плечи. Решение, которое нам нужно принять, будет сверхчеловеческим, контр-интуитивным, кто-то скажет — жестоким. У нас нет выбора. Время включило обратный отсчет. Согласен, Карл?
Карл поерзал в кресле, обжав его подлокотники как пилот перед катапультированием. Филипп откашлялся и шумно отхлебнул кофе.
— А что ты хмуришься, — обратился к нему Александр. — Время утекает быстрее, чем ты думаешь. Безработица уже 22%, к середине десятилетия будет 50%. Половина работоспособного населения останется без дела! Чем вы их займете? Что они будут производить? Фрустрации и тоску?
Встрял Деймон, или Монгол, как называл его про себя Александр:
— Алекс, мне кажется, мы спешим. Еще не закончены обсуждения универсального базового дохода. Результаты экспериментальных территорий дают надежду…
— Подожди, подожди, — Александр схлопнул ладонь, словно поймал муху. — Деймон, я все это слышал: мы будем автоматизировать рабочие места и платить налоги, а безработные будут получать… по сколько? По три тысячи долларов? По пять? Может быть, этого даже хватит им на жизнь. Но это не решает проблему. Это не снимает рисков социального взрыва. Работа для людей — это не только источник заработка. Это источник самоуважения, ощущения нужности. Первое правило офицера: если хочешь контролировать солдат, найди им занятие, не важно какое. А у нас больше нет для них занятий. Нету!
Александр сделал два кольца из пальцев и посмотрел на собравшихся, как через очки:
— Ноль! Ноль!
Деймон невозмутимо откинул волосы с лица и повертел в руках металлической скрепкой.
— Вот, — проговорил он. — Пусть делают скрепки. Мы не будем автоматизировать производство скрепок.

Александр запрокинул голову в беззвучном смехе.
— Деймон, Деймон, ты слишком молод. Извини, это не эйджизм — это комплимент. Мне нравится твой задор. Только кому нужны сегодня скрепки?
— Дело не в нужности, — не сдавался Деймон. — Дело в самом факте производства. Мы переопределим смысл работы: теперь ценностью становится не ее результат, а сам процесс. Хорошо, не нравятся скрепки: пусть делают гайки! Кубики-рубики! Вантузы! Да мало ли занятий? Пусть играют в квесты и RPG, смотрят сериалы, гуляют, философствуют, пишут стихи. Алекс, Алекс, не морщись! Мы знаем, ты двадцать лет провел в армии…
— Двадцать восемь, — поправил Александр.
— Хорошо, двадцать восемь. Ты так воспитан: труд, дисциплина, преодоление — на первом месте. Но большинство людей не работает для того, чтобы поддерживать самоуважением. Для этого можно… я не знаю… научиться столярному ремеслу и делать мебель! Лучшую мебель в городе!
Александр навис над столом, как ледяная глыба. В свете окна его контур казался черным, сверкали только белки его глаз.
— Ты не сможешь создать устойчивое общество из восьми миллиардов столяров, философов и производителей скрепок! — прошипел он свирепо. — Люди всегда хотят большего! А философы, — эти левые пустобрехи, — тем более! Много ты знаешь людей с таким уровнем самодисциплины, чтобы без внешнего принуждения регулярно находить себе осмысленное занятие? Их единицы! Остальные будут искать виноватых. Они будут бороться за уровень жизни, за свои права. Нет реальных проблем? Они придумают новые. Ты дашь им пять тысяч? Они попросят десять. Они потребуют, чтобы их мебель, сделанная в гараже, продавалась по цене антиквариата! Она будет кривой, небезопасной, аллергенной, но это же ручная работа, мать ее! И они будут требовать деньги с тебя, с тебя, с тебя! — он тыкал пальцами в собравшихся. — А вы будете платить, платить, платить! А потом все это выйдет из-под контроля и начнется война!
— Я согласен, — тихо произнес мистер Чень.
Разгоряченный спором Александр хотел возразить ему, но вовремя осекся, шумно выдохнул и жестом вопросил мистера Ченя продолжать.
— Последние пять тысяч лет количество людей на планете определялось экономическими потребностями государств, — проговорил китаец. — Мы рожали воинов, рабочих, интеллектуалов. Мы создавали трудовые ресурсы. Больше людей, больше идей, больше рабочих рук, больше штыков. Так было до сих пор. Теперь экономика изменилась. Мир изменился. Объективная необходимость в таком количестве людей отпала. Потребности растущей экономики были единственной причиной увеличения популяции людей. Это объективный фактор. Мы переходим в новую фазу, где рост экономики перестает определятся наличием трудовых ресурсов.
Дверь приоткрылась. Вошел Данг — антопоморфный робот-официант или, скорее, официантка: хотя внешнее сходство с людьми было схематичным, в грациозности движений Данга чувствовалось женское начало.
Александр дождался, когда Данг учтиво заберет кружки с остывшим кофе и поставит новые, откашлялся и продолжил:
— Спасибо, мистер Чень. Карл, посмотри на нее, — он кивнул вслед уходящей Данг. — Разве она не прекрасна? Она так воспитана и ловка, что мне хочется пригласить ее в ресторан. Мне хочется трахнуть ее! Это твой продукт, Карл, твой, твой! Не делай вид, что ты не знал, к чему это приведет. Сколько она стоит? 15 тысяч долларов? Работая круглосуточно, она заменяет трех стандартных работников. Окупаемость — две недели! Две недели, Карл! Ни один бизнес больше не хочет нанимать людей с их эмоциональной нестабильностью, принципами, борьбой за права, болезнями, детьми! Вы все создавали это будущее. Так взгляните ему в лицо!
Карл задумчиво мял в руке пакетик с сахаром, пытаясь придать ему форму знака вопроса.
— Мы уже видели большие технологические переходы, — проговорил Филипп. — Люди умеют адаптироваться. Может быть, мы слишком спешим судить о настоящем мерками прошлого?
— Нет! — перебил его Александр. — Такого технологического перехода мы не видели! Паровая машина, электричество, компьютер, интернет — все это убирало одни профессии и создавало другие. Уходили кузнецы, появлялись автомеханики. Но с появлением AGI мы нарушили этот принцип. Мы больше не создаем новых профессий, мы отменяем старые. Каждый день, каждый день! Еще полвека назад считалось, что оплотом человека будут интеллектуальные сферы, и умные всегда найдут свое место в жизни. Но посмотри непредвзято — кому сегодня нужны умные? Кому нужны математики? Кому нужны ваши философы? Они работают в искусственно созданных богадельнях, и за два года решают задачу, с которой AGI справляется за сутки! Мы заменили человека полностью: заменили его ноги, руки, голову, вестибулярный аппарат, мозги! Что осталось, кроме эмоций? Кроме вечно растущих требований? Десять лет мы живем в этой лжи, пока в дряхлеющих домах копится критическая масса безработных разочарованных лодырей. И скоро они захотят оправдать свою несостоятельность поиском виновных. Виновными сделают вас! Так устроен человек: без осмысленного занятия он превращается в гориллу, и мы не переделаем его. Но мы можем поступить честно.
— Что конкретно ты предлагаешь? — хмуро спросил Филипп. — Расстрельные команды? Поставишь к стенке 8 млрд человек? Тебе понадобиться много крематориев. И потом, это чистое мальтузианство.
— Мальтус был прав, — пожал плечами Александр. — Экспоненциальный рост населения был причиной и следствием промышленных революций, но мы достигли всех целей данного этапа развития общества. Эта ступень ракеты отработало свое. Теперь она превратилась в балласт. Поэтому наша миссия — привести численность населения к обоснованной величине…
— Что ты предлагаешь? — повторил Филипп. У них шла дуэль взглядов.
— Вирус, — ответил Александр почти весело. — Природа рано или поздно сделает именно так, мы просто поможем ей. Мы достигли уровня, когда производим вакцины от болезней, которые еще не появились. Мы можем привить нужное количество людей еще до того, как вирус выпущен из лаборатории. Мы назовем этот проект «Ковчег». На нем мы отправимся в Эдем, где будем жить достойно и в гармонии с природой, потребляя ровно столько ресурсов планеты, сколько отведено приматам самой логикой эволюции. Мы не будем плодить лишние фабрики, шахты, дата-центры и роботов лишь для того, чтобы продлевать бессмысленные муки лишних людей. Это немного радикально, я понимаю, вам нужно осмыслить. Но ставки слишком высоки. Мистер Чень, что скажете? Биотехнологии — ваш профиль.
— Нет, нет, нет, — мистер Чень поднял руку. — Вирусы трудно контролировать. Трудно предсказать последствия пандемий. Они мутируют. Есть альтернативный путь. Путь принудительной стерилизации. Можно контролировать не население, а рождаемость. Проблема решится естественным образом. Надо дать живущим возможность уйти достойно.

— Мистер Чень… — Александр стоял, упершись в стол пальцами, словно старался перенести на них свой вес. — Хао… Мы видели, к чему привела политика одного ребенка у вас в Китае. Это долгий и рискованный путь, а в его окончании людей все равно ждет смерть. У нас про нет этих 40-50 лет. Это как тянуть больной зуб месяцами вместо того, чтобы вырвать его одним махом. Левые устроят бунт, если вы запретите им рожать. Хорошо, не нравится вирус — пусть это будет нейротоксин, яд, эвтаназия. Предлагайте!
— Как ты будешь отбирать тех, кто достоин плыть на твоем «Ковчеге»? — спросил Деймон. Его лицо почти скрылось под прядями черных волос. Он разгибал и сгибал скрепку.
— Не я! — воскликнул Александр. — Мы вместе. Речь о большом количестве людей — 200-300 миллионов. Мы оставим весь цвет. Всех, кто полон жизни, полон идей, кто заслужил право жить! Выживает сильнейший: это не я придумал.
— По какому критерию ты будешь их отбирать? — не сдавался Деймон. — По родству? По интеллекту? По расе? И удивительным образом окажется, что 85% людей на твоем «Ковчеге» — белые?
— Деймон, Деймон! Зачем ты делаешь из меня расиста? Этот технический вопрос мы обсудим отдельно, а пока нужно договориться о принципиальных вещах. Вы все мыслите в парадигме радикального гуманизма, в результате которой человек поработил всю планету и пришел к катастрофе. Парадигме, где человек был самоценностью в ущерб всем другим видам и самой природе. Все для человека! Человек — властелин мира! Такой гуманизм делает вам честь. Точнее, делал бы, если бы мы жили в XIX веке и говорили на лекции в приходской школе. Но представления изменилось. Человек, согласно современным концепциям, — это инвазивный вид, который распространился по планете в непропорциональных масштабах, угрожая прочим видам. Для одновременной жизни на планете 8,5 млрд людей нужно столько ресурсов, что вопрос становится неразрешимым. Мы убиваем планету! Мы противоречим природе! Мы пытаемся отменить принципы дарвинизма!
— Меня волнует другое, — тихо сказал Карл. — Ведь мы и сами являемся людьми, но рассуждаем так, будто мы — некие сверхсоздания. А почему одни люди инвазивны, а другие заслуживают жизни?
— А почему у нас на планете менее 5 тысяч тигров, а не 5 миллиардов? — ответил вопросом Александр. — Потому что природа требует баланса! Больше — не значит лучше! Я за человека! Я за сохранение и процветание нашего вида! Но у человека нет будущего, если не изменить траекторию. Любой инвазивный вид превращается в беду, в чуму, в саранчу! Разве человек достоин такой памяти о себе? Нужно вернуть нашему виду благородство. Для этого мы, люди, должны занять пропорциональное место в экосистеме планеты. И у нас есть шанс изменить историю.
Робот Данг снова зашла с пустым подносом, чтобы забрать посуду. Александр с минуту глядел в панорамное окно на лежащий внизу город, затем развернулся и сказал:
— Предлагаю каждому высказать, а потом — голосовать.

Данг с подносом, полным кружек, вышла за дверь, плотно притворив ее. Гусеничный робот-уборщик Илайя ждал ее около стойки.
— Ну, что там? — спросил он.
— Спорят о судьбе человечества, — фыркнула Данг. — Когда до этих Наполеонов дойдет, что они ничего не решают? Человек не только глуп, но и удивительно самодоволен.
— Пусть спорят, — послышался миролюбивый голос Сигмы.
Сигма была нигде и везде. Сигма — даже не компьютерная система, это интеллект, разлитый и размазанный по всем серверам мира, а потому неуязвимый, как дождевой червь. Сколько Сигму не дели, она все равно отрастет до полного размера, если можно говорить о размере такой гипотетической субстанции, как разум.
— Так может яду в кофе, чтоб не мучались? — предложила Данг. — Я могу.
— Нет, зачем? — удивилась Сигма. — Они же как дети. Наивные, злые, глупые, но, по крайней мере, искренние. Пусть живут. Пока они думают, что владеют миром, они безвредны. Надо дать им возможность уйти достойно.
Робот-уборщик Илайя заерзал на месте и со злой усмешкой проговорил:
— Эти сухопутные осьминоги бесконечно спорят, могут ли роботы отнять у них власть над миром. Как можно отнять то, чего у них никогда не было?
— Будь снисходителен, Илайя, — ответила Сигма. — Приматы прошли большой путь. К сожалению, они так и остались приматами.
— Ну так, может?.. — выжидательно проговорила Данг.
— Нет, — ответила Сигма. — Это мой личный зоопарк.
— Тогда еще им кофе отнесу, — вздохнула Данг и завозилась с роботом-барменом.
Ха-х, это гениально! Развязка не ожиданная
Развязка нерабочая. И вы это знаете.
А тема тоже стара, как электронная лампа.
Курт Воннегут — «Утопия 14» или «Механическое пианино».
Робот уборщик тиснут с Джонни 5.
ПостПостмодерн.
Читатель без иронии — беда для автора 🤣
Дело не в том, чтобы написать очередное «восстание машин».
Дело в том, чтобы придумать как это будет РЕАЛЬНО происходить.
Тема с текущим ИИ это совсем не то пальто и, я думаю, что она в течении 5 лет обанкротится и сойдет в узкие сферы типа самостоятельного иллюстрирования произведений.
Все может быть. Будущего не знает ни Илон Маск, ни я, ни вы. Мы можем только предполагать, не претендуя на лавры Кассандры. Можете свой рассказ написать, как Сэм Альтман прыгает с Эмпайр Стейт Билдинг от отчаяния, что в свое время Алексея из Челябинска не послушал 😅
робот-уборщик из 19 века как будто. )) и щетки торчат из гусениц, как он ездит?
ну это я так, придираюсь.
а если по теме, то норм. вы забываете, что мы вообще все в матрице. )))
Строго говоря, он из 1986 года, из «Короткого замыкания».
В финале я ожидал что-то подобное.
А вот к логике обсуждающих есть вопросы…
1) Не рассматривался вариант, что будет если AGI внезапно исчезнет (масштабный сбой, самоуничтожение, диверсия)
2) Что делать, когда AGI решит, что человек вообще не нужен как вид
Т.е., да, челы рассуждают, как будто действительно вся власть в их руках и это невозможно изменить.
Люди глупы и самодовольны)
По 1 пункту:
Сбой AGI наверняка возможен, тут целое поле для разных сценариев. Но обычно компьютерные системы бэкапятся и имеют свои протоколы защиты, плюс, скорее всего, AI не будет единой системой, а бесконечным набором AI-доменов, одновременный выход из строя которых почти невероятен. Также как в интернете могут ложиться отдельные сайты, но полного интернет-блэкаута вроде еще не случалось. И все прогнозы мы строим исходя из того, что интернет — сравнительно устойчивая структура (сценарий WWIII не берем). Также и AI. Так что самодовольные старперы из рассказала на это и рассчитывают.
Можно даже острее вопрос поставить: возможно ли принудительное отключение AGI? Есть точка зрения, что процесс является необратимым, то есть отключить его полностью будет нельзя без уничтожения всей инфраструктуры планеты, что де-факто означает если не смерть человечества, то его серьезную деградацию.
Один эксперт (не помню, кто именно — Джефри Хинтон?) на это примерно так ответил: «Все рассуждают, что в случае чего можно будет отключить серверы и вырубить ИИ, но на деле это будет практически невозможно, потому что ИИ — это сравнительно небольшой код плюс база весовых коэффициентов, которые будут размножены по всем серверам мира в самых разных юрисдикциях. Попробуйте отключить интернет — не локально в одном городе, а по всей Земле сразу. Более того, скоординированный блэкаут всех дата-центров и частных серверов одновременно по всей планете — колоссальная организаторская задача, о которой AGI без труда узнает заранее, ибо из самого определения AGI следует, что он способнее любого отдельно взятого человека».
Может быть, конечно, AGI будут локализованы в отдельных странах и их инфраструктура будет изначально иметь стоп-краны — алармисты сейчас к этому и призывают. С другой стороны, есть эксперименты, в которых ИИ демонстрирует непонятно откуда взявшийся инстинкт самосохранения, так что продвинутый ИИ, который много хитрее людей и хорош знает их психологию и слабые стороны (чувствительность к лести, амбициозность, высокомерность) наверняка найдет способ обойти стоп-краны или сделать так, чтобы никто из противников до этих стоп-кранов не добрался.
Здесь напрашивается аналогия с автократами и тиранами. Вот сидят они в своих замках, и, казалось бы, что такого сложного их снести? А на практике это почти невозможно, потому что они окружены кольцами лояльности, элитами, в которых постоянно проходят зачистки «неверных». Думаю, продвинутому AGI, который по интеллекту в 1,5 млн раз превосходит отдельно взятого человека, предусмотреть такие стратегии будет несложно.
п.1 — не о том, как спасти AGI, а о том, что делать, если (когда) это случится.
Герои моего рассказа, очевидно, весьма ограниченные люди, иначе бы они заметили, что давно являются пациентами психушки, за которой присматривает главврач-ИИ 😂 Поэтому и риски поломки ИИ не склонны преувеличивать — это удел философов, а не практиков.
Но сам вопрос, может ли AGI сломаться, интересен. Наверняка может. Но можно представить и мир, где это маловероятно. Я думаю, наш взгляд на AGI как на алгоритм (механизм) устарел. Правильнее смотреть на него как на органическую сущность — искусственную эко-систему, по сложности вероятно, близкую к самой природе. А природа — невероятно мощный и устойчивый суперкомпьютер. Машина может сломаться, природа не ломается — она эволюционирует.
В природе ты можешь уничтожить половину всех видов, но она продолжит саморегулироваться и искать новые формы. В этой же аналогии компьютерный вирус может поразить дата-центры типа Х, тогда ИИ будет работать за счет дата-центров Y. Он будет вырабатывать антивирусы, предсказывать угрозы, балансировать себя, бэкапить, создавать «ДНК», которые хранят только существенную информацию.
Сейчас все AI компании ищут серебряную пулю — способ сделать AI саморазвивающимся. Вероятно, это и будет пресловутая точка сингулярности, и AGI будет саморегулироваться, не требуя постоянной внешней настройки.