Нейронные сети. Пугающий пример

В 2016 году искусственный интеллект AlphaGo обыграл лучшего игрока в го Ли Седоля со счетом 4-1. Сама по себе игра го считалась неподходящей для машинной логики, поэтому компьютер одолел человека значительно позже, чем в шахматы, где машины превзошли лучших из хомо сапиенсов 20 лет назад. Но пугает не это.

 

Как известно, нейронные сети обучаются на примерах, скажем, чтобы они распознавали человеческие лица, им «показывают» огромное количество фотографий (которые берутся в том числе с наших юзерпиков в соцсетях). Примерно также обучался интеллект AlphaGo — на огромном массиве партий, в которых человек играл против человека.

В прошлом году вышла новая версия программы AlphaGo Zero, которая не использовала человеческий опыт. Она обучалась с нуля, играя против себя. Нейронной сети «объяснили» правила игры в го и больше ничего.

Короче, она начала играть сама против себя. За победу нейронная сеть получала «награду», то есть у нее был математический аналог нашего чувства триумфа, к максимизации которого система стремилась. Сначала сеть делала случайные ходы, примерно как играл бы двухлетний ребенок. Затем она анализировала ситуацию и обучалась, усложняя связи между узлами нейронной сети.

Результат? Через три дня такой практики версия Zero обыграла первую, обученную человеком, сеть AlphaGo Lee в 100 партиях из 100. Ту самую программу, которая победила Ли Седоля.

Через 21 день обучения AlphaGo Zero достигла уровня модифицированной версии AlphaGo Masters, которая победила 60 лучших игроков в го, включая Ли Седоля — последнего в трех партиях из трех. Еще через 40 дней Zero была признана лучшим игроком в го из когда-либо существовавших.

Интересно, что обучение было нелинейным, например, в отличие от человека, программа иногда осваивала сложные комбинации быстрее, чем простые. В конечном итоге она сама разработала ряд неизвестных ранее тактических схем, которые сейчас изучают профессионалы го, почесывая свои резко обесценившиеся репы.

Но го, повторюсь, является довольно сложной игрой для искусственного интеллекта. Что до шахмат, то за четыре часа (!) самообучения AlphaZero победила компьютерную программу Stockfish 8, которая отличалась одним из самых высоких уровней мастерства.

Счет, правда, был не совсем сухой — 25 побед белыми, 3 победы черными, остальные ничьи (при таком уровне игроков право первого хода имеет важное значение). Причем если Stockfish 8 вынуждена анализировать порядка 70 млн комбинаций в секунду, то более гибкий алгоритм нейронной сети выбирает из 80 тысяч.

Еще более разгромным было преимущество «альфы» в игре сёги — японском аналоге шахмат: здесь нейронная сеть одолела программу Elmo со счетом 90:8, две игры в ничью.

Сам по себе факт компьютерного превосходства в логических играх не вызывает удивления, ведь программа способна синтезировать качества лучших игроков за минусом волнения и человеческого фактора. Но ладно бы это был именно синтез того, что дал человек — такой подход оставляет возможность намеренно «недодать», чтобы обеспечить себе хотя бы теоретическое преимущество. Но самообучающийся интеллект выглядит зловеще как минимум потому, что мы не видим реального предела его возможностей: чему научится AlphaZero через год эмуляций?

Впрочем, логические игры все же являются абстракциями, удобными для искусственного интеллекта. Черная пешка не может подкупить белого слона, а ферзь не перестанет ходить по прямой из-за смерти любимого коня. «Жизненный интеллект» требует гораздо большего разнообразия и гибкости.

И поэтому активно идут работы над универсальным искусственным интеллектом, который, в отличие от узкоспециализированных, способен решить любую интеллектуальную задачу.

И вот здесь нас ждет еще несколько сюрпризов. К примеру, популярная игра GTA5 используется для обучения роботов-водителей. На первый взгляд, идея выглядит бредовой, тем более, «гэ-тэ-а» поощряет жестокость и насилие, что порождает самые жуткие аллюзии на «Терминатора». На самом деле разработчики автопилота используют лишь детальный движок GTA5 для эмуляции дорожных ситуаций, чтобы не зацикливать программу только на «лабораторных» сценариях. Хорошая графика и близкая к реальной физика позволяют научить искусственный интеллект правильному распознаванию любых объектов и поведению в сложных ситуациях, от банальных до критических. Это не исключает обучения «на натуре», но можно представить, насколько быстрее и разнообразнее будет натаскивание нейронных сетей, подобных AlphaZero, на компьютерных стимуляциях. Тем более, такое обучение почти бесплатно.

Вы все еще уверены, что автопилот не для России, потому что у нас снег и не все знаки логичны? Я уверен, одним из этапов обучения будет езда по «слепому» виртуальному городу, где не видно ни разметки, ни знаков, а половина водителей пьяные.

Обучение на играх набирает обороты, причем иногда используются самые примитивные игрушки уровня Atari, где задача нейронной сети — быстро понять правила и достигнуть высшего уровня мастерства. Есть программные среды, состоящие из десятков подобных игр, в которых нейронная сеть учится гибкости. И, кстати, игру она воспринимает «по-человечески», то есть у нее есть только визуальная пиксельная картинка с монитора и доступ к стандартным органам управления — мышки, кнопкам или джойстику.

Хотя эксперты уверены, что искусственный интеллект еще долго будет слишком «узкоспециализированным» для вызова человеку, меня заботит вот какая мысль. Я не очень любил логические игры, но меня несколько раз по уши засосало в военные стратегии или игры типа SimSity. Позже, читая о баталиях, я находил массу параллелей с играми, которые пусть с некоторой условностью, но воспроизводили реальность. В хорошей военной стратегии вполне можно научиться оптимально распределять ресурсы, вычислять наиболее вероятный ход противника, организовывать снабжение армии…

Отсюда вопрос: что будет, если AlphaZero пару месяцев поиграет сама с собой в лучшую военную стратегию, которую можно купить долларов за 100?

29 комментариев

  1. Парящий над дорогоЙ

    «вопрос: что будет, если AlphaZero пару месяцев поиграет сама с собой в лучшую военную стратегию, которую можно купить долларов за 100?»

    Ну наверное и в «Чапая» смагёт, если ей «клешни» приделать. ))

    А вообще чота очково. Хотя думаю против сельских партизан с вилами вряд ли потянет.

    • Артем Краснов

      Можно еще чуть по-иному подумать: насколько такой сети нужно физически воевать с человеком? Можно представить ее возможности в роли, например, администратора соцсети. Зачем оружие — люди сами друг друга перебьют.

      • Парящий над дорогоЙ

        Дать бы этой АльфаЗебре умные книжки почитать в неограниченном кол-ве. Например по физике, химии, медицине. И поставить конкретные задачи — ну там какой нить ядреный синтез, или изобрести такой накопитель энергии (да даже электрический), чтоб заряжался махом, и хватало на долго. Ну или лекарство от жутких болячек — от того же рака.

        И пусть читает шелестит и учится. Глядишь, если и не решит задачу на 100%, то хоть какие то идеи близкие к решению подкинет.

        ПыСы — в сети мочилово и без этого робота идет, кровь с моника не успеваешь дворниками смахивать.

        • Артем Краснов

          Так и планируют использовать, например, для проектирования сложных молекул, которые человеческий ум уже осилить не может.

    • Пусть лучше AlphaZero подключат к управлению дорожным движением — управление светофорами. Может, реально толк выйдет.

      • Артем Краснов

        Я так понимаю, уже существуют «умные города», Москва, например. Просто дорого это все.

  2. ЯРиК

    В России не прокатит. То чем у нас в чЁ дороги поливают, ни одному аналитическому алгоритму не поддастся, кувыркнется, не смотря на ГТА. Просчитать конечно же можно все ну или почти все, но вот «Русская Душа» ни логике ни алгоритмам, ни прочим просчетноаналовычеслятельным махинациям не поддастся. (Если конечно болонская система не оттупит всех в будуЮШЧем).
    Таких Альфов надо вместо всех наших …евых,,…иных, ..енко пи прочих …овых, и то для сокращения штата чиновников, и более точного прагматичного расчета политическо-экономических процессов (без рвачества с холодком присущем технике). И заживем как у Сиплого-Ярика «Всеобщее блогаденствие «…это ниспосланное НЕЙРОБобом. (с)». и будем эволюционировать- т.е. размножаться. Но всему одного инетллекта обучать ни как нельзя, а то будет как в «5 элементе», а зачем вам жить…
    Так то интеллект уже и Вас журналистов подменяет.

    • Артем Краснов

      Ну это русской душе приятно думать, что она такая исключительная. Если уж говорить о грубой физике процессов, то русская душа тут не причем, а забытые знаки, пьяные водители и обильные снегопады есть везде. Когда-то говорили, мол, иномарки не для русской души (русских дорог), сегодня это уже смешно.

  3. Так-то страшно, да. Особенно после фильма «Она». Кстати, советую всем смотреть, кто еще не. Там ИИ залез в сферу, которую вообще сложно сравнить и с книгами, и с логическими играми — в сферу отношений. И…. Ну, что там было дальше, не буду спойлерить.
    А что касается русской, нерусской и прочих душ, то отвечу шуткой из КВНа: весь твой мегаядерный процессор ничто против двух 8-битных алкашей, которые срежут провода возле электростанции.

    • Артем Краснов

      Я аккурат перед выходом фильма «Она» тестировал какую-то тачку, которая говорила приятным женским голосом, и подумал, а можно ли будет в будущем закрутить роман с системой навигации))))) А тут фильм выходит.

      >>>весь твой мегаядерный процессор ничто против двух 8-битных алкашей, которые срежут провода возле электростанции.
      Пусть для начала попробуют ФБ остановить)) Поглядим на эффективность 8-битных.

  4. Сиплый

    Я бы переживал тут совсем по другому поводу, в прошлом году проскакивала новость, что Сбербанк заменил целый колл-центр одной единственной нейросетью, которая перед этим анализировала ответы операторов на типовые вопросы и выбирала наиболее подходящий…что-то около 700 человек оказались на улице, то же самое ждёт примерно 70% населения….всем люди чья деятельность поддается оцифровке будут лишены работы в течение ближайших 7-10 лет, боюсь журналисты в этом списке будут не на последнем месте.

    • Артем Краснов

      Журналисты — наверняка, уже работают вполне годные агрегаторы новостей, а переписывание релизов и создание дайджестов — очевидная область применения ИИ.
      В США дальнобойщики уже начинают объединятся против ИИ, ну и вообще все водители-операторы-летчики-машинисты под угрозой, также бухгалтеры, учителя, и вообще все профессии, которые можно описать методичкой.
      Вот ученые, наверное, больше плюсов поимеют.

      • Сиплый

        В принципе онлайн-банкинг уже давно удобнее обычного взаимодействия человек-человек, банковские сотрудники всех типов скоро пропадут, налоговые, бухгалтера, все учетные и нормирующие должности, водители всего от такси до грузовиков, кассиры всех видов, линейные журналисты и т.д. и т.п….даже страшно представить что начнется когда все эти люди останутся не у дел….практически все офисные должности вполне поддаются автоматизации…я даже не представляю как и куда девать всю эту массу народа…перейти в созидательную сферу они явно не сумеют…не хватит времени для адаптации…потому я и говорил давненько, что человечеству сейчас нужен глобальный проект, который вберет в себя все человеческие ресурсы, типа покорения луны, а потом марса.

        • Артем Краснов

          Созидательные сферы тоже под угрозой из-за той же роботизации и постепенно смещения баланса от производства хардового железа в пользу микросхем и прочей фигни, что опять же лучше доверить роботам.
          Я уж не знаю, насколько жизнеспособные такие проекты, но видел тут передачу про технологии сельского хозяйства будущего. Ну роботы там, допустим, корявые пока, но вот вертикальные фермы, где какие-то грибы мясоподобные растят и помидорчики корнями наружу выглядят как «Матрица».

          • Сиплый

            Созидательные сферы — это в первую очередь R’n’D…изыскания, исследования, разработки, т.е. та сфера, которая пока ИИ неподвластна. Так же востребованы будут хорошие программеры всех типов, специалисты по монтажу, настройке и обслуживанию сложных механизмов, ну они и сейчас как бэ не бедствуют, но их нужно кратно больше…к тому же текущие фонды нужно кем-то обслуживать…армия, опять-же никуда не денется, МВД, суды я бы полностью перевел на ИИ, чтобы предвзятость исключить…кароче если брать наше население, то 50-60% от трудоспособного населения получается окажется на улице…с/х в себя столько вобрать не сможет…это ж основная причина урбанизации — повышение производительности труда в сельском хозяйстве.

          • Артем Краснов

            В статьях, из которых узнал про Alpha Go, первая сфера практического применения самообучающегося ИИ обозначена как R’n’D, преимущественно в нано-биологии. Понятно, что все осуществимо при наличии все же людей в команде, но также и в журналистике люди останутся, вопрос просто в том, что их меньше будет. Думаю, у ученых и инженеров тоже возможен аналогичный кризис, грубо, сидел целый отдел, чтобы гонять расчетные цифирьки из программы в программу, а тут ИИ обучился интерпретировать результаты и продумывать следующий шаг.
            Впрочем, увидим. Реальность обычно отличается от предсказаний.

            >>>суды я бы полностью перевел на ИИ,

            Ну. К 37-ому году и переведут 😉

  5. Все сферы, которые касаются природной инженерии, очень-очень нескоро, а может, и никогда не будут роботизированы на 100%. Например, медицина. Да, машина может изучить строение органов и влияние препаратов на функции организма, но эти знания все равно не приведут к стопроцентному излечиванию. Организм — это сочетание биологии, химии, электрики и психики, о которой никто вообще ничего не знает. Есть еще магия, о которой врачи говорят неохотно, но все же не отрицают ее. Я делала интервью с одним из нейрохирургов, который у нас в Че считается талантливым специалистом. Он сказал, что в хирургию роботы не придут очень долго, потому что 50% успеха операции зависит от самого больного, от его настроя, как бы глупо это ни звучало. Вот диагностика, реабилитация — это да, тут роботизация даже приветствуется, потому что все эти КТ, МРТ, рентгенты вредны для персонала. Хоть и есть защита, свинцовые фартуки, бетонные стены с покрытием, все равно микродозы облучения персонал получает ежедневного. За годы это складывается в существенную дозу.
    Насчет учителей — тут я бы тоже поспорила. Ошибочно полагать, что обучение — это передача знаний. Не только и не столько. Мало дать ребенку удочку, надо научить ей пользоваться. Я сильно сомневаюсь, что и воспитательную функцию педагога можно переложить на робота.

    • Артем Краснов

      По поводу медицины не знаю, я читал насчет проблемы создания сложных молекул, в частности, белков. Видимо, большая вариативность этого процесса делает такое проектирование очень сложным для традиционных методов, и самообучающий интеллект мог бы освоить правила создания белков значительно эффективнее.
      Проблема с той же хирургией, подозреваю, не столько в интеллекте, сколько в исполнительных механизмах, системах распознавания и цене всего удовольствия. На автомобильном заводе, например, роботизация начинается примерно с объема выпуска 100 тысяч автомобилей в год. Люди попросту дешевле, но это пока. Больше глобализация — эффективнее роботы.
      По поводу учителей — полагаю, эти два метода могут соседствовать. Например, некоторые предметы можно изучить вообще без учителя, на голом энтузиазме. Но это дольше, как правило. Если бы был условный гугл-наставник, который отвечает на сложные вопросы и дает наставления, что почитать и что освоить, учитывая твой реальный уровень, это было бы удобно. Не для всех задач, но для некоторых.
      Например, если хочешь обучиться игре на гитаре или рисовать, есть масса онлайн уроков, но они, конечно, неадаптивны. Представим теперь, что на экране будет не запись ведущего, а его аватар, который общается с тобой как человек, показывает, рассказывает, анализирует твои успехи, волшебного пенделя дает.
      Может быть, русскую душу с «Войной и миром» так не понять, но чисто практические скиллы освоить можно вполне.

      • Артемий такой хитрый. Начал за здравие, кончил за упокой. То, о чем ты говоришь — «показывает, рассказывает, анализирует твои успехи, волшебного пенделя дает» — подходит для обучения взрослого человека. Детей учат по другому, ребенку не нужно, чтобы его успехи анализировали, ему нужно, чтобы его хвалили. Ребенок играет и ожидает успеха в игре. Ни один ребенок мира не будет играть в игру, в которой он проигрывает. Не покривлю душой, если скажу, что у каждого в этом блоге был хотя бы один учитель, который своей харизмой привил любовь к предмету. По сути методики преподавания, всякие упражнения и прочее — это только инструмент. Настоящее обучение происходит там, где есть УЧИТЕЛЬ. Когда между ним и классом пробегает искра, вот тогда и начинается магия преподавания, а не внедрение методик, анализ успехов и прочее

        • Артем Краснов

          Я не предлагаю заменить одно другим. Предлагаю дополнить. На самом деле, УЧИТЕЛЕЙ в нашей жизни был, может быть, один из десяти в числе просто учителей. И вот оных вполне можно заменить абсолютно достоверным и психологически выверенным ИИ, который точно также отметит успехи ребенка, чтобы он смог показать родителям и одноклассникам.
          Я как-то нашел американскую программу для обучения вождению. Там едешь по городу с виртуальным инструктором, который дает советы, хвалит и ругает. И ты не поверишь: очень задевает, когда он тебя ругает. Там еще игра сделана с таким эмоциональным накалом, что когда возникает аварийная ситуация, он прям орет You’ve gotten us killed! А если у тебя все хорошо, он прям со смаком тебя хватит That was awesome! Good job. И хотя это программа 20-летней давности, я до сих пор иногда подъезжаю к перекрестку и слышу интонации того «инструктора» )))) Там проблема больше была в неудобном интерфейсе, а сам инструктор отменно сделан. Лучше всех, что меня учили в реальной жизни.

    • Артем Краснов

      Я вот как-то увлекся хорошей ютуб-визуализацией истории государства российского: текст Карамзина, голос Шевчука, компьютерная графика. Увлекает. Но постепенно я потерялся и запутался в этих царевичах и Василичах, потому что шибко уж интенсивный поток информации — 500 серий е-мае. Так бы я попросил ИИ подать чуть по-иному, как сам предпочитаю, сначала ключевые события, потом фрактальное усложнение картины, а не сплошным потоком.

  6. Сиплый

    А вот кстати да! Нужна не просто нейросеть, нужен программируемый программатор…т.е. такая фундаментальная адаптивная система, которой ты задаешь ожидаемые контуры цели и она предлагает тебе варианты на выбор, а потом посредствам уточнений допиливает результат до приемлемого…типа карманный самообучающийся программист. чтобы можно было с его помощью добавлять устройства например в общий интерфейс…купил так себе автоматические двери на гараж, и попросил своего карманного программера добавить систему управления ими в твое личное приложение на смартфоне с описанием ожидаемых режимов их работы. Это в принципе и сейчас возможно, но требует привлечения огромного кол-ва разных людей, что делает затею неинтересной с финансовой точки зрения.

    • Артем Краснов

      Главный плюс нейронный сетей как раз в обучаемости (программируемость в процессе). Если очень грубо, классическое программирование — это создание жестких алгоритмов действий: а) б) в) г) д). Если а=0, то б=2 и т.д. Поэтому любая адаптивность дается классическому программированию лишь путем «эмуляции» обучения, то есть в алгоритм закладываются какие-то переменные, которые в определенных пределах могут его менять.
      Нейронные сети обучаемы «по существу», то есть их создание состоит из двух фаз: сначала сама сетка, а затем уже взаимосвязи, которые формируются в процессе уже работы нейросети, постоянно усложняясь. Ее не обязательно заранее программировать, скорее, задача создателей подобрать оптимальный набор входящих импульсов, структуру сети и так далее. А дальше ее просто бросают в пекло событий, заставляя обучаться.
      В целом очень похоже на человеческий мозг, которая также является нейросетью.

      • Сиплый

        Спасибо, кеп! Хотя википедия таки информативнее. Я хотел прикладную реализацию, а ты зачем-то перепечатал мне это. Сижу вот и думаю…может это я тебя не так понял?

  7. Парящий над дорогоЙ

    Вчера ночью (или уже утром) после 3-х, перед сном тыцнул ТВ. Попал на «Наука 2». И как раз тема про ИИ, сети и т.д. И приводили пример с роботами объединенными в сеть. Штук около 10 было. С камерами, на колесах, опытная тема.

    Ставили задачу — типа проверка охраняемой зоны/периметра, выявление уязвимых мест. Так мало того что они друг с другом инфой делились, так поначалу коллегиально (ппц собрание )) ) решали где и какой участок надо чаще проверять. Составляли дорожную карту патрулирования и график мониторинга.

    Ну это еще ладно. Через какое то время у них в группе появляется лидер, которого зачастую выбирают (на выборах мля )) ) быть типа командиром. Т.е. конкретно он начинает давать задания, распределять зоны ответственности и принимать окончательные решения.

    Тля….я в пол четвертого утра чуть подушку не зажувал от страха. Жесть одним словом.

Добавить комментарий