Моральная дилемма автопилота

В критической ситуации давить бабушку или давить девушку? Одна читательница спросила меня о «моральной проблеме автопилота». По её мнению, его никогда не внедрят по-настоящему, потому что не существует алгоритма, при котором автопилот мог бы выбирать из двух мрачных альтернатив. Например, сбивать ли нарушающего пешехода или врезаться в столб, рискуя травмировать своих же пассажиров?

В случае с автопилотом юридические аспекты действительно тормозят процесс, ведь ответственность за такие происшествия ляжет на производителей. И придется составить алгоритмы, которые разрешат при определенных условиях давить нашу несчастную бабушку или всё же девушку. Это кажется какой-то безумной, почти дьявольской задачей, но на деле её решат прагматично.

Любой производитель автопилота постарается минимизировать аварийность, но понятно, что идеал здесь вряд ли достижим. Автопилоты будут допускать смертельные аварии, и систему признает жизнеспособной, когда их удельный процент будет ниже, чем в исполнении живых водителей.

Производители автопилотов заложат определенный бюджет на урегулирование конфликтных ситуаций, и в конечном счете, все аварии оплатят сами клиенты за счет надбавки к цене системы (или услуги).

Но как же быть с моральной дилеммой? На самом деле, никакой моральной дилеммы нет: нейронные сети автопилотов при неизбежности аварий выберут сценарий, который обещает наименьшие издержки. Каждое происшествие будет оцениваться в денежном эквиваленте с учетом юридических расходов и репутационных потерь. То, что для нас трагедия, для авторов автопилота — определенная сумма. Если бабушку дешевле девушки, значит…

База данных будет расти и усложняться с учетом реалий конкретной страны, и постепенно сформируется некая иерархия «мишеней». Скажем, если в некой стране жизнь человека очень «дорогая» из-за перспективы нарваться на миллионные судебные иски, автопилоты будут охотнее сбивать светофоры и припаркованные машины. В авариях с пострадавшими детьми высоки имиджевые потери, поскольку новости такого рода расходятся по медиа, а значит, дети могут быть в приоритете. Как и здоровье пассажиров, если они являются владельцами машины. Если же речь об автоматических такси, такого приоритета у пассажиров может и не быть. Короче говоря, в любой ситуации над человеком на дороге будет маячить виртуальный ценник, и при наличии альтернатив автопилот снесет то, что подешевле. Если дешевле сбить человека, чем условный Rolls-Royce, автопилот не будет страдать угрызениями совести. А в официальных комментариях всех заверят, что иной альтернативы не было.

Вопрос морали решится чисто статистически. Ничего личного, просто бизнес.

66 комментариев

  1. Аяврик

    Прям таки вижу рекламу крупными буквами: «Автопилот адаптирован для российских условий», читай — нацелен исключительно на пешиков. Может, тогда они снимут капюшоны и вынут из ушей наушники…

  2. Рыся

    Циничненько! Прекрасное далеко уже не кажется таким прекрасным. Хотя скорее всего прагматизм будет побеждать и в дальнейшем.

    • Артем Краснов

      Вообще я надеюсь, что сам по себе автопилот радикально снизит количество аварий как таковых, потому что в основе почти каждой нынешней аварии — человеческий фактор. Возможно, автопилотирумые машины будут ездить медленнее и гораздо более предсказуемо, чем мы сейчас, координируясь из единого центра. Но уж если нужно будет выбирать… думаю, экономика выйдет на передний план (если за ближайшие годы не произойдет какого-то серьезного сдвига в нашем мировоззрении).

  3. ЯРиК

    Лет через надцать, хуйфоны, и прочие чипы станут неотъемлемой частью человека. И при выборе тела, пилот будет мониторить чья страховка дороже, и у кого телефон или чип более баский. Короче, вот для чего сегодня, многие гонятся за последней версией огрызка, стоимостью в 3-4 зарплаты, причем не челябинские

    • Аяврик

      Не доживут эти огрызки до благословенных времён. Будут чипы вживлять в организм. Тогда, наверное, и автопилот не понадобится. Скачал приложение, сел в машину, вставил разъём в ухо, и погнали. А хуйфон такой тёщиным голосом: «Маршрут в сауну временно заблокирован». Это пока пьяный спал, жена стринги в кармане нашла, ага. И коды доступа поменяла.

      • ЯРиК

        Аяврик, я и сказал «неотъемлемой частью». А сауна, сауна оно не страшно, ибо ЗППП это мелочи, там других вирусов будут бояться.

  4. Ольга

    Я почему-то серьёзно всё восприняла. И поэтому не понимаю, как говорится, об чём речь. Человеческая жизнь бесценна. Это должно вживляться в любые механизмы априори. Иначе мы уже проиграли по свой материальной ценности.

    • Артем Краснов

      Человеческая жизнь бесценна — в контексте развития нашей цивилизации это больше похоже лозунг, к которому временами стремятся (когда всё благополучно) и легко забывают (когда нет). Человеческая жизнь бесценна, но не жизнь врага во время войны. Человеческая жизнь бесценна, но если нужно взять стратегическую высоту, эти соображения уступают другим, менее пафосным. И ситуации, когда приходится выбирать между бесценными жизнями, встречаются не так уж редко.
      Наверное, вы правы — поначалу хотя бы на декларативном уровне жизнь человека будет в приоритете. Но что делать с ситуациями, когда жертвы неизбежны, и автопилоту просто нужно выбрать, рисковать ли пассажирами внутри или человеком в соседней машине?

      • Ольга

        Бесценность человеческой жизни можно умалить только по отношению к ещё большему числу бесценных человеческих жизней. То есть в описываемых Вами ситуациях с врагом или стратегической высотой это – необходимые иногда жертвы. А что касается механизмов, если будет доступна ситуация выбора, значит, аварийную ситуацию вообще можно предотвратить, разве не так? Аварийные ситуации тем и страшны, что повлиять ни на что уже невозможно, неважно, человек это или автоматика — уровни реагирования просто разные. Я к тому, что изначально поведенческий алгоритм любой техники должен быть выработан с учётом минимальных потерь для человека (а потом уже самой техники, если это возможно). И никак вопросов морального / материального выбора в самой аварии за машинами мы не должны оставлять.

        • Артем Краснов

          >>>необходимые иногда жертвы
          Так можно рассуждать, сидя над учебником. То есть в реальности вопрос «необходимых жертв» на самом деле жуткий. Представьте, что в числе этих необходимых жертв попал кто-то вам очень дорогой, и тут же выяснится, что вся эта система координат, в которой жертвы необходимы, не так уж абсолютна. И когда подходишь к вопросу с такой точки зрения, он становится просто невыносимым.
          Поэтому люди, чтобы не слишком утруждать себя такими сложными мыслями, в критической ситуации в принципе не руководствуются принципами о «бесценности человеческой жизни». К сожалению, это приводит к тому, что круг «необходимых жертв» иногда расширяется до такого ужасающего масштаба, что потом, в исторической перспективе, жертвы уже совсем не кажутся необходимыми. Вместо одной жертвы — десять тысяч, но коль необходима была одна, необходимы и оставшиеся 9 999. Такая логика и работает: возьмите хоть время репрессий, хоть любую войну, хоть Чернобыль.
          Вся человеческая история — это история больших преступлений. Существуют капсулы, в которых принцип о святости человеческой жизни первичен, но между ними всегда существует почти полное беззаконие и кровожадность, не слишком очевидные тем, кто живет в капсулах (то есть нам с вами).
          И, возвращаясь к вопросу автопилота, его моральность будет определять лишь прагматичными соображениями и ничем иным. Потому что, по большому счету, именно так определяется и моральность самих людей, когда они попадают в критическую ситуацию.
          Но, конечно, это не отменяет общего настроя на минимизацию аварий, но опять же — ради экономической выгоды (ведь производитель будет оплачивать эти аварии). Но алгоритм «выбора целей», думаю, всё равно придётся предусматривать, ведь критическая ситуация зачастую предполагает альтернативы, причем со многими неизвестными.

          • По поводу темы поста – я согласна, Артём, что прагматичные соображения всегда преобладали над морально-нравственными, но первые упоминания аварий автопилотов были, однако, связаны с обсуждениями рисков для жизни, а не ущерба транспорту. Это внушает надежду, что явных перекосов в программных установках автопилотов не будет. Да и вообще, о чём мы волнуемся? – если автопилоты сменят людей за рулём, аварии практически исчезнут, разве нет?

            А по поводу ценности жизни – мы же должны рассуждать беспристрастно, а не внедрять себя в ту систему координат, которую рассматриваем! Взгляд сверху – самый правильный. И учитывать при этом свои личные интересы (в виде тех же своих близких, например) нечестно. Причём, как на этапе построения этой системы, так и на этапе пользования ею. Мне кажется, что перегибы, которые Вы упомянули (в войнах, репрессиях и пр.), отчасти и происходили от желания получить личную выгоду от происходящего, реализовать прежде всего собственные амбиции. Да что далеко ходить — мы живём в обществе, где практически любая хорошая идея, претворяясь в жизнь с учётом личных потребностей реализуемого, становится обесцененной и даже вредоносной.

          • Артем Краснов

            >>>если автопилоты сменят людей за рулём, аварии практически исчезнут, разве нет?
            Будем надеяться. Но тема, в общем, шире, ведь ИИ, который управляет автопилотом, это лишь частный случай ИИ вообще. И что там для него будет морально — вопрос открытый.

  5. Артем Краснов

    Александр Мещеряков, директор «Сатурна» написал в ФБ: «От себя добавлю что следующим шагом будет продажа страховыми компаниями полисов повышения приоритета выживания в описанных ситуациях. Например, если бабуля из золотой сотни Forbes или её дедушка губернатор и она не хочет чтобы ее выбрали в сравнении с девушкой студенткой или фонарным столбом, то она покупает себе браслет с чипом от которого все роботы будут шарахаться на километр😎. А социальный вариант например выдавать аналогичные браслеты беременным женщинам или матерям одиночкам бесплатно…»
    По-моему, тоже возможно

    • Парящий над дорогоЙ

      В итоге будет как в 90-х, когда бандитов расплодилось столько, что нах послать стало некого…. Так и тут, в машине с вип браслетом, перед машиной пачка вип браслетов — човысуказалюди такие!!!!! давить некого.))))

    • Ольга

      Александр Мещеряков, наверное, любит экшн-фантастику и Джастина Тимберлейка?))

  6. Vanamen

    Нагнал Артем жути.. Сам же писал про «тормозить или маневрировать», поэтому в программы автопилотов будут
    забиты ПДД, особенно п.10.1, а также практика инспекторов по разбору ДТП. ИИ (хоть и не люблю это название)
    будет иметь в своей «башке» математическую модель (статическую и динамическую) участников дорожного движения, с вероятностными типами их реакций, в том числе на опасные ситуации.
    Так, что бить будут, но по правилам. Любой механизм, устройство, инструмент может причинить вред: лифты падают, сотовые телефоны взрываются, молотком бьем по пальцам, но пользуемся.
    Мне кажется, что с массовым внедрением автороботов будут созданы приложения для умнофонов с автопилотом для людей. Будет у тебя в кармане громко вопить «Тореадор смелее в бой…» — иди, а на «Постой паровоз…» — жди.

    • Артем Краснов

      Почему-то все уверены, что пункт 10.1 ПДД запрещает маневрировать. Он не запрещает. Представим гипотетическую ситуацию, когда торможение по прямой приводит к прогнозируемому ущербу в $1 млн, а попытка увернуться — к ущербу $1 тысяча. Автопилот выберет второй вариант, и даже если его признают «виновным» в этом ДТП, производитель просто компенсирует этот тысячный ущерб.
      Есть масса ситуаций, которых правила не описывают дотошно. И не нужно забывать, кстати, что если статью 1079 ГК РФ распространят в том числе на водителей-роботов, они будут платить в том числе за сбитых пешеходов, даже если те виноваты изначально. То есть, иногда в самом деле будет выгоднее уворачиваться. Что, может быть, и неплохо.

      • Vanamen

        Я, как-бы, не отрицал возможность маневра. Считаю, что робот это сделает это даже лучше человека., а в ст.1079 даже добавлять ничего не надо.
        Вряд ли я сяду в авто, где «мозги» будут высчитывать мою стоимость. Во — первых — это цинично, а во-вторых — это тяжело просчитать при ДТП. Сначала иск — к хозяину за нанесенный ущерб , потом хозяин — к производителю (ваш авто не увидел препятствие), потом производитель — к разработчику ПО по той-же причине. Разработчик ПО к производителям автокомпонентов (датчики, видеокамеры и т.д.), а они в свою очередь к хозяину авто (не протер от грязи, поэтому возникли нелинейные искажения….) и так до бесконечности. Поэтому, на ближайшую перспективу, место автопилотируемых авто только на специальных выделенных участках дороги, а иначе до луддитов недалеко)))).

        • Артем Краснов

          >>> Во — первых — это цинично
          Это их меньше всего волнует)))

          >>>во-вторых — это тяжело просчитать при ДТП
          Будет накапливаться статистика: нечто подобное происходит в случае со страховыми компаниями. Нейронные сети — обучаемые системы, которые на множестве примеров могут строить обобщения. Причем эти обобщения могут казаться людям не вполне даже логичными, ну, скажем, по статистике будет получаться, что мужчины в зеленых куртках ростом до 1,6 метра в среднем менее «ценны», чем мужчины в серых пиджаках высокого роста. Я утрирую, но нейронные сети примерно так и работают.

          Иск к хозяину невозможен в случае, если машиной управлял автопилот, а хозяин не совершил каких-то злонамеренных действий для возникновения ДТП (PS я, конечно, говорю об автопилоте пятого уровня).

          • А к кому предъявлять иск, если мой…нос, например, защемила автоматическая дверь? По- моему к хозяину двери по ст.1079 ГК РФ.

          • «За рулем» пишет, что отвечать будет страховая компания, что в Госдуму внесен соответствующий законопроект, в котором наша с вами жизнь оценена в 1 млн рублей.
            А в Германии 2 млн евро. Так, что на нас ставить эксперименты дешевле в 150 раз.

          • Артем Краснов

            Мы тут немного вперед забегаем, я думаю, все же перед полноценным выходом автопилота на дороги законодательство изменят. В вашей интерпретации получается некоторая коллизия, как если бы за ДТП с такси штрафовали пассажиров 😀

          • Я уже понял, что за все заплатит посредник — страховая компания, т.е. мы с вами.
            Как представлю себе, что еду на своем автомобиле в потоке с «тошнящими» рядом роботами, повязанными сетями ХХХG, которые все видят, слышат, анализируют, копят информацию, оценивают твою стоимость, обмениваются между собой и учатся, учатся, учатся…гады, …тоска, …не хочу)))).

  7. Вячеслав

    Мне кажется сначала надо разобраться с моральной дилеммой Хиросимы и Нагасаки, а потом уже к автопилоту переходить.

    Автопилоту как скажут, так он и сделает, причем разные «кривые» сценарии они наружу выплывут в пограничных ситуациях, соответственно потери репутации будут серьезные.

  8. Black’n’white

    Проблема смертельных ДТП — это комплексная проблема. Сейчас даже самый внимательный и аккуратный водитель не застрахован от трагедии. Совершенствование дорожной сети и снижение скорости в городе могут значительно улучшить ситуацию.
    Поэтому пускать автопилоты в город с инфраструктурой типа нашей — так себе эксперимент. Слишком много непредсказуемости, слишком большая цена неправильного выбора.
    А если представить, что дорожная сеть преобразилась с учётом интересов (не амбиций, а именно рациональных интересов!) всех участников движения, а реальная скорость упала до 30 км/ч, то можно уже уверенно рассуждать о нулевой смертности в ДТП. Насколько я понимаю, некоторые европейские города уже взяли этот курс.
    И в таких предсказуемых условиях автопилот можно будет массово внедрить быстрее и эффективнее. Вы когда-нибудь видели столкновение двух трамваев? Думаю, что это редкость как раз из-за предсказуемости их движения.

    • Артем Краснов

      Так ты все верно говоришь, сам характер движения машин с автопилотом изменится. Они не будут стартовать со светофора в режиме гонки и будут знать о намерениях соседних машин заранее. То есть даже в наших условиях это может быть безопаснее. Кстати, та же Тесла все ямы на дороге записывает в общую базу данных, то есть даже если первая машина угодила яму, остальной «рой» уже объедет её.

      • Black’n’white

        Прямо сейчас стараюсь изжить в себе какой-либо «характер» движения, когда нахожусь за рулём. Это не так просто, но вполне реально. И даже уже получается. Когда выключаешь эмоции, спешку и азарт, становится понятно, что автомобиль нужен, чтобы относительно быстро преодолеть некоторое расстояние и не более того. Это не актив, не цель и не предмет для гордости. Просто вспомогательный инструмент, который обслуживает одну-единственную функцию, причём не являясь в ней монополистом.
        Мечтаю, чтобы это понимание стало доминирующим. Автопилот тоже вполне органичен в этой концепции.

  9. Вячеслав

    >> ведь ИИ, который управляет автопилотом, это лишь частный случай ИИ вообще

    ИИ в полноценном смысле еще не создали и не факт, что его вообще создадут в ближайшую тысячу лет.
    (да да есть в этом мире серьезные ограничения и для технического прогресса)

    Нейронные сети занимаются прежде всего задачами классификации и распознавания, а не творческими задачами.

    • Артем Краснов

      >>>Нейронные сети занимаются прежде всего задачами классификации и распознавания, а не творческими задачами.
      А вождение это не творческая задача. Как и 99,9% всего, что делает средний человек

      • Vanamen

        Нейронные сети в автопилотировании автомобилей, по — моему, очередной «пузырь» надуваемый чтобы получить государственное финансирование. Это из той же серии что и нанотехнологии, или доставка почты квадрокоптерами. Да, это все актуально и необходимо, но несколько в других областях, в которых не провести такой пиар доступный пониманию большей части общества.
        У меня есть понимание автопилота в электропоездах, например в Дубае, но нет понимания исчезновению человека за рулем автотранспорта. По всем дорогам будут грустно стоять автомобили с проколотыми колесами, закипевшими двигателями, заклинившимися тормозными цилиндрами, с загрязнившимися сенсорами и видеокамерами и прочими нештатными неисправностями.

        • Артем Краснов

          Лет десять назад мне с той же убедительностью доказывали, что электромобили — это вообще придумки фантастов и очередной распил. А теперь сто процентов ведущих фирм переводят свои ключевые модели на электротягу. Я не говорю, что электромобили уже доминируют, но тренд налицо. Думаю, тут одно можно сказать: время рассудит. Автопилотируемые «Теслы» ездят по дорогам уже лет пять, и пусть не обходится без инцидентов (о чем и сабж), их не так и много на единицу пробега.

          • По-моему, автопилотирование Теслы требует присутствия человека и аварии происходили потому, что человек дремал или смотрел фильм. Речь не о том, что этого не будет, а том, что не надо поддаваться на рекламный пиар.
            Лет 40 назад мне приходилось присутствовать при полетах беспилотника на приличное расстояние. Сейчас это все проще, обыденнее и не вызывает ажиотажа.

          • Артем Краснов

            Ну, присутствие человека обязательно, конечно (закон пока не разрешает иначе), но вообще теслы намотали миллионы километров в беспилотном режиме (я имею в виду, с реальными владельцами, а не на тестах). Аварии были, но не так уж много. Вопрос в том, сколько люди за это время аварий совершили.

            >>>не надо поддаваться на рекламный пиар.
            Это мы о чём сейчас? Вы углубитесь в тему, почитайте англоязычные источники (российских, понятно, тут пока почти нет). Посмотрите, что делают Volvo, Audi, Waymo, Intel, Mobileye, Uber, Яндекс и так далее. Есть критики, есть апологеты этих технологий, но уж рекламным пиаром их можно называть, только если совсем уж не вникать в тему.

  10. Vanamen

    Давайте углубимся в тему. Какая аппаратура применяется для восприятия автопилотом объективной реальности? Видеокамеры, радары, GPS приемники. По видеокамерам ПО автопилота должно однозначно определить образы находящихся рядом предметов. По радару определить расстояние до этих предметов. По GPS определить географические координаты и привязать их карте местности с дорогами, знаками и т.д. Здесь может возникнуть конфликт — неопределенность, получаемая от разных датчиков, что и показывают ДТП с автопилотами. Грубо говоря, как система будет воспринимать человека держащего велосипед верхом на слоне идущем наискосок по перекрестку.
    Человек в этом случае более универсален. У него 6 известных органов чувств + интуиция и чувство юмора.
    Поэтому с задачами неопределенности он справится лучше.
    Я согласен, что ИИ будет развиваться и у него есть много возможностей для использования различных областях, но выпускать его на дороги общего пользования в ближайшее время преждевременно. Либо на совсем идеальную дорожную инфраструктуру, либо на специально выделенные участки дорог.

    • Артем Краснов

      Я вам приведу аналогию. Разговор в 60-х годах прошлого века:
      — Что? Беспроводные телефоны? Не говорите ерунды, батенька. Для них потребуются гигантские батареи и огромное количество передающих станций. Помехи от этих телефонов приведут к блокировке всех радиостанций и телеканалов мира. Кто захочет таскать в кармане 15 килограммов? Нет, батенька, стационарный телефон в этом случае более универсален. У него есть провода и зуммер.
      PS а теперь пошарьте рукой — где-то рядом должен быть ваш мобильник 😀

      • Vanamen

        Тут, вы правы и не правы. Транзистор уже был и миниатюрные приемники, ручные рации в то время уже были, а «присобачить» к ним телефонный интерфейс в принципе не сложно. Кроме того, частоты радио и ТВ другие. А от ламп и сейчас не отказались — АЧХ с 0 Гц до 20 кГц у них замечательно линейная.
        А правы в том, что не было сетей и поэтому для удаленной работы нужна была большая мощность и антенна.
        А скепсис к автопилотам у меня с тех испытаний, о которых сказал выше. Когда, к концу часа полета беспилотник пошел на город (не по программе) я видел как побледнели туполевцы и начали искать «кнопку самоликвидации» аппарата. Но обошлось. Потом перед приземлением не сработал пиропатрон слива топлива и сломали шасси при посадке на парашюте. Этот аппарат можно найти в википедии, сделали их около 1000 штук. Долго я потом с опаской летал на самолетах, особенно на ТУ.
        Так что, если лет через 5-10 фура на автопилоте заедет на соседнее предприятие с узкой улицы под прямым углом в узкие ворота, то честно признаюсь, что я ошибался.

        • Артем Краснов

          Я и не говорил, что компонентной базы для сотовых телефонов не было 😀 Точно также сейчас есть компонентная база для автопилотов. Может быть, несовершенная пока, как и транзистор по меркам сотового телефона. В общем, дайте время, а там поглядим.

          >>>Потом перед приземлением не сработал пиропатрон слива топлива и сломали шасси при посадке на парашюте.
          Ну, давайте откровенно: такие казусы случались и с пилотируемой техникой, потому что техника вообще склонная ломаться (тем более мелкосерийная и экспериментальная). Никто же не отрицает. что в период тестирования технологии будут непредвиденные ситуации. Но я пока не вижу ничего особенно непреодолимого.

          Кстати, когда говорят об автопилоте, почему-то представляют себе город с современной инфраструктурой. Я думаю, по мере увеличения процента автопилотируемых машин, она изменится, то есть автопилоту не нужно будет тратить 100% своих сил на распознавания знаков, разметки, светофоров — такого рода информация поступит от объектов инфраструктуры и соседних машин (смотрите технологию V2V). По сути, главной сложность для автопилота остается распознавание нетипичных угроз, чтобы он мог, например, отличить летящий пакет от бегущего школьника. Тут, не скрою, пока еще далеко до идеала, но и не бесконечно. Ехал недавно на машине с системой распознавания пешеходов и знаков: вполне себе работает.

          • «По сути, главной сложность для автопилота остается распознавание нетипичных угроз, чтобы он мог, например, отличить летящий пакет от бегущего школьника». Это то что я выше называл неопределенностью и она может появляться не только в задаче распознавания объекта. Возьмем, например, кнопочку ESP в автомобиле. Нажав на нее мы говорим: «Послушай автоматика — подвинься, эта задача не тебе не по плечу». Так, что, как говорит «великий» Илон Маск его автопилот только помощник водителю. Я с ним согласен и был готов заключить с вами пари на ящик пива, но ждать больно долго, слюной изойдешь.))))))
            V2V хорошая технология, примерно как общаются дальнобои на трассе. Но я вижу как прыщавый хакер взламывает файервол едущего рядом автомобиля и говорит — езжай, все ОК,…., а впереди яма…..и сразу видео в ютуб. Ничего личного. это просто шутка.)))))

          • Артем Краснов

            Хакерство — одна из угроз, да. Но, к слову, с тех пор как на дороге появились машины, у которых руль не связан напрямую с колесами (а они уже ездят), проблема хакерства встала в полный рост. Так что не совсем в автопилоте дело, а в общей защищенности систем управления. Думаю, проблема решаема, в конце концов, самолеты 99% времени на автопилоте летают.

          • В авиации неопределенность ситуации часто приводит к трагедии. Характерный пример — самолет упал в Атлантику из-за разности в показаниях приборов скорости, которая определяется разными методами. Это произошло по причине засорения трубок Пито насекомыми на длительной стоянке.
            Меня смущают реакции существующей электроники на автомобиле на нестандартные ситуации. ESP при пробуксовке, ABS при торможении в гололед на спуске, когда она плохо тормозит, но хорошо рулит (а я то прошу тормозить, а не рулить); когда, наконец, датчик дождя срабатывает не всегда корректно. Поэтому я и сомневаюсь в автомобилях без водителя, напичканных до макушки злектроникой (которой занимаюсь с доАВТОВАЗОВских времен).
            Когда-то, в нашей стране было принято решение приставить к каждому станку с ЧПУ робота подающего заготовки и снимающего готовые детали. И поехали по стране подарочные наборы станок + робот. Их запускали, отчитывались и потом задвигали в угол. А где их использовали — там их заваривали в клетку, Имели заскоки — пуляться заготовками через весь цех. Правда, говорят очевидцы, бутылку на троих разливать могли.)))
            А, в принципе, пусть автопилоты ездят — может машины Яндекс такси не будут сносит киоски, как вчера на Братьев Кашириных.

          • Артем Краснов

            >>>Это произошло по причине засорения трубок Пито насекомыми на длительной стоянке.
            Мне кажется, мы тут немного смешиваем понятия, в том смысле, что фатальный отказ техники возможен, и когда человек машиной управляет. И еще вопрос, внедрение автопилотов увеличило или снизило количество происшествий (что-то мне подсказывает, что автопилоты не получили бы поголовного распространения в гражданской авиации, если бы они были опаснее живых пилотов).

            Что касается нестандартных ситуаций: да, каждая из них будет вызовом, но, скорее всего, каждая будет поводом для обучения системы, и постепенно доля нештатных ситуаций (непредвиденных) сократится. Водители в нестандартных ситуациях тоже ведут себя очень спорно. Представьте систему, у которой есть тройной контур защиты от ошибок, то есть даже если какой-то датчик выходит из строя, сенсоры остальных контуров позволяют или продолжить движение, или хотя бы безопасно прекратить движение. В общем, это уже вопрос технический, не фундаментальный.

            >>>Их запускали, отчитывались и потом задвигали в угол
            Скорее, это пример производственной бестолковщины на уровне начальства или инженеров. Либо роботы совсем неудачные были, либо это рассказ о временах былинных.
            Сколько был на автомобильных заводах — полно роботов и никто не жалуется 😀 Правда, при малых объемах выпуска, как в России, роботы не везде оправданы, но это именно экономический аспект. В остальном роботы дают фору рабочим по качеству (особенно в странах с низкой естественной культурой производства).

          • Может с самолетом я плохо акцентировал внимание на разные показания приборов показывающих скорость — какому из них верить??? Один показывает, например, 900, а другой 600. Какое принять решение?
            Про роботов — это не старинный анекдот, это горбачевские времена. Станки самые популярные московского завода «Красный пролетарий» с современными ЧПУ. А сгубило это начинание, скорее всего, отсутствие четкого технологического процесса, а потом и 90-е годы.
            А на современных заводах робот стоит в четкой технологической цепочке, с однозначным функционалом (сварка кузовов, например), где нет задач неопределенности. Насколько я понимаю, всю начинку машины осуществляют люди с использованием помогающих механизмов.
            Вот я и думаю, скинулись в принудительном порядке всем миром на ЭРУ-ГЛОНАСС (один из элементов автопилотирования), а с транспортной инфраструктурой……. Какие тут V2V и т.д.?
            Кстати, в начале обсуждения я обмолвился о взаимодействии автомобиль — пешеход с сотовым телефоном, а оказывается это технология V2P. Опять опоздал…))))

          • Артем Краснов

            >>>>Может с самолетом я плохо акцентировал внимание на разные показания приборов показывающих скорость — какому из них верить??? Один показывает, например, 900, а другой 600. Какое принять решение?

            И какое решение должен принять живой пилот? Почему мы его идеализируем, будто у него есть какие-то экстрасенсорные способности определять скорость без приборов? Пилот также будет действовать по какой-то инструкции, которую вы можете положить в основу программы автопилота: если показания приборов противоречат друг другу, то… Например, связываемся с диспетчером. Нет абсолютно никаких препятствий к тому, что ИИ выполнил ровно то же, что и живой пилот.

            >>>А на современных заводах робот стоит в четкой технологической цепочке,
            Строго говоря, дорожное движение — это точно такая же технологическая цепочка.
            Кстати, на европейских заводах детали к конвейерам доставляют автоматические тележки, и они умеют реагировать на журналистов, которые прыгают под них по незнанию 😀 А ещё они устраивают забавные пробки и на людской манер сначала сигналят «тормозу», а потом начинают его огибать — видел такую картину

          • Ссылка корявая, конечно, — лучше копировать и вставлять в строку, — но про робота так смешно!

            https://www.adme.ru/svoboda-narodnoe-tvorchestvo/snimki-na-kotoryh-realnost-vzbuntovalas-i-otkazalas-opravdyvat-nashi-ozhidaniya-1812315/#image19346915

          • В том то и беда, что данный пилот принял неверное решение. А другой пилот примет другое решение и все останутся живы. И на каких соображениях он его принял — непонятно, да он и сам не сможет объяснить. А как мы математически опишем процесс происходящий в его мозгу?
            Вопрос с тройным резервированием — тоже палка о трех концах. Как — то мне приходилось иметь дело с оборудованием, которое умеет не только обнаруживать ошибки, но и исправлять их, причем не программном а в аппаратном исполнении. В основу этого устройства положены коды Хэмминга. Грубо говоря в систему добавляется избыточность информации, например, к 16 разрядному слову добавляются 5 избыточных разрядов. Так вот это добавочное оборудование понижало отказоустойчивость и от него потом отказались.
            Что-то там написано об этом в теории управления, надо освежить.
            А на автозаводе я бывал только в Тольятти. Самодвижущихся тележек не видел, а видел только вьетнамцев и поэтому сопровождающий человек не рекомендовал пить воду из автоматов стоящих в цехе…)))
            Я не ярый противник автопилотов. Я реалист и некоторые устройства мне бы не помещали в машине. Например автоматическое торможение перед препятствием. Реакция уже не та, да зрение проседает, да и вообще……))))

          • Артем Краснов

            Ольге:
            Контрааргумент — автопилот в действии

            https://www.youtube.com/watch?v=OnWolLQSZic
            😀

          • Артем Краснов

            А вообще скептикам рекомендую видео

          • Артем Краснов

            >>>Например автоматическое торможение перед препятствием.

            Вполне рабочая штука на многих машинах (пару раз случайно проверил), проблема лишь в том, что когда она классно работает, рефлекс тормозить самому быстро уходит. После каждое поездки с активным круиз-контролем потом некоторое время туплю прежде чем самому тормозить.

          • Надо красную напоминалку на руль повесить: «Я не торможу автоматически».)))

          • Артем Краснов

            Ага, и на заднее стекло: «забывают тормозить» 😀 Да и на переднее тоже.
            Вообще переходный период — он самый опасный. У семи нянек дитя без глазу.

          • «А вообще скептикам рекомендую видео»
            Не очень интересно смотреть на действия роботов в лабораторных условиях, когда они отрабатывают определенный заранее алгоритм действий. Вопрос, как он будет выбирать необходимый алгоритм из совокупности заложенных в него алгоритмов? Скажем, если бревно будет висеть на уровне пояса, сможет ли он выбрать перепрыгнуть через бревно или проползти под ним, мне кажется сейчас как раз об этом спор. Вот если бы робот бежал где нибудь по пересеченной местности преодолевая различные препятствия, меня бы это действительно удивило. А вообще, интуитивно, в этом ролике не хватает нарезки из неудачных кадров после титров, как в фильмах с Джеки Чаном.

          • Думаю, скептиков здесь нет, Артём. Никто же не спорит, что будущее не наступит. Мы про приоритеты говорим.

          • Артем Краснов

            AlBryns
            В гугле, что ли, забанили? 😀 Полно роликов, лень искать, вот первые попавшиеся
            https://www.youtube.com/watch?v=g3qi-L5GPSM
            https://www.youtube.com/watch?v=QQni8Uz3Q0I
            Где-то встречалось видео, где робот забирается на обледенелый склон и удерживает равновесие, хотя видно, что сцепление минимально. Есть видос, где человек внезапно пинает робота, также видно, как весьма неплохо он держит равновесие. То видео я привел просто за его красоту, если вглядеться в детали, то поразительно, как он контролирует свое «тело», как ставит стопу, как работают «мышцы».

          • Вчера смотрел очередной репортаж о наводнении в Сибири и пришла такая мысль: «Морально, ли, вообще «гнать лошадей» по внедрению автопилотов в нашей стране?». Неужели нельзя развивать ИИ в задачах предотвращения подобных катастроф? Сделать, например, систему отводных каналов с управляемыми шлюзами и гасить проблему в зародыше. Или выявлять лесные пожары в зародыше путем мониторинга из космоса (и локально беспилотниками) и сразу направлять беспилотные вертолеты для тушения очага пожара. Вот это задачи национального масштаба.
            Я понимаю Маска — собственное производство электромобилей, батарей, контракты с НАСА, проект колонизации Марса, где беспилотные Тесла будут кстати. Все четко и разумно.
            Мне понятны китайцы с Вольво — им нужно захватить рынок Европы и по системам безопасности автомобилей. А уж всяких видеокамер у них, как гуталина на гуталиновой фабрике.
            У нас — большой вопрос. Собственного автопроизводства у нас нет, как и производства компонентов к этим системам. Будем выкручивать руки Рено-Ниссан, …? Получается мы бежим «впереди паровоза», чтобы «..забить Мике баки..» (О.Бендер), или только для военного применения?

          • Артем Краснов

            >>> Неужели нельзя развивать ИИ в задачах предотвращения подобных катастроф?
            Одно другому ведь не мешает. ИИ скоро во многие сферы проникнет. С другой стороны, ошибка при прогнозах катастрофы может стоить в миллионы раз дороже, чем ошибка при управлении автомобилей. Так что не вполне верно думать, что прогнозирование катастроф для ИИ «проще». Ответственность слишком высока.

            >>>Получается мы бежим «впереди паровоза»,
            А почему вы говорите «мы» (имея в виду россиян)? Мы никуда и не бежим особенно, большая часть автопилотных систем развивается за границей. Но если уж технология возникнет, и до России доберется, почему бы и нет. Мы же пользуемся смартфонами, которые не сами изобрели, и интернетом, и много чем еще. Мы вообще часть западной цивилизации и нет никаких «мы» и «они», если оставить в стороне некие политические клише.

          • Про «проще» я не говорил, а наоборот сказал про масштабность задачи. А масштабные задачи у нас в стране решать всегда умели. И было, бы, чем гордится потомкам, как полетом Гагарина!

          • Артем Краснов

            Согласен, да, не говорили) Решение описанных задач, безусловно, очень крутая перспектива для ИИ, но рисков здесь гораздо выше. Если глюканет автопилот, это закончится ДТП. Если глюканет система, управляющая речными потоками, последствия могут быть прямо-таки Библейских масштабов.

          • Я имел ввиду не управление речными потоками, а управляемые системы переливов (как в ванне, или унитазе) по пути движения основных потоков реки. А сливать в поймы, заливные луга и т.д.

          • «А почему вы говорите «мы» (имея в виду россиян)? Мы никуда и не бежим особенно, большая часть автопилотных систем развивается за границей..»
            Добавлю, чтобы не быть неверно понятым:
            «Об этом говорится в паспорте национального проекта «Безопасные и качественные дороги», опубликованном на сайте правительства РФ.
            Согласно документу, уже в сентябре 2019 года должна быть утверждена концепция обеспечения безопасности дорожного движения с участием беспилотных транспортных средств на автомобильных дорогах общего пользования. К концу 2020 года должны быть разработаны технологии, которые обеспечат такое движение. А к концу 2021 года должны быть приняты разрешающее такое движение законы, а также внедрены транспортные системы, которые позволят использовать беспилотные авто на первых 27 участках. К концу 2024 года движение беспилотных автомобилей в России должно быть обеспечено уже на 55 участках.» (с).

          • Артем Краснов

            Это я понимаю, просто где тут «впереди паровоза»? Плетемся, как обычно, с отставанием лет десять 😀

          • По моему, это галоп.))))

  11. павлов

    автопилот еще долго не будет отличать девушку от бабушки.
    я думаю, что в западных странах, где разрабатывается ПО для безпилотников бить человека значительно дороже, чем бить препятствие. благодаря этим технологиям российские граждане почувствуют равенство всех перед законом-программным обеспечением.

Добавить комментарий