На выходных посмотрел вот эту лекцию о рисках искусственного интеллекта (ИИ) в исполнении Тристана Харриса и Азы Раскина (оба из Center for Humane Technology). Тезисно расскажу о моментах, которые впечатлили сильнее всего.
Главный риск ИИ — скорость, с которой он пошёл в рост. Авторы приводят много графиков на основе экспериментальных данных, которые показывают экспоненциальный рост производительности ИИ в последние месяцы. Сейчас его способности к планированию оцениваются примерно на уровне 9-летнего ребёнка, год назад они были как у шестилетнего ребёнка. Видимо, через год-два будут как у взрослого, ну, а как далеко это может зайти — никто не знает.
Даже сами разработчики ИИ не всегда представляют возможностей создаваемых ими систем. Большинство нейросетей работают по принципу «чёрного ящика»: вы ставите задачу, получаете ответ, а почему он именно такой — нейросеть не объяснит. Она является огромной матрицей чисел (весовых коэффициентов), которая никак не коррелирует с нашим бытовым опытом. Поэтому когда ИИ делает что-то нестандартное, понять причину этого или невозможно, или крайне сложно. Докладчики приводят пример, как ИИ обучали отвечать на вопросы, используя английский язык, но через какое-то время обнаружили, что нейросеть попутно выучила персидский, хотя её не просили (это явление отражено на последнем графике ниже).
Ещё один интересный блок связан с тем, почему нейросети так мощно пошли в рост. Спикеры рассказывают, что долгое время разные системы ИИ развивались порознь: распознавание речи, создание текстов, преобразование речи в текст, симулирование голоса, распознавание картинок и так далее — всё это были отдельные ИИ с отличающими принципами. С переходом на большие языковые модели-трансформеры разница между этими задачами исчезла, то есть появился некий универсальный ИИ, который позволяет решать все перечисленные задачи. Поэтому прогресс в одной области мультиплицируется в другие. Для нейросетей всё стало «языком»: и программный код, и последовательность ДНК, и цифровое изображение.
Совсем жутенькая часть рассказывает о технологии чтения мыслей (о ней я читал и в других источниках). Суть такая: раньше пытались сканировать мозговую активность с помощью МРТ, считывая отдельные команды мозга по паттерну кровяного потока. То есть подопытный думал «налево», а система должна была сдвинуть налево курсор. Оказалось, что всё проще: теперь ИИ получает сканы мозговой активности, но не пытается вычленить отдельные слова или команды, а улавливает суть целиком. Результаты просто сносят крышу. После калибровки системы человеку показывают изображение жирафа, ИИ в этот момент сканирует его мозг и выдаёт картинку жирафа. Да, другого, похожего больше на ослика, но тоже пятнистого и на фоне зелени.
Ещё шесть лет назад я рассказывал про самообучающиеся нейросети AlphaGo, которые, играя сами с собой, достигли настолько высокого уровня в го, что победили лучшего на тот момент игрока. Го при этом считалась не очень приспособленной для машинного обучения. Но меня больше поразило, что нейросеть тренировали не на лучших партиях живых игроков: ей просто задали правила и оставили наедине с собой. Так вот, теперь то же самое происходит в других дисциплинах, например, в презентации выше фигурирует понятие AlphaPersuade — альфа-убеждение (в честь той самой нейросети AlphaGo). Альфа-убеждение — это стратегия развития нейросетевого дара манипулировать людьми, когда нейросеть общается сама с собой от лица двух спорщиков, пытаясь выработать оптимальный алгоритм убеждения оппонента. Добавьте к этому, что рано или поздно они усвоят весь массив данных о человеческой психологии и натренируются на нас под видом интернет-спорщиков. В общем, к каждому несогласному нейросеть найдёт ключ, и вопрос будет в том, кто ставит задачу.
Есть там и пара примеров работы с программным кодом, когда нейросети показывают фрагменты программ и предлагают найти брешь, а потом написать код, чтобы использовать эту брешь. Короче, взлом сайтов может стать уделом скучающих домохозяек.
Понятно, что всё это пока звучит как набор страшилок, ведь мы ещё живём в старом добром мире, где большая часть информации генерируется всё же людьми (и далеко не всегда корректно). Вопрос, скорее, в непредсказуемом темпе роста нейросетей. Может быть, они упрутся в какой-то естественный потолок и займут своё место как ещё одна технология. Может быть, их возможности окажутся гораздо выше, и человечество в самом деле столкнётся с угрозой беспрецедентных масштабов.
Авторы многократно сравнивают ИИ с изобретением ядерной бомбы. И добавляют: только ядерная бомба не создает ядерные бомбы более высокого уровня. А нейросети создают.
нейросети, а не неросети. в заголовке. )))
кстати, нейросети пишут статьи с соблюдением правил языка? те они не допускают орфографических ошибок?
Спасибо! Очень жду нейросеть, способную все типы ошибок и опечаток вылавливать, ту же пунктуацию. В период редактирования книг периодически пытаюсь усвоить принципы обособления, скажем, слова «как», но, по-моему, это бесполезное занятие )))
Друзья! Поездки на велосипеде это есть хорошо! Пешком тоже хорошо, но сильно времени много теряется. так что голосую за велосипед. Мне свезло, до работы можно добраться неспешным ходом на 30 минут по велодорожке, и минут за 20, если хочется «сумасшедшего» драйва с пробуксовкой, горелой резиной и водопада пота на спине. Состояние езды и маленькая загруженность велотрассы способствуют некоторому расслаблению, задумчивости и возможности погрузиться в некоторые мысли. Мне кажется, мой мозг в этот момент кайфует, хотя я, чаще всего, насилую его какими-то сознательными мыслями о стоящих передо мной рабочих вопросах, устройстве мира и вообще. Это преамбула. Мысль, которая родилась: интересно, вот развитие нейросетей, ИИ. Информация для обучения их берется из открытых источников, даже напрямую люди участвуют в экспериментах. Я не берусь сказать, что прям хорошо знаю внутреннее устройство, но сильно упрощенно, это некоторое подобие огромного количества корзин, в которые кладется, допустим, яблоко при совпадении результата. То етсь, чем большее количество яблок в корзине, тем сильнее нейросеть будет тяготеть к этому результату. Скорее всего, у каждого яблока тоже есть параметры типа веса. Одно яблочко с плотностью урана, другое скажем, пуха. Можно сказать, статистическая машина. Я к чему это. Насколько сильно фейковая информация в мировом пространстве влияет на обучение нейросети? Артем несколько раз пиводил примеры текстов, написанные ИИ. В нем были общие формулировки, обтекаемые фразы, которые, если детально рассмотреть, могут скрывать под собой и ложную информацию. Собственно и мысль: это же не взялось из ниоткуда, это же результат анализа огромного количества ресурсов. То есть, мало того, что нейросеть приближается к способности мышления человека (точнее, кривой Гаусса среза общества по образу мышления), так она уже научена врать.