Уйгуры и Большой Брат

Несколько дней залипал на тексты про уйгуров, и не потому даже, что интересуюсь этносами. Я бродил по ссылкам об искусственном интеллекте и вышел на северо-запад Китая, где живут как раз уйгуры. Почитав об их ситуации, я в очередной рад поразился визионерству Оруэлла, потому что если вы читали «1984», вряд ли узнаете что-то новое.

Уйгуры — это тюркская народность, исповедующая ислам, которая в силу разных перипетий живёт на территории, присоединённой к Китаю. Она занимает стратегически важное положение на границе с Казахстаном, а столица, Урумчи, находится на Шёлковом пути. С этим, вероятно, связана особая пристрастность азиатов к уйгурам.

Не буду грузить вас историей их отношений, тем более, сам её понимаю очень поверхностно. Дискриминация мусульманского населения в Китая, судя по всему, существовала давно, но последние лет 12 ситуация дошла до края. С 2014 года Китай включил репрессивную машину на полную катушку, считая уйгуров исламистами и радикалистами почти по умолчанию.

Для их контроля используются так называемые «перевоспитательные центры». Это нечто среднее между тюрьмой и учреждением карательной психиатрии, и целью является, видимо, деструкция личности. The Guardian публиковала рассказ женщины-уйгура, 10 лет прожившей во Франции, которую вынудили вернуться в Китай ради подписи документов, и два года продержали в таком «перевоспитательном центре». Просто один фрагмент:

«Направо! Налево! Замереть! В комнате нас 40 человек, все женщины, одетые в голубые пижамы. Комната неопределённого вида, прямоугольная. Большие металлические жалюзи, испещрённые мелкими дырочками, прячут нас от мира. Одиннадцать часов в сутки весь мир для нас сокращается до этой комнаты. Наши шлёпанцы скользят по линолеуму. Два китайских солдата неустанно следят, пока мы маршируем по комнате туда и сюда. Это называется «физическое образование». В реальности это напоминает военную тренировку. Наши истощённые тела двигаются в унисон, вперёд и назад, со стороны на сторону, из угла в угол. Когда солдат кричит «Замереть!» на китайском, наш взвод заключенных застывает. Он требует стоять неподвижно. Это длится полчаса, иногда час, иногда больше. Когда всё заканчивается, ноги прокалывают иглы боли. Наши тела, всё ещё разгорячённые и беспокойные, едва справляются с тем, чтобы не плыть на невозможной жаре. Мы чувствуем запах нашего болезненного дыхания. Мы потеем как скоты. Иногда какая-нибудь заключённая падает в обморок, и если не приходит в сознание, охранник бьёт её по щекам, чтобы разбудить. Если она падает снова, он уволакивает её из комнаты, и больше мы её не видим. Никогда. Поначалу это шокировало меня, потом привыкла. Вы можете привыкнуть ко всему — даже кошмару».

Ну, и всё в таком духе. Жесть, честно говоря, полная — если в обычной тюрьме у человека есть хоть какое-то личное пространство, то здесь тюрьма проникает в самые потайные части сознания. От тюрьмы нет спасения. Нельзя даже зевать, потому что надзиратели считают это попыткой молиться.

И вот к борьбе с уйгурами китайцы подключили ещё и искусственный интеллект. Это невероятная по масштабу сеть датчиков и аналитических устройств IJOP, которая контролируют все аспекты жизни уйгуров, стремясь обнаружить в их поведении ранние признаки радикализации или симпатии к исламу. Как она работает? В её распоряжении полная биометрическая картина — отпечатки пальцев, образцы ДНК и крови, записи голосов, сканы лиц с разными мимическими выражениями. Есть система видеокамер, которая распознаёт лица и отслеживает перемещения уйгуров. Есть специальные приложения, дающие доступ к звонкам и переписке в мессенджерах и соцсетях («большой Интернет», естественно, закрыт). Специальный софт автоматически переводит с уйгурского и распознаёт тексты даже в виде картинок. И на вершине этого — аналитика больших данных, которая по паттернам поведения определяет группу риска.

На это наслаивается концепция превентивного правосудия, когда в «перевоспитательный центр» отправляют не по факту совершения преступления, а на основе оценок. Эта история пугает больше всего, потому что алгоритмы нейросетей не имеют привычной нам логики — они очень непрозрачны. Скажем, человеку, даже критично настроенному, можно объяснить свою позицию, потому что мы работаем в рамках единой логики. Нейросеть, анализирующая большие данные, «мыслит» совершенно по-другому, и её решение не поддаются оспариванию, потому что мы просто не знаем её аргументов. Они не выражаются словами. Их можно представить в виде картинок и схем, но для человека они будут выглядеть как шум и каракули.

Очень грубый пример. Пусть нейросеть анализирует архив данных о перемещениях жителях города. Ей известно, что несколько человек впоследствии стали террористами, и она обнаруживает некую общность их поведения. В дальнейшем, если кто-то повторяет этот паттерн, он помечается как потенциальная угроза. И он бессилен что-либо доказать, потому что на стороне нейросети — «объективная аналитика». А причины схожести маршрутов могут совершенно иными, но учтёт это человек, выносящий вердикт — вопрос.

Поначалу я не могу понять, откуда китайский софт черпает исходные данные, потому что изначально нейросеть — это чистый лист. И на нём нужно написать, кого мы уже считаем террористом, чтобы в будущем сеть могла выявлять похожее поведение. Оказалось, китайцы отрядили тысячи полицейских, которые проводят допросы с пристрастием, заполняют анкеты, наведываются в гости к уйгурским семья (где опрашивают и детей) и так далее. Есть даже подозрение, что на самом деле никакого «Большого брата» нет и в реальности весь сбор данных и аналитику выполняют люди, а концепция нейросети нужна больше для красоты. У меня сложилось впечатление, что речь всё же о комбинации обоих методов, когда на ранних стадиях работу выполняют люди, передавая всё больше функций искусственному интеллекту. У спецслужбистов есть присказка, мол, не нужно параноить, будто вас прослушивают — прослушивать всех не хватит никаких ресурсов (прослушку надо заслужить). Однако нейросети рано или поздно могут отменить это ограничения, и Китай стремится это показать.

Вообще нужно разделить две темы. Уйгурский конфликт не связан напрямую с нейросетями. Нейросети — это набор инструментов, а не причина. И этот набор может работать и на пользу: проблема выявления террористической активности стоит сейчас перед многими странами. И потому к экспериментам Китая в Синьцзян-Уйгурском автономном районе проявляются внимание многие страны: тут, видимо, ничего личного, исключительный практицизм. Китайцы гордятся успехами в этом вопросе, а Европа, столкнувшая с наплывом мигрантов, имеет основания интересоваться их опытом. Я не удивлюсь, если Китай выбрал регион не случайно, а в «маркетинговых» целях тоже.

Как и любая форма контроля, Большой брат может быть и злом, и спасением. Он может быть незаметен и эффективен. А может доводить людей до тяжёлой депрессии и потери своего «Я». Где эта грань? Никто точно не знает, и грань будет смещаться много раз. Поводы внедрить Большой брат найдутся без труда: борьба с терроризмом, внешний враг, очередная эпидемиями или, допустим, распущенность нравов — людей не так уж сложно убедить в необходимости «полной прозрачности общества».

Меня не раздражают камеры фотовидеофиксации. Я не очень боюсь, что кто-то читает мои сообщения или подслушивает мои звонки. Но вот чего я действительно не хочу — чтобы искусственный интеллект лез ко мне в голову, промывал мне мозги или судил меня по средней мерке. Никто не хочет. И я думаю: в каком, мать его, свободном обществе мы живём сейчас. Запомните момент.

_____________________________________

О превентивном правосудии я пару лет назад написал рассказ «2037». Герой — малосимпатичная личность, которая попадает на крючок нейросети Octopus, которая делает о нём смелые выводы. Как оказалось, очень верные.