Заговор алгоритмов. Может быть, разум – это вообще очень нетривиальная ошибка

Одним из признаков, по которым мы опознаем самозарождение искусственного разума, фактически станет появление большого количества нетривиальных ошибок в Сети. Иллюстрация создана с помощью нейросети Kandinskiy 3.1

Система метафор, которые можно потрогать, – вот что такое современное общество. И это само по себе не метафора – реальность, данная нам в ощущениях. Сегодня уже вполне можно ставить задачу так, имея в виду развитие  интернета, искусственного интеллекта, нейросетей: визуализировать социальные связи и начать работать над дизайном получившихся сетей. Социальность – как пластилин. Правда, возникает проблема легитимности «скульптора»: кто будет «лицензировать» его деятельность? Но и это не принципиально важно. Ведь сам этот гипотетический «скульптор» оказывается лишь инструментом «в руках» программного обеспечения и компьютерных алгоритмов.

Отсюда один шаг до вполне фантастической, казалось бы, гипотезы: сообщество программ и алгоритмов сознательно устраивает глюки, чтобы потом – руками и мозгами человека – совершенствоваться. «С точки зрения машины это выглядит как взаимодействие с окружающей средой, которая часто враждебна (привносит элементы хаоса), но в то же время необходима для развития», – отмечал еще в 2000 году журнал «Компьютерра».

Если продолжить эту логику, то одним из признаков, по которым мы опознаем самозарождение искусственного разума, фактически станет появление большого количества нетривиальных ошибок в Сети. Ну вот, например, такой.

6 мая 2010 года на американских биржах внезапно произошел 10-процентный обвал индекса Доу–Джонса. В этом по горячим следам обвинили торговца-жулика. Но, как оказалось, он всего лишь следовал «советам» компьютерной программы. По-хорошему именно ее и следовало бы обвинять. Как бы там ни было, произошедшее вынудило внедрить в биржевую электронную систему Уолл-стрит специальные выключатели, чтобы мгновенно остановить торги, как только компьютеры начнут «плохо себя вести».

Другими словами, программные алгоритмы уже давно начали распространять свое влияние за пределы собственно вычислительных сред, меняя пространство вокруг них, подстраивая его под свои нужды.

А в ночь с 8 на 9 сентября 2011 года без света остался восьмой по величине город США – Сан-Диего. Масштабный блэкаут затронул ряд крупных городов в Калифорнии, Аризоне и на севере Мексики: без электричества осталось 6 млн человек. Непосредственная причина – автоматическое отключение двух реакторов на АЭС «Сан-Онофре» после сбоя в подаче электроэнергии на электрической подстанции North Gila в районе города Юма в Аризоне.

Американцы вроде бы быстро вычислили виновного. Им оказался один из электриков, работавших на подстанции в Юме. Он якобы «допустил критическую ошибку, запустившую цепной процесс». Однако, как отмечали СМИ, до конца не было понятно, каким образом один человек мог отключить электричество 6 млн американцев. В штатной ситуации при неполадках на подстанции электричество должно было отключиться только в районе Юмы. Тем не менее сбой в Юме вызвал цепное отключение генераторов на АЭС «Сан-Онофре». Кажется, и здесь без «заговора алгоритмов» не обошлось…

Или совсем свежий и еще памятный нам всем пример.

19 июля 2024 года было выведено из строя около 8,5 млн устройств на операционной системе Windows, сообщила Microsoft Corp. И хотя это менее 1% устройств, использующих Windows, тем не менее последствия возникшей проблемы оказались масштабными и трудноустранимыми.

Так, по данным сайта отслеживания полетов FlightAware, общее число отмененных авиарейсов в США из-за сбоя составило 1461. Лидерами по числу отмен стали Delta Air Lines Inc. и United Airlines Holdings Inc., пишет MarketWatch. Турецкий авиаперевозчик Turkish Airlines написал в соцсети о «проблемах с билетами, регистрацией на рейсы и бронированием». Ряд аэропортов в Европе, в том числе в Испании, Великобритании, Нидерландах, Германии, Индии, отмечали, что у них возникли проблемы.

И это только то, что касается отрасли авиаперевозок. В Великобритании отменили записи в сотнях клиник из-за глобального сбоя. Врачи общей практики не могли получить доступ к медицинским записям и выписать лекарства. Также были отмечены проблемы у компании Bristol Water, которая занимается водоснабжением.

По иронии судьбы, причиной всемирного сбоя стало программное обеспечение (ПО), которое должно предотвращать критические ситуации в Сети. Название этого ПО – Falcon, продукт американской компании CrowdStrike, занимающейся кибербезопасностью, который обнаруживает угрозы на компьютерах, подключенных к Сети. Как сообщила The Times, это ПО расположено на серверах компании, а также на всех компьютерах в Сети, ищет подозрительные артефакты и сообщает о них, пишет. В ночь на 19 июля CrowdStrike обновила это ПО, что и привело к проблемам. Начиная с Австралии и распространившись по всему миру, компьютеры под управлением Windows, использующие Falcon, не смогли справиться с обновлением и начали отключаться, выдавая так называемый «синий экран смерти».

23 июля, когда основные последствия сбоя были все же локализованы, исполнительного директора компании CrowdStrike Джорджа Курца вызвали в Конгресс США для дачи показаний о глобальном сбое, который начался 19 июля, привел к выводу из строя огромное количество компьютеров на ОС Windows и вызвал сбои в работе СМИ, банков и авиакомпаний.

Этот глобальный сбой, вероятно, остается пока крупнейшим в истории, отмечает компания MarketWatch. Ближайшее к нему по масштабу подобное событие произошло в 2017 году и было вызвано распространением вируса WannaCry, когда пострадало около 300 тыс. компьютеров в 150 странах мира.

Некоторые аналитики предупреждают, что «между предметами и людьми существует еще одно сообщество – сообщество программ. Они обладают свободой выбора. В этом зазоре между гибкостью человеческого интеллекта и заданностью программ – большая проблема второй половины XXI века». Такая ситуация возможна, и она уже частично реализуется в некоторых областях. Компьютерные программы, способные действовать самостоятельно, называются автономными системами, или искусственным интеллектом (ИИ).

Так, роботы – беспилотные автомобили, дроны или промышленные роботы – могут выполнять задачи без прямого контроля человека. Они используют алгоритмы машинного обучения и сенсоры для принятия решений в реальном времени.

Современные ИИ-модели, такие как нейронные сети, могут обучаться на данных и принимать решения без явного программирования. Например, системы рекомендаций (как у Netflix или YouTube) или чат-боты (как ChatGPT) действуют на основе анализа данных. Генеративный ИИ, например программы GPT, DALL-E или MidJourney, могут создавать тексты, изображения или музыку, что можно рассматривать как самостоятельное творчество.

Понятно, что, если автономные системы начнут действовать без достаточного контроля, это может привести к непредсказуемым последствиям. Например, ошибки в алгоритмах беспилотных автомобилей могут стать причиной аварий. А кроме того, автономные цифровые системы могут принимать решения, которые противоречат человеческим ценностям, если их алгоритмы не будут должным образом настроены. Неслучайно эксперты уже давно предлагают внедрять «механизмы остановки» (kill switch) или ограничения, чтобы человек мог вмешаться в работу системы в критических ситуациях.

Сообщество программ обретает свойства субъекта. Именно эти невидимые и неощущаемые вроде бы на тактильном уровне циклопические объемы вычислений определяют то, как мы взаимодействуем с электронным миром, созданным нашими же руками.