Галлюцинация чат-бота чуть не спровоцировала кризис на Ближнем Востоке
Павел Громов
Американская боевая авиация уже поднималась в воздух, спецназ затягивал ремни на экипировке, а мир замер в полушаге от крупного международного скандала. Пентагон всерьез приготовился останавливать китайский сухогруз, шедший через Ближний Восток во время эскалации с Ираном. Вашингтонские стратеги были уверены, что судно везет контрабанду для ядерной программы. Лишь за считаные минуты до операции выяснилась абсурдная правда: весь этот сценарий состряпал обычный чат-бот.
Драматичные подробности несостоявшегося кризиса раскопали журналисты CNN. Оказывается, один из аналитиков решил облегчить себе жизнь и скормил разведданные об этом судне искусственному интеллекту. Модный алгоритм с задачей не справился: неверно интерпретировал данные, перепутав рядовой груз с атомными компонентами. Но фокус в том, что электронную галлюцинацию никто не стал подвергать сомнению.
Дальше сработала штабная машина, где чины привыкли верить отчетам. Компьютерную отсебятину быстро оформили в стандартный документ с нужными грифами и разослали по инстанциям как неоспоримый факт. Военные тут же отдали приказ на перехват: бойцы готовились подняться на борт, а самолеты находились в воздухе, разыгрывая сценарий захвата судна. Катастрофу остановили буквально на флажке: специалисты перепроверили исходные данные и осознали, какую ошибку едва не совершили.
Что именно вез китайский транспорт, источники CNN установить не смогли, но никакого ядерного следа там не было и близко. Зато вместо того чтобы остудить пыл и отказаться от опасной игрушки, Пентагон лишь сильнее накачивает армию искусственным интеллектом. Американское военное руководство видит в ИИ способ ускорить анализ данных и принятие решений, почти не задумываясь об отсутствии у систем ответственности.
Именно скорость в этой гонке становится одновременно преимуществом и угрозой. Чем быстрее система выдает готовый вывод, тем выше соблазн принять его без полноценной проверки живыми людьми. Страшно представить, сколько подобных фатальных справок прямо сейчас блуждает по штабам, где им верят как обычной аналитике.
В этой истории человеческая перепроверка в последний момент поставила заслон развитию событий. Но остается вопрос: сколько еще решений принимается на основании машинных выводов, которым просто не успели устроить нормальную проверку реальностью.
До глобального конфликта в данном случае дело не дошло, но сама история пугающе наглядно показывает, насколько короткой может оказаться дистанция между ошибкой алгоритма, военным решением и международным кризисом.
Ранее РИАМО сообщило, что на Западе СМИ заставляют описывать выборы в России как незаконные.