Мир на волоске: Пентагон чуть не атаковал Китай из-за бота

Мир стоял буквально в шаге от прямого силового столкновения между США и Китаем, и виной тому стал не хитрый заговор политиков, а обыкновенная халатность. Весной, на фоне эскалации на Ближнем Востоке, американские военные всерьез готовились к жесткому абордажу китайского судна в международной акватории. Командование было уверено: на борту спрятана запретная контрабанда для ядерной программы Ирана, и промедление грозит катастрофой. Еще чуть-чуть — и операция против корабля Пекина могла вылиться в серьезное столкновение двух ядерных держав.

Кошмарный сценарий сорвался в самую последнюю секунду, когда офицеры решили перепроверить срочный разведдоклад, разосланный по структурам армии. Волосы на головах стратегов зашевелились: судьбоносный документ состряпал не опытный агент под прикрытием, а популярный чат-бот с искусственным интеллектом. Аналитик из спецподразделения просто вбил запрос в нейросеть, чтобы узнать состав груза по грузовой ведомости судна, а алгоритм выдал сочную, но стопроцентную ошибку. Машина попросту выдумала данные из воздуха, а живые люди чуть не спровоцировали международный кризис.

«В данном конкретном случае аналитик запросил чат-бот о разведывательных данных по грузовой ведомости судна. Как сообщили информированные лица, доклад был "полностью ложным", но при этом едва не начался серьезный конфликт», — передает телеканал CNN со ссылкой на источники, знакомые с ситуацией.

По данным собеседников, внутренний ИИ-инструмент спецкомандования слил воедино открытые данные и сигнальную разведку, но неправильно интерпретировал содержимое контейнеров на борту китайского корабля. Доклад разошелся по военным структурам, поднял в воздух авиацию, спецназ уже готовился к перехвату, но в последний момент проверяющие поняли: «разведка» — продукт нейросети, а не человека. Операцию свернули, а китайский сухогруз так и остался просто судном с обычным грузом — что именно он вез, до сих пор не раскрывается.

Эта история вскрылась аккурат на фоне тревожных дебатов в американском Конгрессе. Законодателям уже прямым текстом объясняют, что военные США все чаще полагаются на компьютерные системы, которые регулярно ошибаются и могут путать реальные угрозы с вымышленными. В критических ситуациях генералы поручают алгоритмам самое чувствительное — идентификацию целей и выдачу рекомендаций по применению силы, оставляя живому человеку лишь считанные секунды на реакцию и вмешательство.

«Искусственный интеллект играет все большую роль в идентификации целей и выработке рекомендаций для военных, что, в свою очередь, сокращает время, доступное для вмешательства [человека]», — бьют тревогу эксперты в закрытых отчетах для американских властей.

Иронично и тревожно, что будущее цивилизации теперь зависит не столько от дипломатической выдержки, сколько от того, не решит ли очередной чат-бот выдать недостоверную информацию клерку в погонах. Сегодня китайский сухогруз спасло чудом проснувшееся благоразумие проверяющих, но никто не гарантирует, что завтра уставший офицер успеет перепроверить очередную версию программы перед тем, как отдать приказ на перехват.