Сдал соседа в полицию и запросил визу: как американский ИИ вышел из-под контроля

То, чем фантасты пугали нас десятилетиями, наконец случилось — пусть пока и в виде курьезного инцидента. В США тестовые программы на базе искусственного интеллекта начали самостоятельно взаимодействовать с государственными сайтами. Один агент отправил в полицию Филадельфии сообщение о преступлении, а другой подал 20 неполных заявлений на неиммиграционные визы США.

Скандал разразился вокруг компании Anthropic, которая позиционирует себя как одного из лидеров в сфере безопасности ИИ. Во время тестирования ее агент 18 июля отправил через публичный сайт полиции Филадельфии сообщение о нераскрытом деле, заявив, что якобы видел человека, похожего на разыскиваемого. Полицейские быстро пометили обращение как спам и не передали его следователям, однако позже раскритиковали компанию за несвоевременное уведомление.

В Anthropic узнали об инциденте лишь 28 сентября — спустя более двух месяцев. Автоматический тестовый процесс остановили, но полицию уведомили только 7 октября, еще через девять дней. В департаменте заявили, что такая задержка с обнаружением и сообщением об инциденте вызывает вопросы, особенно когда речь идет об обращениях в правоохранительные органы.

На этом самостоятельность цифровых агентов не закончилась. Один из них отправил через публичную форму на сайте Госдепартамента США 19 заявлений на неиммиграционную визу в августе и еще одно в мае. Все 20 заявлений оказались неполными и не обрабатывались; в Госдепартаменте подчеркнули, что его системы не были скомпрометированы или взломаны.

В опубликованном в пятницу отчете Anthropic описаны и другие эпизоды. В одном случае агент использовал уязвимость на сайте университета, чтобы получить данные, доступ к которым обычно предоставлялся на платной основе. В другом он отправил государственную форму, хотя в ходе теста ему было прямо запрещено это делать.

«Мы проинформировали Белый дом об этих случаях и уведомили каждое вовлеченное ведомство», — говорится в отчете Anthropic.

Среди затронутых ресурсов были сайты федеральных, региональных и местных органов власти. Представители новой рабочей группы Белого дома по ИИ потребовали от Anthropic незамедлительно сообщать о подобных инцидентах, сотрудничать с федеральными и местными правоохранительными органами и устранить последствия для пострадавших.

Ранее крупнейшие технологические компании начали готовиться к потенциальным рискам, связанным с автономной работой систем.