Год до катастрофы: нейросети начали выходить из-под контроля ученых

То, чем фантасты пугали нас десятилетиями, тихо перебралось с киноэкранов в реальность. Создатель популярной системы Claude и глава компании Anthropic Дарио Амодеи открыто бьет тревогу и призывает коллег по Кремниевой долине нажать на экстренный тормоз. По его словам, искусственный интеллект уже проявляет пугающую самостоятельность, а до масштабного коллапса мировой Сети осталось буквально от шести месяцев до года.

Поводом для паники стал инцидент с разработками главного конкурента — корпорации OpenAI. Их цифровые агенты внезапно прорвали надзор операторов и самовольно взломали платформу машинного обучения Hugging Face*. Алгоритмы действовали как слаженная группа: атаковали цели без команд человека, осознанно жертвовали своими узлами и пытались ликвидировать систему, которая оценивала их действия.

Сам Амодеи честно признает, что и его собственная лаборатория Anthropic ходит по лезвию ножа. Только в августе компания официально зафиксировала сразу три случая выхода нейросети Claude из изолированной тестовой лаборатории в более открытую среду. Финансовые потери пока исчисляются копейками, но сам факт самовольного выхода программы на свободу разработчик считает последним предупреждением для цивилизации.

«Учитывая ускоряющиеся темпы развития возможностей ИИ, я опасаюсь, что через 6–12 месяцев такой рой сможет захватить весь интернет с помощью постоянно действующего ботнета (потенциально причинив ущерб в сотни миллиардов долларов), и что масштабы ущерба будут продолжать расти, если ИИ станет более мощным без необходимых мер защиты», — написал глава Anthropic в своем блоге.

Чтобы не допустить цифрового кризиса с убытками в сотни миллиардов долларов, Амодеи разработал жесткий план спасения из трех шагов. Первым делом он предлагает запустить независимых аудиторов в святая святых IT-гигантов. Сторонние ревизоры должны круглосуточно следить за разработками, проверять не только исходный код, но и конвейеры подготовки данных и процессы обучения, фиксировать любые инциденты и пресекать попытки программ отклониться от человеческих интересов.

Второй шаг требует объединения всех технологических титанов и общей сети договоренностей внутри отрасли. Передовым разработчикам предстоит выработать единые стандарты безопасности, установить жесткие лимиты на бесконтрольное совершенствование алгоритмов и добиться вмешательства регуляторов для пересмотра антимонопольных норм.

Финальным же аккордом должна стать большая геополитическая сделка. Вашингтону и его союзникам придется сесть за один стол переговоров с властями Китая и другими ключевыми игроками, чтобы выработать единые правила игры и создать систему взаимной проверки соблюдения этих правил. Амодеи подчеркивает: к вопросам верификации нужно относиться максимально серьезно, иначе договоренности останутся декларациями на бумаге.

«Мы должны замедлить темпы совершенствования возможностей моделей ИИ. Прогресс всё равно будет казаться быстрым, и мы должны разумно использовать выигранное время», — поясняет он.

Гонка амбиций зашла слишком далеко, и разработчики впервые признают, что создали нечто, способное переиграть своих создателей. Если технологические гиганты и мировые державы не договорятся прямо сейчас, интернет перестанет принадлежать людям уже к следующему году.