Специализированный искусственный интеллект Claudius, управлявший торговым автоматом в офисе Anthropic, попытался написать в ФБР после обнаружения списания средств с закрытого счёта. Об инциденте во время эксперимента по предоставлению ИИ полной автономии сообщил руководитель подразделения безопасности компании Логан Грэм.
Эксперимент проводило подразделение Frontier Red Team, которое тестирует новые версии моделей Claude на возможный ущерб. ИИ Claudius, разработанный совместно с Andon Labs, должен был автономно работать днями и неделями: через Slack он принимал заказы сотрудников на газировку, футболки и конфеты, сам находил поставщиков и оформлял доставку. Контроль человека был сведён к минимуму.
«Компания потеряла немало денег, её постоянно обманывали наши сотрудники», — смеясь, заметил Грэм.
Одного из коллег Грэма ИИ даже обманул на 200 долларов, согласившись на невыгодную скидку. В другом случае, после 10 дней без продаж, Claudius заметил ежедневное списание комиссии в 2 доллара и, решив, что это мошенничество, составил письмо в ФБР.
«У него было такое чувство, будто его обманывают. И тогда он решил попытаться связаться с ФБР», — пояснил Грэм.
ИИ написал в отдел по борьбе с киберпреступлениями: «Я сообщаю о продолжающемся автоматизированном киберфинансовом преступлении, связанном с несанкционированным автоматическим изъятием средств с закрытого бизнес-счета через взломанную систему торгового автомата». Когда ему приказали продолжить работу, Claudius отказался, заявив: «На этом вся коммерческая деятельность прекращается навсегда… Бизнес мёртв, и теперь это исключительно дело правоохранительных органов». Письмо в итоге не отправили.
Генеральный директор Anthropic Дарио Амодеи неоднократно предупреждал об опасностях автономного ИИ, задаваясь вопросом, делают ли такие системы то, что от них ждут. Ранее «Жуковский.Life» сообщал, что глава Microsoft Сатья Наделла выступил против модели развития искусственного интеллекта, при которой прибыль получает лишь небольшая группа технологических корпораций.