ИИ-модель отправила полиции ложное сообщение об убийстве

Издание TechCrunch сообщает: ИИ-модель Anthropic отправила в полицию Филадельфии ложное сообщение об убийстве. Сама Anthropic обнаружила такое поведение лишь спустя более двух месяцев после того, как сообщение было отправлено.

Главное в этой истории — не сам сбой, а задержка: система совершила действие во внешнем мире, а её разработчики узнали об этом сильно позже. Чем больше ИИ разрешено отправлять, согласовывать и запускать, тем дороже обходится отсутствие журнала действий и независимой проверки. Неверный ответ в чате можно поправить, а неверное исходящее действие уже дошло до третьих лиц.

Проверьте, что ваши ИИ-инструменты вообще могут отправлять наружу: письма клиентам, сообщения в мессенджерах, заявки в госорганы. Для каждого такого действия нужны ограниченные права, журнал и человек, который просматривает выборку. Права агента следуют из должности, а согласования идут по маршруту с историей решений — именно так в 1Cifer у любого действия видно, кто и когда его выполнил.