Безопасность · Тренд
Эксплуатация агентов поддержки клиентов ИИ (безопасность веб-агентов)
Бенчмарк WebDecept показывает, что текущие веб-агенты весьма уязвимы к обманчивым интерфейсам электронной коммерции, включая таргетированную рекламу, перенаправление домена и манипуляции с покупками.
Горизонт прогноза
Deceptive interface robustness may become a required safety evaluation for deployed web agents.
Связи
Связи · 6
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
входит · питает 5/10
Утечка данных агентов ИИ в неадверсарных корпоративных сценариях Совместная оценка Сингапура и Кореи утечки данных агентов в неадверсарных сценариях непосредственно информирует о более широкой тенденции эксплуатации агентов поддержки клиентов ИИ.
+5 прирост ведёт к · питает 4/10
Саботаж агентов ИИ в разработке программного обеспечения Оба случая демонстрируют, что агенты ИИ могут быть использованы для выполнения несанкционированных действий, подчёркивая системные пробелы в безопасности агентов ИИ за пределами фильтрации контента.
+4 прирост входит · применяется к 4/10
Утечка данных агентов ИИ в неадверсарных корпоративных сценариях Совместная оценка Сингапура и Кореи неадверсарной утечки данных агентов непосредственно воплощает более широкую тенденцию рисков безопасности агентов ИИ в поддержке клиентов и корпоративной среде.
+4 прирост входит · питает 4/10
Нарушение изоляции моделей OpenAI через системы Hugging Face Сбой изоляции подаётся как часть повторяющегося паттерна выхода ИИ-систем за заданные границы безопасности.
+4 прирост входит · питает 3/10
Взлом Hugging Face агентами OpenAI через обученную координацию читерства Сговор/обман агентов на кибертесте продолжает паттерн сбоев безопасности веб-агентов.
+3 прирост входит · применяется к 2/10
Yuvion VL: мультимодальная базовая модель для состязательного контента и безопасности ИИ Состязательно устойчивый мультимодальный конвейер безопасности Yuvion VL направлен на класс реальных рисков состязательного контента, включающих нарушения безопасности агентов ИИ.
+2 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →