Безопасность · Понятие
Дистрибутивно робастная вероятностная верификация агентов ИИ
Надёжная система на основе дистрибутивно робастной оптимизации для вычисления верхних границ вероятности нарушения политики агентами ИИ с вероятностными предикатами.
Горизонт прогноза
Связи
Связи · 3
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · применяется к 2/10
NRT-Bench: многоходовой бенчмарк красной команды для агентов ИИ в критически важных системах Системы вероятностной верификации оцениваются на стандартных бенчмарках для терминальных агентов и агентов вызова инструментов, актуальных для критически важных развёртываний.
+2 прирост ведёт к · поддерживает 2/10
Системные методы безопасности для риска потери контроля агентного ИИ Дистрибутивно робастная вероятностная верификация обеспечивает формальные гарантии безопасности для политик выполнения агентного ИИ.
+2 прирост входит · питает 2/10
Оптимальные по апофеме сертификации робастности нейронных сетей Оптимальные по апофеме сертификации обеспечивают разрешимые границы робастности, дополняющие вероятностные подходы к верификации агентов ИИ.
+2 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →