Безопасность · Понятие
NRT-Bench: многоходовой бенчмарк красной команды для агентов ИИ в критически важных системах
Бенчмарк, реализованный в симулированном блоке атомной электростанции, показывающий, что адаптивные многоходовые атаки приводят к потере критических функций безопасности в 8,7–12,1% сессий.
Горизонт прогноза
Diverse failure modes across frontier models underscore need for ensemble operator teams and cross-model robustness testing.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · применяется к 4/10
Эскалация джейлбрейка в многоходовых взаимодействиях в медицинском ИИ NRT-Bench реализует многоходовое тестирование красной командой в критически важных сценариях атомной электростанции, расширяя исследования эскалации взлома.
+4 прирост ведёт к · поддерживает 3/10
Наука оценки ИИ NRT-Bench развивает науку оценки ИИ, предоставляя объективные сигналы вреда вместо текста, оцениваемого LLM, для оценки агентов в критически важных системах безопасности.
+3 прирост ведёт к · поддерживает 3/10
Системные методы безопасности для риска потери контроля агентного ИИ NRT-Bench предоставляет эмпирические доказательства того, что адаптивные многоходовые атаки могут скомпрометировать агентные системы ИИ в критически важных системах.
+3 прирост ведёт к · поддерживает 3/10
Идентификация опасностей на основе агентного диалога (HAZDIAL) Симуляция атомной электростанции NRT-Bench обеспечивает конкретную идентификацию опасностей для критически важных агентных систем ИИ.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →