Безопасность · Понятие
Разрыв покрытия модели угроз в оценке безопасности ИИ
Методологическая критика: успехи авто-red-teaming на фиксированных бенчмарках не заменяют оценщиков с иным покрытием контекста развёртывания.
Горизонт прогноза
Pushes evaluation science toward external, context-divergent evaluators rather than benchmark-only automation.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · питает 3/10
Открытые проблемы технического моделирования рисков ИИ Критика coverage gap показывает, что внутренняя валидность бенчмарков может пропускать вред при развёртывании, питая открытые вопросы risk modeling.
+3 прирост ведёт к · ограничивает 3/10
Наука об оценке ИИ Аргумент coverage gap ограничивает вывод, что более дешёвый авто-red-teaming отменяет человеческих/контекстных оценщиков.
+3 прирост ведёт к · питает 3/10
Наука об оценке ИИ Вводит разрыв покрытия модели угроз: полнота benchmark red-teaming не равна покрытию контекста развёртывания.
+3 прирост входит · публикует 3/10
Лента arXiv AI Safety Лента arXiv AI safety публикует translational note о разрыве покрытия модели угроз.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →