Безопасность · Понятие
Теория тестовых заданий (IRT) для бенчмарков AI safety
IRT по восьми safety-бенчмаркам и 192 моделям: факторы refusal/truthfulness/harm, дешёвое адаптивное тестирование и аудит sandbagging.
Горизонт прогноза
Adaptive IRT item sets could cut eval cost 97–99% and flag sandbagging.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · делает возможным 5/10
Наука об оценке ИИ IRT даёт латентные safety-факторы, эффективный адаптивный отбор заданий и аудиты sandbagging.
+5 прирост ведёт к · поддерживает 4/10
Наука об оценке ИИ IRT даёт психометрическую структуру и адаптивный отбор заданий для науки об AI eval.
+4 прирост входит · публикует 3/10
Лента arXiv AI Safety Лента arXiv AI safety публикует анализ IRT для AI safety.
+3 прирост входит · питает 3/10
Пробел измерения модальности и поиска в бенчмарках ИИ Обе работы критикуют хрупкую практику single-run и single-modality safety-бенчмарков.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →