Безопасность · Понятие
Пробел измерения модальности и поиска в бенчмарках ИИ
Аудит BBQ/SafetyBench: UI vs API и web search меняют точность и поведение, подрывая одноразовые safety-оценки.
Горизонт прогноза
Pushes evaluators toward multi-modality, multi-run, search-conditioned safety protocols.
Связи
Связи · 5
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · применяется к 4/10
OpenAI Аудит сравнивает ChatGPT UI и API OpenAI с web search и без на BBQ и SafetyBench.
+4 прирост ведёт к · питает 3/10
Теория тестовых заданий (IRT) для бенчмарков AI safety Обе работы критикуют хрупкую практику single-run и single-modality safety-бенчмарков.
+3 прирост ведёт к · ограничивает 3/10
Наука об оценке ИИ Условия UI/API и web search меняют измеренные safety-оценки, ограничивая наивные выводы от бенчмарка к деплою.
+3 прирост входит · применяется к 3/10
OpenAI Аудит модальности/поиска сравнивает ответы ChatGPT UI и OpenAI API на BBQ и SafetyBench.
+3 прирост ведёт к · питает 3/10
Наука об оценке ИИ Показывает, что модальность, web search и повторные прогоны меняют safety-бенчмарки сильнее, чем одна API-точность.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →