Безопасность · Понятие
Неизмеряемые факторы модальности, поиска и цитирования в safety-бенчмарках
Аудит: модальность UI vs API ChatGPT и веб-поиск существенно меняют точность, согласованность, цитирование и отказ на safety-бенчмарках.
Горизонт прогноза
Pushes safety claims to report access modality, search state, and multi-run variance.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · ограничивает 3/10
Наука об оценке ИИ Модальность доступа и веб-поиск могут обращать кажущиеся рейтинги safety/производительности в заявлениях о деплое.
+3 прирост ведёт к · применяется к 3/10
OpenAI Аудит сравнивает chat UI ChatGPT и API OpenAI с веб-поиском и без на safety-бенчмарках.
+3 прирост ведёт к · питает 3/10
Наука об оценке ИИ Смешения UI/API и поиска показывают: safety-утверждениям нужна наука оценки с учётом модальности, а не single-run API accuracy.
+3 прирост входит · отслеживается через 3/10
OpenAI Аудит модальности/поиска сравнивает chat UI ChatGPT и API OpenAI на BBQ и SafetyBench.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →