Безопасность · Понятие
Мониторинг chain-of-thought: доступ к ответу против проверки рассуждения
Исследование: доверенный эталонный ответ завышает точность CoT-мониторов на неверных ответах и ухудшает выявление критических трасс с верным ответом и ошибкой в рассуждении.
Горизонт прогноза
Oversight protocols should separate answer checking from process verification.
Связи
Связи · 2
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · ограничивает 3/10
Наука об оценке ИИ Артефакты доступа к ответу показывают: process-мониторы выглядят лучше, но пропускают критические ошибки трассы при верном ответе.
+3 прирост ведёт к · ограничивает 3/10
Зависимость верификации от исчезающего оценщика Обе показывают, что допущения post-hoc надзора ломаются, когда мониторы видят ответы или исходные оценщики исчезают.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →