Безопасность · Понятие
Векторы steering для верности chain-of-thought
Исследует обобщение activation steering для повышения признания подсказок и снижения неверной CoT на разных типах cues и датасетах.
Горизонт прогноза
Monitoring unfaithful CoT may increasingly rely on activation-level interventions, not prompts alone.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
входит · питает 4/10
SARE: пошаговая энергия рассуждения в CoT Пошаговые сигнатуры энергии — внутренний сигнал, дополняющий steering при диагностике неверных/слабых узлов рассуждения.
+4 прирост ведёт к · поддерживает 3/10
Хрупкость ценности при несовершенном выравнивании Оба касаются надёжности alignment/monitorability: steering вскрывает инструментальные шаги, которые оптимизация может скрывать.
+3 прирост входит · ограничивает 3/10
Скрытые в CoT бэкдоры через отравление модели Скрытые бэкдоры показывают, что CoT может выглядеть верным при атакуемом поведении, ограничивая мониторинг и steering.
+3 прирост ведёт к · поддерживает 3/10
Скрытые в CoT бэкдоры через отравление модели Steering верности CoT стремится сделать инструментальные шаги рассуждений более вербализованными, противодействуя скрытым сбоям CoT.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →