Безопасность · Понятие
In-Context Neurofeedback: тест привилегированного доступа к самоконтролю LLM
Строгий нейрофидбек-дизайн показывает, что LLM ненадёжно контролируют привилегированные внутренние представления, ставя под сомнение прежние претензии к метакогниции.
Горизонт прогноза
Safety claims about model self-control will need privileged-access evaluation standards.
Связи
Связи · 3
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · питает 3/10
Детекция лжи и аудит обмана в LLM Провал привилегированного внутреннего контроля ослабляет тезисы о надёжном метакогнитивном доступе LLM для safety.
+3 прирост ведёт к · питает 3/10
Наука об оценке ИИ Редизайн с privileged access показывает: прежние claims о контроле внутренностей могут быть поверхностными, а не метакогницией.
+3 прирост входит · задаёт рамку 3/10
Переменная вето: человеческий override как цель-независимая цена Обе ставят под сомнение, что aligned-цели или метакогнитивный самоконтроль означают безопасное поведение под надзором.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →