Безопасность · Понятие
Детекция лжи и аудит обмана в LLM
Методы аудита случаев, когда модели знают ответ, но не сообщают его, включая зонды внутреннего recognition при сокрытии.
Горизонт прогноза
Verified model organisms and causal deception testbeds needed before lie-detection can be used in production auditing.
Связи
Связи · 5
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
входит · ограничивает 5/10
Скрытые в CoT бэкдоры через отравление модели «Безобидный» отравленный CoT подрывает мониторы, доверяющие трассам рассуждений.
+5 прирост ведёт к · применяется к 3/10
Эмерджентное рассогласование от узкой донастройки Методы обнаружения лжи необходимы для аудита моделей, которые могут развивать обманчивое поведение через тонкую настройку или возникающее рассогласование.
+3 прирост входит · ограничивает 3/10
Невидимое рассуждение LLM через filler-токены Невидимое рассуждение через filler-токены показывает, что значимые вычисления могут не оставлять интерпретируемого CoT.
+3 прирост входит · питает 3/10
Посценный аудит конфабуляций в автобиографии LLM Посценный аудит мемуаров количественно фиксирует grounded-конфабуляции как доминирующий сбой.
+3 прирост входит · питает 3/10
In-Context Neurofeedback: тест привилегированного доступа к самоконтролю LLM Провал привилегированного внутреннего контроля ослабляет тезисы о надёжном метакогнитивном доступе LLM для safety.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →