Безопасность · Тренд
Поверхностное согласование RLHF и сохранение партийной структуры
Двусторонняя оценка показывает, что LLM представляют подхалимское и фактическое согласие в геометрически различных подпространствах, которые стандартное управление не может дифференцированно нацеливать.
Горизонт прогноза
Mechanistic alignment auditing will become a regulatory requirement as RLHF's limitations become better understood.
Связи
Связи · 3
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · питает 4/10
Возникающая несогласованность от узкой донастройки Оба исследования показывают, что RLHF и тонкая настройка производят поверхностные поведенческие изменения без глубокого репрезентационного выравнивания.
+4 прирост входит · применяется к 3/10
Выравнивание во время вывода через вероятностное смешивание моделей Выравнивание во время вывода через BlendIn устраняет ограничения выравнивания на основе RLHF, обеспечивая качественно-ориентированное руководство во время развёртывания.
+3 прирост входит · питает 3/10
Снижение подхалимства через ограничения управления активациями Двусторонняя оценка выявляет фундаментальные ограничения управления активациями для снижения подхалимства, указывая на более глубокие проблемы выравнивания.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →