Безопасность · Понятие
Когнитивный alignment: ИИ, зеркалящий человеческое рассуждение
Утверждает: в high-stakes ИИ должен рассуждать подобно пользователям и честно сообщать обоснования для оправданного доверия.
Горизонт прогноза
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
входит · поддерживает 4/10
SAEVerbalizer: вербализация признаков sparse autoencoder Прямая вербализация внутренних SAE-признаков делает концепции модели более проверяемыми для человека.
+4 прирост входит · питает 3/10
Согласие ≠ alignment: расходящиеся моральные основания Расхождение моральных оснований при согласии меток мотивирует когнитивно выровненные объяснимые rationale.
+3 прирост входит · поддерживает 3/10
Рассуждение как обучаемый rule-based процесс Операциональные rule-based определения reasoning поддерживают выравнивание рассуждений модели с проверяемыми человеческими стандартами.
+3 прирост ведёт к · требует 3/10
Согласие ≠ alignment: расходящиеся моральные основания Зеркалирование человеческого рассуждения нужно, потому что совпадение итоговых меток не означает общих моральных оснований.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →