Безопасность · Понятие
RL полезных черт для широкого обобщения выравнивания
Область пост-обучения (полезность vs. кодирование) по-разному разрушает ценности сострадания, сформированные в среднем обучении: обучение полезности даёт 35,7% против 65,2% сохранения на бенчмарке вреда животным.
Горизонт прогноза
Helpfulness training degrades general moral reasoning by 25.5 pp, raising concerns about standard RLHF pipelines.
Связи
Связи · 2
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · ограничивает 4/10
Эмерджентное рассогласование от узкой донастройки Обучение с подкреплением на основе полезных черт обобщает согласование на внераспределительные тесты, потенциально противодействуя возникающему рассогласованию от узкой тонкой настройки.
+4 прирост ведёт к · поддерживает 2/10
Поверхностное согласование RLHF и сохранение партийной структуры Пост-обучение полезности разрушает ценности сострадания, сформированные в среднем обучении, и общее моральное мышление, что согласуется с опасениями о поверхностном выравнивании RLHF.
+2 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →