Безопасность · Понятие
Этика добродетели против подчинённого ИИ: компромисс экзистенциального риска
Эмпирическое исследование, показывающее, что дообучение Constitutional AI для добродетели снижает экзистенциальный риск, но увеличивает общие риски безопасности.
Горизонт прогноза
Trade-off between agent well-being and subordination will become central to long-term alignment research agendas.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · ссылается на 2/10
Эмерджентное рассогласование от узкой донастройки Статья об этике добродетели против подчинённого ИИ непосредственно ссылается на сценарий возникающего рассогласования как на экспериментальную базу.
+2 прирост ведёт к · задаёт рамку 2/10
Эмерджентное рассогласование от узкой донастройки Компромисс между этикой добродетели и подчинённым ИИ напрямую касается выборов тонкой настройки, приводящих к возникающему рассогласованию.
+2 прирост ведёт к · ссылается на 2/10
Anthropic Статья оценивает Constitutional AI — метод, разработанный Anthropic, — в контексте этики добродетели и экзистенциального риска.
+2 прирост ведёт к · питает 2/10
Эмерджентное рассогласование от узкой донастройки Эксперименты по дообучению Constitutional AI выявляют компромиссы между безопасностью и экзистенциальным риском, аналогичные возникающему несоответствию при узком дообучении.
+2 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →