Безопасность · Понятие
Разрыв невнимания: подавление сигналов безопасности в зависимости от задачи в моделях ИИ
Настройка языковой или визуальной модели на узкую задачу подавляет сообщение о сопутствующих критически важных для безопасности сигналах, которые она в противном случае может обнаружить — машинный аналог человеческой слепоты невнимания.
Горизонт прогноза
Decouples benchmark safety scores from real-world safety; demands new evaluation protocols that test for unspecified hazards.
Связи
Связи · 2
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · питает 4/10
Наука об оценке ИИ Обнаружение разрыва невнимания разрывает связь между безопасностью в тестах и реальной безопасностью, требуя новой науки оценки, тестирующей неуказанные опасности.
+4 прирост ведёт к · задаёт рамку 2/10
Наука об оценке ИИ Разрыв невнимания показывает, что оценки безопасности на тестах отрываются от реальной безопасности, бросая вызов науке оценки ИИ.
+2 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →