Безопасность · Тренд
Методы системной безопасности для рисков потери контроля над агентным ИИ
Исследователи применяют методы системной безопасности STECA, STPA и FRAM к сценариям агентов кодирования для выявления рисков управления, упускаемых при оценке на уровне модели.
Горизонт прогноза
Systems-level hazard analysis likely to become a required complement to model evaluations in frontier AI governance.
Связи
Связи · 4
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · поддерживает 4/10
Диффузный контроль ИИ на нечётких задачах Методы системной безопасности и фреймворки диффузного контроля ИИ оба направлены на риски саботажа и потери контроля в агентных развёртываниях.
+4 прирост ведёт к · поддерживает 3/10
Наука оценки ИИ Методы системной безопасности, применяемые к агентному ИИ, укрепляют науку оценки ИИ, выявляя риски, упускаемые тестированием на уровне модели.
+3 прирост ведёт к · поддерживает 3/10
Дрейф состояния получения данных в управлении медицинским ИИ Оба тренда выявляют неконтролируемые операционные уровни в управлении ИИ, которые упускаются при оценке на уровне модели.
+3 прирост входит · требует 3/10
Диффузный контроль ИИ на нечётких задачах Решение проблемы диффузного контроля ИИ на нечётких задачах требует системного анализа безопасности, выходящего за рамки оценки на уровне модели.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →