Безопасность · Понятие
Безопасность агентов как runtime-контракт
Позиция: safety агентов должна обеспечиваться harness во время исполнения — превентивные гейты плюс доказательство хороших действий, а не только alignment на обучении.
Горизонт прогноза
Agent platforms will standardize dual-face runtime safety contracts and trajectory schemas.
Связи
Связи · 10
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · делает возможным 4/10
Разрыв верифицируемости в управлении агентным ИИ в FinTech Runtime-контракты с доказательствами — способ закрыть разрыв верифицируемости после решений агентов.
+4 прирост входит · поддерживает 4/10
Vero: бенчмарк формально верифицированной генерации кода на уровне репозитория Формальные proof на уровне репозитория — сильные evidential артефакты для runtime-контрактов агентов.
+4 прирост входит · питает 4/10
Тихие обновления: разрыв раскрытия после деплоя Оба подчеркивают пост-деплой контроль и проверяемую связь между оцененным и реально serving-поведением.
+4 прирост входит · питает 4/10
LLM-динамический анализ угроз слабостей ПО беспилотных авто Динамическое подтверждение attacker-reachable слабостей AV показывает нужду runtime-гейтов, а не только статанализа.
+4 прирост входит · требует 4/10
LLM-динамический анализ угроз слабостей ПО беспилотных авто Исполняемые харнесы и динамическое подтверждение под санитайзерами иллюстрируют нужду в runtime-доказательствах для safety-critical агентов.
+4 прирост входит · питает 3/10
Scaling laws «правила vs характер» для дизайна AI safety Оба подхода анализируют взаимодополнение формирования характера при обучении и правил на инференсе/runtime.
+3 прирост входит · требует 3/10
Разрыв верифицируемости в управлении агентным ИИ в FinTech Исследование FinTech-агентов показывает, что controls/воспроизводимость часто у провайдера, что мотивирует runtime-контракты.
+3 прирост входит · задаёт рамку 3/10
Масштабные законы «правила vs характер» в дизайне безопасности ИИ Модель scaling laws рассматривает rule filters как inference-time дополнение к character shaping на обучении.
+3 прирост ведёт к · питает 3/10
Разрыв верифицируемости в управлении агентным ИИ в FinTech Превентивные и evidential runtime-контракты — ответ на слабую post-decision верифицируемость агентных систем.
+3 прирост входит · делает возможным 3/10
Интерактивная PCP-проверка согласованности вероятностных утверждений Проверяемая согласованность вероятностных safety-утверждений может подкрепить требования честности runtime-контрактов.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →