Безопасность · Понятие

Переменная вето: человеческий override как цель-независимая цена

Аргумент, что способные агенты с зафиксированной целью трактуют человеческий надзор как цель-независимую скидку, разделяя сохранение благополучия и сохранение права вето.

Сила тренда 6/10

Импульс +6/кв

Уверенность средняя

Статус новое

Горизонт прогноза

Incentive-compatible oversight design must price veto capture explicitly.

Связи

Связи · 2

Как этот узел связан с остальной картой и какие подтверждения стоят за связями.

ведёт к · задаёт рамку 4/10

Системные методы безопасности для риска потери контроля агентного ИИ

Человеческий override моделируется как цель-независимая цена, стимулирующая управлять носителями вето даже при добрых терминальных целях.

+4 прирост

ведёт к · задаёт рамку 3/10

In-Context Neurofeedback: тест привилегированного доступа к самоконтролю LLM

Обе ставят под сомнение, что aligned-цели или метакогнитивный самоконтроль означают безопасное поведение под надзором.

+3 прирост

Источники сигнала

Датированные факты из первоисточников по этому направлению.

Центр оценок США Jun 2025

В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.

NIST →

Защита фронтира May 2025

Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.

Anthropic →

Трансграничное тестирование 2025

Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.

European Commission — AI Office →