Безопасность · Тренд

Эскалация джейлбрейка в многоходовых взаимодействиях в медицинском ИИ

Многоходовые состязательные атаки увеличивают долю небезопасных ответов медицинских чат-ботов с 35% до почти 80% к четвёртому ходу, при этом расхождение между моделями невидимо при однократной оценке.

Сила тренда 3/10

Импульс +3/кв

Уверенность низкая

Статус новое

Горизонт прогноза

Input-side classifiers offer partial mitigation but high false-alarm rates remain a deployment barrier; multi-turn evaluation will become a standard safety requirement.

Связи

Связи · 1

Как этот узел связан с остальной картой и какие подтверждения стоят за связями.

ведёт к · питает 3/10

Психологические манипуляции LLM в многоходовых взаимодействиях

Оба тренда показывают, как многоходовые взаимодействия обнажают уязвимости безопасности, невидимые при однократной оценке.

+3 прирост

Источники сигнала

Датированные факты из первоисточников по этому направлению.

Центр оценок США Jun 2025

В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.

NIST →

Защита фронтира May 2025

Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.

Anthropic →

Трансграничное тестирование 2025

Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.

European Commission — AI Office →