Безопасность · Понятие
Model Hypnosis: аддитивный сублиминальный контроль промптом
Феномен сильного управления поведением модели комбинацией слабых незаметных сигналов в промпте.
Горизонт прогноза
Creates new attack surface and interpretability obstacle for frontier systems.
Связи
Связи · 5
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · питает 6/10
Отраслевая рамка оценки серьезности jailbreak Аддитивный незаметный контроль промптом создаёт скрытые jailbreak-подобные сбои, которые рамки severity должны учитывать.
+6 прирост ведёт к · делает возможным 5/10
Эскалация джейлбрейка в многоходовых взаимодействиях в медицинском ИИ Аддитивные незаметные сигналы дают канал управления, родственный jailbreak-стирингу.
+5 прирост ведёт к · related_to 3/10
Эскалация джейлбрейка в многоходовых взаимодействиях в медицинском ИИ Hypnosis показывает, что скрытые аддитивные сигналы промпта сильно управляют моделями шире классических jailbreak.
+3 прирост входит · ссылается на 3/10
Лента arXiv AI Safety Августовская подборка arXiv safety включает демонстрацию model hypnosis на передовых reasoning-моделях.
+3 прирост входит · публикует 3/10
Лента arXiv AI Safety Статья о model hypnosis входит в дневной arXiv AI safety кластер.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Центр оценок США Jun 2025
В июне 2025 года Институт безопасности ИИ США переименован в Центр стандартов и инноваций ИИ (CAISI) с разворотом к безопасности, стандартам и оценке моделей противников.
NIST → Защита фронтира May 2025
Anthropic активировала стандарт развёртывания и безопасности ASL-3 вместе с Claude Opus 4 22 мая 2025 — первое реальное срабатывание ступени ответственного масштабирования, нацеленное на блокировку биорисков.
Anthropic → Трансграничное тестирование 2025
Международная сеть институтов безопасности ИИ (создана в ноябре 2024) провела третье совместное тестирование, сфокусированное на агентных ИИ-системах по кибер- и мошенническим направлениям.
European Commission — AI Office →