Управление · Понятие
Разрыв в оцениваемости ИИ
Аудиты достоверности бенчмарков сами по себе ненадёжны и могут быть незаметно сфабрикованы деталями реализации, подрывая доказательную базу обеспечения управления.
Goodhart's Law dynamics in AI evaluation will intensify as optimization pressure on benchmarks grows.
Связи
Связи · 13
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
Редкость аудитов на Глобальном Юге воплощает более широкий evaluability gap при быстром внедрении.
+4 приростКонцепция разрыва в оцениваемости ИИ переосмысливает управление ИИ как требующее доказательной базы, а не только свойств системы.
+3 приростСбои аудита достоверности бенчмарков выявляют разрыв в оцениваемости ИИ, показывая, что доказательства обеспечения управления могут быть незаметно сфабрикованы.
+3 приростПредлагаемый слой спецификаций — связующая ткань, делающая evaluation, mediation и escalation компонуемыми для надзора.
+3 приростТаксономия стандартизирует описание модификаций обученных моделей для документации и управления.
+3 приростОбщий словарь посттренировочных изменений улучшает документацию и оцениваемость для регуляторов.
+3 приростОценка возможностей по сценариям предлагается, поскольку likelihood-прогноз рисков ИИ признаётся несостоятельным.
+3 приростМетодика делает понимание ЛПР явным, чтобы safety case сам по себе не имитировал оцениваемость.
+3 приростИсчезновение оценщиков ломает допущение постфактум-реконструкции и расширяет разрыв оцениваемости.
+3 приростКороткие интервалы вывода моделей и привязка к версии подрывают допущение о повторной проверяемости решений ИИ.
+3 приростПри исчезновении evaluator реконструкция model-mediated решений невозможна без заранее заложенных commitment и независимой верифицируемости.
+3 приростАнализ авиационной сертификации выявляет структурный пробел в документах управления ИИ, аналогичный разрыву в оцениваемости ИИ.
+2 приростАффективный вред безопасности является кумулятивным и реляционным, что делает его плохо отражаемым существующими системами оценки.
+2 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Обязательства Акта ЕС об ИИ для моделей общего назначения действуют со 2 августа 2025; обязательства для систем высокого риска (Приложение III) — со 2 августа 2026.
EU AI Act — implementation tracker →Рамочная конвенция Совета Европы по ИИ — первый юридически обязывающий международный договор об ИИ — открыта для подписания в сентябре 2024; ЕС ратифицировал её 15 мая 2026.
Council of Europe →26 августа 2025 Генеральная Ассамблея ООН создала Независимую международную научную панель по ИИ (40 экспертов) и Глобальный диалог по управлению ИИ.
United Nations →