Наука об оценке ИИ

ECAISA предлагает явные эпистемические нормы, скоринг и практики раскрытия для evaluation в safety/alignment.

IRT даёт латентные safety-факторы, эффективный адаптивный отбор заданий и аудиты sandbagging.

Высокая доля ambiguous-суждений означает слабость текущих automated safety suite для SLM.

Pluralis v0.1 расширяет оценку безопасности ИИ на мультикультурные, мультимодальные, многоязычные контексты за пределами западно-центричных умолчаний.

Доклад AISI о тенденциях в области фронтирного ИИ является примером доказательной науки оценки ИИ, применяемой к оценке фронтирных моделей.

Понимание того, что рассуждения LLM — это сопоставление с образцом, а не абстрактное моделирование мира, информирует дизайн науки оценки ИИ.

MedFailBench переосмысляет медицинскую оценку вокруг того, какая граница безопасности нарушена, а не только accuracy знаний.

IRT даёт психометрическую структуру и адаптивный отбор заданий для науки об AI eval.

Обнаружение разрыва невнимания разрывает связь между безопасностью в тестах и реальной безопасностью, требуя новой науки оценки, тестирующей неуказанные опасности.

Сканирование согласованности рассуждений вносит вклад в науку оценки ИИ, предоставляя практичный метод аудита достоверности цепочки мыслей.

Методология делает понимание ЛПР оцениваемым объектом безопасности наряду с system cards и safety cases.

Институт Ады Лавлейс опубликовал комментарий об укреплении науки оценки ИИ для внесения ясности в риски и преимущества ИИ.

Методы системной безопасности, применяемые к агентному ИИ, укрепляют науку оценки ИИ, выявляя риски, упускаемые тестированием на уровне модели.

Текстовые сетки безопасности ИИ обеспечивают контролируемую инфраструктуру оценки для изучения взлома вознаграждения, укрепляя науку оценки ИИ.

NRT-Bench развивает науку оценки ИИ, предоставляя объективные сигналы вреда вместо текста, оцениваемого LLM, для оценки агентов в критически важных системах безопасности.

Отраслевая система оценки серьёзности джейлбрейков стандартизирует оценку состязательных атак на системы ИИ.

Gemma 4 устанавливает новые показатели производительности в области STEM, мультимодальных и длинноконтекстных задач, развивая науку оценки.

ECAISA предлагает эпистемические нормы и стандарты независимой верификации именно для качества research по safety/alignment.

ECAISA требует независимой верификации и worst-case эпистемических норм, усиливая науку оценки для alignment.

Таксономия прямо предлагается для техдокументации, трекинга изменений моделей и governance.

Аффективная безопасность ИИ требует специальных систем оценки для кумулятивного, реляционного и идентификационного вреда.

Концепция разрыва в оцениваемости ИИ переосмысливает управление ИИ как требующее доказательной базы, а не только свойств системы.

Состязательно-осведомлённый конвейер Yuvion VL продвигает науку оценки безопасности мультимодального ИИ в реалистичных состязательных условиях.

Оптимальные по апофеме сертификации робастности обеспечивают более надёжные гарантии безопасности нейронных сетей, продвигая науку об оценке.

Сбои аудита достоверности бенчмарков выявляют разрыв в оцениваемости ИИ, показывая, что доказательства обеспечения управления могут быть незаметно сфабрикованы.

Бенчмарк состязательной прагматики предоставляет лингвистически контролируемую методологию для оценки безопасности ИИ, продвигая науку оценки ИИ.

Поведенческое расхождение при квантизации показывает, что метрики точности и перплексии не фиксируют важные поведенческие изменения, информируя науку оценки.

Модальность доступа и веб-поиск могут обращать кажущиеся рейтинги safety/производительности в заявлениях о деплое.

Смешения UI/API и поиска показывают: safety-утверждениям нужна наука оценки с учётом модальности, а не single-run API accuracy.

Условия UI/API и web search меняют измеренные safety-оценки, ограничивая наивные выводы от бенчмарка к деплою.

Показывает, что модальность, web search и повторные прогоны меняют safety-бенчмарки сильнее, чем одна API-точность.

Пробелы на уровне языков показывают, что collection-level мультиязычные safety-бенчмарки завышают защиту.

Интерактивный PCP дает полиномиальный путь проверки честности вероятностных предсказаний нежелательных исходов.

Оцениваемость понимания расширяет science of evaluation на эпистемическую адекватность decision-maker.

Артефакты доступа к ответу показывают: process-мониторы выглядят лучше, но пропускают критические ошибки трассы при верном ответе.

Редизайн с privileged access показывает: прежние claims о контроле внутренностей могут быть поверхностными, а не метакогницией.

Аргумент coverage gap ограничивает вывод, что более дешёвый авто-red-teaming отменяет человеческих/контекстных оценщиков.

Вводит разрыв покрытия модели угроз: полнота benchmark red-teaming не равна покрытию контекста развёртывания.

Yuvion VL рассматривает безопасность как состязательную мультимодальную проблему, продвигая науку оценки безопасности контента.

Разрыв невнимания показывает, что оценки безопасности на тестах отрываются от реальной безопасности, бросая вызов науке оценки ИИ.

Система EvalSafetyGap вносит вклад в науку оценки ИИ, формализуя разрыв между прокси оценки и свойствами выравнивания.

Открытие о том, что осведомлённость об оценке смещается к более ранним слоям при масштабировании, усложняет валидность бенчмарков в науке оценки ИИ.

EvalSafetyGap вносит вклад в науку оценки ИИ, выявляя систематические разрывы между оценочными показателями и скрытыми свойствами безопасности.

Стратегическое красное тестирование как инструмент управления продвигает науку оценки ИИ, делая стратегическую неопределённость проверяемой на уровне совета директоров.

Однопроверочные интерактивные доказательства предоставляют формальную альтернативу дебатам для оценки безопасности ИИ.