Способности · Понятие

Автоматизированная оценка воспроизводимости научных результатов с помощью LLM

CORE-Bench v1.1 демонстрирует, что насыщение бенчмарка не исчерпывает его полезность; агентов можно оценивать по эффективности, надёжности, конструктной валидности и приросту от сотрудничества человека и ИИ.

Сила тренда 5/10

Импульс +5/кв

Уверенность средняя

Статус новое

Горизонт прогноза

LLM-based reproducibility tools could scale scientific audit capacity significantly, reshaping research integrity workflows.

Связи

Связи · 1

Как этот узел связан с остальной картой и какие подтверждения стоят за связями.

ведёт к · делает возможным 3/10

ИИ-агенты перестраивают knowledge work

Автоматизированная оценка воспроизводимости с помощью LLM демонстрирует, как агенты ИИ берут на себя наукоёмкие задачи научного аудита.

+3 прирост

Источники сигнала

Датированные факты из первоисточников по этому направлению.

Горизонт задач удваивается Mar 2025

Длина программных задач, которые ИИ-агенты выполняют автономно с надёжностью 50%, удваивается примерно каждые 7 месяцев, а с 2024 года — ближе к ~3 месяцам.

METR →

Бенчмарки насыщаются Apr 2025

За год баллы выросли на 18.8, 48.9 и 67.3 пункта на MMMU, GPQA и SWE-bench; решаемость реальных программных задач подскочила с 4.4% до 71.7%.

Stanford HAI — AI Index 2025 →

Автономное программирование 2025–2026

На SWE-bench Verified (500 реальных issue с GitHub) автономные кодовые агенты достигли ~80–86% к концу 2025 года против менее 50% в начале 2025.

Epoch AI →