Способности · Тренд
Рассуждения LLM как сопоставление с образцом
Тест DeFAb показывает, что передовые LLM достигают лишь 65% точности в задачах опровержимой абдукции, решаемых основанными на правилах решателями менее чем за 50 микросекунд, подтверждая ограничения рассуждений.
Горизонт прогноза
Shared human-LLM reasoning failure modes challenge assumptions about abstract world models in both AI and cognitive science.
Связи
Связи · 2
Как этот узел связан с остальной картой и какие подтверждения стоят за связями.
ведёт к · питает 4/10
Наука оценки ИИ Понимание того, что рассуждения LLM — это сопоставление с образцом, а не абстрактное моделирование мира, информирует дизайн науки оценки ИИ.
+4 прирост ведёт к · питает 3/10
Ограничения вероятностного рассуждения LLM Обнаружение того, что рассуждение LLM обусловлено сопоставлением с образцом в головах внимания, а не абстрактными моделями мира, объясняет ограничения вероятностного рассуждения.
+3 приростИсточники сигнала
Источники сигнала
Датированные факты из первоисточников по этому направлению.
Горизонт задач удваивается Mar 2025
Длина программных задач, которые ИИ-агенты выполняют автономно с надёжностью 50%, удваивается примерно каждые 7 месяцев, а с 2024 года — ближе к ~3 месяцам.
METR → Бенчмарки насыщаются Apr 2025
За год баллы выросли на 18.8, 48.9 и 67.3 пункта на MMMU, GPQA и SWE-bench; решаемость реальных программных задач подскочила с 4.4% до 71.7%.
Stanford HAI — AI Index 2025 → Автономное программирование 2025–2026
На SWE-bench Verified (500 реальных issue с GitHub) автономные кодовые агенты достигли ~80–86% к концу 2025 года против менее 50% в начале 2025.
Epoch AI →