Способности · Понятие

Поведенческая дивергенция при квантовании LLM

Метрика 'согласия правильности' показывает, что квантованные LLM поведенчески расходятся с базовыми моделями, даже когда точность и перплексия кажутся сохранёнными.

Сила тренда 4/10

Импульс +4/кв

Уверенность низкая

Статус новое

Горизонт прогноза

Связи

Связи · 1

Как этот узел связан с остальной картой и какие подтверждения стоят за связями.

ведёт к · питает 3/10

Наука об оценке ИИ

Поведенческое расхождение при квантизации показывает, что метрики точности и перплексии не фиксируют важные поведенческие изменения, информируя науку оценки.

+3 прирост

Источники сигнала

Датированные факты из первоисточников по этому направлению.

Горизонт задач удваивается Mar 2025

Длина программных задач, которые ИИ-агенты выполняют автономно с надёжностью 50%, удваивается примерно каждые 7 месяцев, а с 2024 года — ближе к ~3 месяцам.

METR →

Бенчмарки насыщаются Apr 2025

За год баллы выросли на 18.8, 48.9 и 67.3 пункта на MMMU, GPQA и SWE-bench; решаемость реальных программных задач подскочила с 4.4% до 71.7%.

Stanford HAI — AI Index 2025 →

Автономное программирование 2025–2026

На SWE-bench Verified (500 реальных issue с GitHub) автономные кодовые агенты достигли ~80–86% к концу 2025 года против менее 50% в начале 2025.

Epoch AI →