Исследователи METR получили доступ к внутренним данным Anthropic и оценили, как изменился темп роста возможностей её моделей. По их расчёту, после октября 2025 года результаты моделей на выбранных тестах улучшались примерно в 1,9 раза быстрее прежнего. Из этого числа нельзя напрямую вывести, сколько времени сэкономил ИИ или какая доля работы исследователей стала автоматической. Отчёт METR от 5 ноября.

Что исследователи сравнили

С 12 августа по 29 октября 2026 года команда METR изучала показатели обучения, результаты тестов, данные об использовании вычислений и внутренние оценки ускорения. Исследователи также разговаривали с сотрудниками Anthropic. Они могли видеть результаты внутренних версий моделей, которые не дошли до публичного релиза, но применялись внутри компании. Для таких версий учитывали время, когда ими смогли пользоваться большинство сотрудников, вместо даты публичной публикации. Данные и методика METR.

Основой численной оценки стал AECI, вариант индекса Epoch Capabilities Index, который агрегирует результаты по нескольким тестам. Исследователи сравнили скорость роста этого индекса до и после октября 2025 года. Получилось 1,9× с 95-процентным доверительным интервалом от 1,5× до 2,8×. Число относится к темпу роста выбранного индекса. При другом наборе моделей или тестов оценка менялась. Например, после исключения тестов на зрение в расчёте METR она составила 2,2× с интервалом от 1,7× до 3,5×.

Agent ROI

Grok, ChatGPT, Gemini, Claude
и Perplexity — по одной подписке

Используйте эти модели
в Agent ROI.

Подписку можно оплатить в рублях.

Что отчёт говорит о роли ИИ

Авторы сочли широкое применение ИИ в исследованиях вероятным источником большей части ускорения. Их вывод опирается в том числе на интервью, опросы и закрытые данные. Расчёт по индексу отвечает на вопрос, как быстро изменились результаты моделей. Интерпретация причин требует отдельной оценки: более быстрый рост мог зависеть и от других изменений в организации исследований. METR не увидела признаков того, что темп роста вычислений для обучения сам по себе объясняет ускорение, но признаёт неопределённость относительно вклада разных причин. Выводы и оговорки METR.

Anthropic могла удалить из публичного отчёта непубличные сведения. По словам METR, из публикации исключили большую часть доказательств, которые исследователи считали наиболее информативными для выводов о рисках. Читатель может проследить открытые расчёты и часть проверок чувствительности, но вынужден опираться на суждение авторов там, где доказательства не опубликованы.

Как измерить ускорение в своей команде

Если нужно узнать, помогает ли ИИ быстрее готовить исследовательскую записку, выберите один измеримый этап и контроль качества. Например, фиксируйте время от получения документов до принятой сводки, количество возвратов на правку и долю проверенных ссылок. Сравните задачи похожей сложности и отдельно спросите участников, на каком шаге им помог инструмент. Так наблюдаемый результат и объяснение команды попадут в отчёт раздельно.

Начните с сохранения нескольких заданий до изменения процесса. Это даст материал для сравнения после подключения помощника и поможет увидеть, не исчезла ли экономия на этапе проверки.

Больше материалов по теме — в разделе «ИИ для бизнеса».