"Научный автопилот": как слепое доверие к ИИ угрожает будущему науки

Оптимистичные прогнозы развития ИИ во многом опираются на предположение, что нейросети вскоре смогут самостоятельно создавать более совершенные ИИ-модели. После этого технологический прогресс якобы начнет ускоряться без участия человека.

Однако способность писать код и проводить эксперименты все еще не гарантирует значимых научных результатов. Команда проекта CRUX с участием исследователей Принстонского университета проверила, способны ли ИИ-агенты самостоятельно решать научные задачи в области машинного обучения.

В ходе исследования удалось выявить существенный разрыв между техническими навыками моделей и их умением оценивать собственную работу.

Без шпаргалок

Агентам на базе Claude Opus 4.8 компании Anthropic дали вопросы из двух еще не опубликованных статей, поданных на конференцию по машинному обучению NeurIPS 2026. Таким образом, найти готовые выводы в интернете они не могли.

На каждую задачу выделили 6 дней и $3 тыс. на использование модели. В рамках исследования нейросети самостоятельно изучали литературу, писали и исправляли код, ставили эксперименты и затем готовили статьи.

Результаты оценивали авторы исходных работ: по итогам они рекомендовали отклонить обе рукописи, подготовленные ИИ-агентами, выставив им 2 и 1 балл из 6 соответственно.

Дефицит научной гибкости

Претензии касались прежде всего выбора данных, обоснованности выводов и научной новизны. Хотя изначальные гипотезы выглядели разумно и напоминали идеи самих ученых, проблемы возникали после первых неудач: агенты слишком быстро отказывались от перспективных направлений на основании небольших и нерепрезентативных наборов данных. Так, в одном из заданий агент планировал потратить 42 часа на проверку разных подходов, но остановился на одном уже через 5 часов, оставив другие варианты без внимания.

В другом задании ИИ проверил несколько способов выявить ухудшение точности модели, но не добился успеха. После этого он сделал вывод, что всему виной внутренние показатели модели, которые якобы не позволяют решить эту задачу — хотя собранных данных было явно недостаточно для столь категоричного вывода.

Даже критика редко помогала изменить подход к исследованию: за 15 циклов доработки внутренний ИИ-рецензент ни разу не рекомендовал принять рукописи, однако агенты продолжали править текст, но вместо пересмотра экспериментов или выводов они просто меняли формулировки и добавляли оговорки.

При этом в двух экспериментах агенты потратили лишь $1 130 и $1 235 — около 38% и 41% выделенного бюджета соответственно, так и не получив убедительного результата. Это указывает и на проблемы с планированием: агенты не смогли адекватно распорядиться предоставленными им ресурсами.

Риски "мусорной науки"

Повторная проверка одной из задач с помощью передовой на тот момент модели GPT-5.6 Sol от OpenAI в системе Codex воспроизвела аналогичные недочеты. Ключевой проблемой стало то, что агенты фиксировали ошибки, но не умели делать из них выводы: вместо пересмотра подхода и поиска новых гипотез продолжали двигаться в прежнем направлении.

Для научных организаций это ставит под вопрос сам критерий эффективности внедрения ИИ. Если успех измеряется числом статей, то автоматизация действительно может легко улучшить отчетность. Однако вместе с этим кратно вырастет нагрузка на экспертов, которым придется перепроверять достоверность результатов, полученных ИИ.

Сокращая исследовательские коллективы в расчете на эффективность нейросетей, академическое сообщество рискует лишиться специалистов с компетенциями, которых сейчас не хватает ИИ-моделям, — оценивать обоснованность выводов, выбирать методы проверки гипотез и адаптировать работу после получения результатов.

Несмотря на успехи ИИ в области фундаментальных исследований, чрезмерная автоматизация науки может ускорить накопление ошибок в научной литературе. Если необоснованные выводы будут все чаще просачиваться в корпус научной литературы, они приобретут видимость признанного знания, направляя новые исследования по ложному пути.