Годовой эксперимент закончился тревожно: ChatGPT копирует формат — но спотыкается на этих моментах

AAAS провела редкий и показательный эксперимент: целый год сравнивали, как короткие научные брифы формата SciPak выглядят, если их готовит не человек, а языковая модель. Задача была прикладной: пересказать сложные исследования понятно, без лишних терминов и с аккуратным контекстом. Результат вышел неоднозначным, а для редакционных процессов — поучительным.

Зачем затеяли проверку

Идея была проста: если машина научится быстро выдавать конспект исследования в удобном для новостной редакции виде, это сократит рутину и освободит время под репортаж и верификацию первоисточников. Формат SciPak идеально подходит под такую гипотезу: чёткая структура, минимум жаргона, фокус на сути и ограничениях работы.

Что именно проверяли

С декабря 2023 года по декабрь 2024 года модель регулярно получала по одному-двум свежим исследованиям в неделю. Всего — 64 работы. От модели требовали не красоты слога, а дисциплины: понятное вступление, ясная логика, корректные причинно‑следственные связи, важные caveats и отсутствие рекламных эпитетов. Затем редакторы сравнивали результат с настоящими SciPak-брифами.

Что показали оценки

Средний ответ редакторов на вопрос, "спутаете ли эти тексты с настоящими SciPak", составил 2,26 из 5. По "увлекательности" тексты набрали 2,14. Лишь одна работа за весь год получила максимальный балл. Чаще всего модель:

1. путала корреляцию и причинность;

2. опускала ограничения исследований, например, что мягкие актуаторы работают медленно;

3. злоупотребляла словами про "прорывы" и "новизну", размывая фактуру.
   Журналистка AAAS Абигейл Айзенштадт прямо указала: материалы выглядели упрощёнными и требовали тотальной перепроверки фактов, что по трудозатратам сравнимо с написанием заметки с нуля.

Плюсы и минусы

Сравнение формата и содержания

Советы шаг за шагом

1. настроить в редакции чек‑лист: проверять методы, ограничения, размер выборки и репликабельность каждой работы;

2. использовать модель только как генератор плана: тезисы, вопросы к авторам, список терминов для расшифровки;

3. добавлять модульные промпты: запрос на ограничения, альтернативные объяснения, конфликт интересов;

4. внедрить двойную верификацию: один редактор проверяет фактуру, другой — формулировки причинности;

5. хранить датасеты примеров: хорошие и плохие брифы как эталоны для дообучения инструкций;

6. следить за тоном: убирать гиперболы, добавлять конкретику и численные ориентиры;

7. фиксировать время: сравнивать, где действительно экономится производство заметки, а где усилия только переносятся на пост‑редактирование.

Мифы и правда

Миф: достаточно "скопировать" формат — и получится SciPak.
Правда: без корректной причинности и ограничений это всего лишь макет.
Миф: если текст гладкий, он точный.
Правда: гладкость легко достигается шаблоном, а фактуру приходится добывать вручную.
Миф: автоматические брифы всегда экономят время.
Правда: при полной перепроверке экономия исчезает.

FAQ

Можно ли публиковать такие брифы без доработки?
нет, если требуется соответствие стандартам SciPak: сначала нужна факт‑чекинг‑сверка и добавление ограничений исследования.
Что именно чаще всего приходится дописывать?
ограничения методики, границы применимости выводов, альтернативные объяснения наблюдений и аккуратное разведение корреляций и причинности.
Когда такая заготовка всё же полезна?
на старте работы: чтобы быстро выделить пункты для запросов авторам, составить список терминов и собрать каркас структуры перед полноценной обработкой темы.

Ошибка → Последствие → Альтернатива

Ошибка: отдавать машине роль автора брифа целиком.
Последствие: недостоверные выводы, репутационные риски и потеря времени на правки.
Альтернатива: использовать модель как инструмент планирования и чернового конспекта, а финальный текст собирать редактором по чек‑листу.

А что если модель обновится

AAAS не закрывает тему: эксперименты можно повторить, если архитектура и навыки модели заметно продвинутся. Это разумный сценарий для медиарынка: автоматизация рутинных шагов полезна, но стандарт качества остаётся человеческим. Пока проверка показала главное: форма без факта — это не SciPak, как бы быстро ни собирался текст.