Промт для разбора научных статей: от abstract до practical implications
Просьба «перескажи статью» даёт то же, что и чтение аннотации, только длиннее. Между тем главный вопрос к любому исследованию другой: насколько выводам можно доверять и на кого они распространяются. Ответ прячется в разделе о методах, который читают реже всего.
Важное условие: давайте модели текст статьи, а не название. По названию она восстановит правдоподобное содержание, включая цифры, которых в работе нет.
Промт для разбора
Вот научная статья [вставить полный текст или основные разделы]. Разбери её по структуре: 1. ВОПРОС. На какой вопрос отвечали авторы. Отличается ли он от того, что заявлено в заголовке. 2. МЕТОД. Что именно делали: дизайн исследования, выборка (сколько, кто, как отобраны), что измеряли и чем, с чем сравнивали. 3. РЕЗУЛЬТАТ. Что получили — величина эффекта, а не только его наличие. Если приведена статистическая значимость, отметь, обсуждается ли практическая. 4. ЧТО ИЗ ЭТОГО СЛЕДУЕТ. Строго: на какую популяцию и в каких условиях распространяется вывод. 5. ЧЕГО НЕ СЛЕДУЕТ. Какие выводы из этой работы сделать нельзя, хотя их часто делают. 6. ОГРАНИЧЕНИЯ. Названные авторами и не названные, но заметные из описания метода. 7. КОНФЛИКТ ИНТЕРЕСОВ. Кто финансировал, есть ли заявление, влияет ли это на интерпретацию. Опирайся только на текст. Если чего-то в статье нет — так и пиши, не восстанавливай по смыслу.
Пятый пункт — тот, ради которого всё затевается. Разрыв между «в исследовании показано» и «значит, надо делать так» — источник большинства ошибочных пересказов науки в популярных текстах.
Красные флаги, которые стоит спросить отдельно
| Флаг | Почему важно |
|---|---|
| Маленькая выборка | Эффект может быть случайным |
| Нет контрольной группы | Не с чем сравнивать |
| Результат на суррогатной метрике | Меряли не то, что интересует на деле |
| Много сравнений без поправки | Что-нибудь «значимое» найдётся случайно |
| Вывод шире, чем данные | Экстраполяция за пределы выборки |
| Только положительные результаты | Возможен отбор удобного |
Проверь статью по этим признакам и по каждому дай ответ: есть / нет / из текста не следует. Для найденных объясни, как именно это ослабляет вывод, и что должно было бы быть сделано.
Сравнение нескольких работ
Вот три статьи по одному вопросу [вставить]. Составь таблицу: вопрос, дизайн, выборка, что мерили, результат, ограничения. Определи, в чём они согласуются и в чём противоречат. Объясни возможные причины расхождений: разные популяции, разные метрики, разная длительность, разные определения одного и того же. Скажи, какая из работ надёжнее по устройству метода, независимо от того, чей результат вам приятнее.
Последняя оговорка не лишняя: и человек, и модель склонны считать более убедительной ту работу, чей вывод совпадает с ожиданием.
Практические выводы
По разобранной статье ответь: - что конкретно можно попробовать применить [в моей области / на практике], и при каких условиях; - что применять преждевременно и чего ещё не хватает для этого; - какой минимальный эксперимент проверил бы применимость в моих условиях. Не давай рекомендаций, которые не следуют из этой работы напрямую.
Ограничения инструмента
- Проверить достоверность данных модель не может. Фальсификации и ошибки в исходных цифрах она не увидит.
- Статистику она пересказывает, а не проверяет. Если в статье неверно применён критерий, она это, скорее всего, пропустит.
- Контекста области у неё нет. Она не знает, что эта работа противоречит десяти предыдущим.
- Ссылки она выдумывает. Просьба «приведи источники» на разбор без текста — прямой путь к несуществующим публикациям.
Практический режим такой: модель — ускоритель чтения, который вытаскивает структуру и задаёт правильные вопросы к тексту. Оценку значимости работы для области делает человек, знающий эту область.