北京
认知神经科学前沿文献分享
基本信息
Title:Large language models can predict the results of social science experiments
发表时间:2026-07-08
发表期刊:Nature
影响因子:56.1
获取原文:
1. 添加小助手:PSY-Brain-Frontier即可获取PDF版本
研究背景
大型语言模型（large language models, LLMs）已经能模仿很多人类语言反应，但社会科学实验看的不是单个回答像不像人，而是随机条件之间的处理效应（treatment effects）。这篇 Nature 论文问的是一个更窄也更难的问题：模型在看到人口学特征、实验刺激和结果问题后，能不能预测美国社会科学实验中真实样本的效应大小排序，而不是复述论文结果，或假装生成一名受访者的答案
实验设计与方法逻辑
作者让 GPT-4 等模型扮演不同人口学特征的美国参与者，在各实验条件下作答，再用条件均值计算 LLM-derived predictions。主要档案包括 70 个预注册、全国代表性调查实验、469 个效应和 119,330 名参与者；补充档案包括 15 个大型多处理实验（megastudies）、606 个效应。评估指标有相关、调整相关（adjusted correlation, r_adj）、误差、校准斜率。论文还把模型预测与人类、专家预测作比较，并讨论可能用途、偏差和误用风险
核心发现
发现一：GPT-4 对主要调查实验的效应排序预测很强
在 70 个美国文本型社会科学调查实验中，GPT-4 预测效应与真实效应高度相关，r = 0.85，r_adj = 0.92；较新模型和若干开源权重模型也有不错表现。主要问题在绝对数值：模型预测的效应大约是真实效应的两倍，存在系统性高估（systematic overestimation）
Fig. 1 展示了 LLM 预测处理效应与原始处理效应的对应关系，也比较了不同模型和研究子集的相关性。模型能分出较大和较小效应，但原始尺度需要重新校准发现二：未公开研究中仍有高相关，但训练数据泄漏不能完全排除
对 GPT-4 训练数据截止前未发表或未公开的研究，模型预测仍保持高相关；截至 2025 年 6 月仍未发表的研究也呈现类似模式。这让“模型只是记住已发表结果”的解释变弱了
Fig. 1 的稳健性分析显示，未公开或较晚公开研究子集仍有较高预测相关。这说明 LLM 对新实验效应含有预测信息，但不能证明训练数据影响为零发现三：在 megastudies 中表现下降，但与专家预测量级相近
在 15 个 megastudies 的 606 个效应中，LLM 预测与真实效应的总体相关降至 r = 0.39、r_adj = 0.48，低于主要调查实验档案。它表现较好的场景仍然是文本处理和调查结果；遇到非文本处理、现场行为结果和小效应时，预测难度明显上升
Fig. 2 比较了 LLM 与专家预测在 megastudies 中的相关性。LLM 可以作为额外预测来源，但它的适用范围受实验材料和结果类型限制发现四：校准后有辅助价值，也带来偏差和误用风险
重新校准后，LLM 预测可以辅助 pilot testing、识别可能需要复制的效应，并小幅提升专家选择干预的表现。但问题也很清楚：模型在部分群体上的准确性有小差异，对 white 和 Republican 样本更有利；疫苗相关 Facebook 帖子的分析还显示，模型可能被用来筛选会降低接种意愿的内容
Fig. 3 展示了 pilot testing、复制筛查、专家增强选择和社会科学家使用意愿。潜在科研用途、校准要求、偏差和误用边界，都被放在同一组证据里讨论
省流总结
这篇 Nature 正刊论文显示，LLM 对美国文本型社会科学调查实验的处理效应排序有较强预测力；到了 megastudies，表现变弱，但仍有补充价值。它不能替代真人实验：绝对效应会被系统性高估，适用范围有限，还伴随偏差、复现性和有害使用风险
分享人：天天
审核：PsyBrain 脑心前沿编辑部
你好，这里是「PsyBrain 脑心前沿」
专注追踪全球认知神经科学的最尖端突破
视野直击 Nature, Science, Cell 正刊 及核心子刊与顶级大刊
每日速递「深度解读」与「前沿快讯」
科研是一场探索未知的长跑，但你无需独行。欢迎加入PsyBrain 学术社群，和一群懂你的同行，共同丈量脑与心智的无垠前沿。
点击卡片进群，欢迎你的到来
一键关注，点亮星标 ⭐ 前沿不走丢！
一键分享，让更多人了解前沿
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
