科学文献与检索增强语言模型的综合科学进步依赖于研究者综合日益增长的文献体系的能力。大型语言模型（LLMs）能否协助科学家完成这项任务？这里我们介绍OpenScholar，一种专门的检索增强语言模型（LM）1它通过从4500万篇开放获取论文中识别相关段落并综合引用支持的回答，回答科学问题。为了评估OpenScholar，我们开发了ScholarQABench，这是首个大规模多领域文献检索基准测试，包含2967条专家撰写查询和208条长文答案，涵盖计算机科学、物理学、神经科学和生物医学。尽管是一个较小的开放模型，OpenScholar-8B在新推出的多篇论文综合任务中，正确性比GPT-4o高出6.1%，比PaperQA2高出5.5%。尽管GPT-4o有78%到90%的时间会出现引用幻觉，OpenScholar却实现了与人类专家相当的引用准确率。OpenScholar的数据存储、检索器和自反馈推理循环改进了现成的LM：例如，OpenScholar-GPT-4o将GPT-4o的正确性提高了12%。在人类评估中，专家分别以51%和70%的比例偏好OpenScholar-8B和OpenScholar-GPT-4o的回答而非专家撰写的回答，而GPT-4o为32%。我们开源所有工件，包括代码、模型、数据存储、数据集和公开演示。类似内容被他人观看一个大型语言模型流程，用于跨工程期刊四分位数自动评分引用质量，并配备专家验证文章 开放获取 2026年7月3日评估大型语言模型与人类研究人员在现实复杂医疗查询中的表现文章 开放获取 2025年10月29日SciQA 科学问答的学术知识基准文章 开放获取 2023年5月4日主要角色综合科学文献知识对于发现新方向、完善方法论和支持循证决策至关重要，然而出版物的快速增长使研究人员保持信息更新变得越来越困难。有效的综合需要精确检索、准确归属以及获取最新文献。大型语言模型（LLM）可以辅助，但会有幻觉 2,3，过时的预训练数据4以及有限的署名。在我们的实验中，GPT-4o在被要求引用计算机科学和生物医学等领域最新文献时，有78%至90%的案例伪造了引用。回收增强登月舱 5,6,7通过在推理时融入外部知识来缓解部分问题，并鼓励了文献检索与综合系统8,9,10.然而，大多数应用依赖黑箱应用程序接口（API）或通用的LM，缺乏针对科学领域定制的开放、领域特定的检索数据存储（处理过的语料库和检索索引）。文献综合的评估也有限，通常聚焦于狭窄的单一学科研究 8,9或简化任务，如多项选择题答题10.为了应对准确、全面和透明的科学文献综合的挑战，我们引入了OpenScholar（见图）。据我们所知，这是首个专为科学研究任务设计的完全开放、反演增强登月舱。OpenScholar集成了领域专用数据存储（OpenScholar DataStore，OSDS）、自适应检索模块以及一种新的自反馈引导生成机制，实现了对长格式输出的迭代优化。OSDS是一个完全开放、最新的语料库，包含4500万篇科学论文和2.36亿条文章嵌入，为训练和推理提供了可重复的基础。OpenScholar 使用训练有素的检索器和重新排序器从OSDS检索，生成引用回应，并通过自反馈循环反复优化，以提升事实性、覆盖范围和引用准确性。同一流水线用于生成高质量的合成数据，使得训练紧凑的8B模型（OpenScholar-8B）和检索器成为可能，而无需依赖专有的LM。图1：OpenScholar、ScholarQABench及评估结果概述。图1：OpenScholar、ScholarQABench及评估结果概述。全尺寸图像顶部，OpenScholar概览。OpenScholar由专用数据存储（OSDS）、检索器和LM组成，并通过自反馈推断和检索方法迭代改进响应。中间，ScholarQABench概述。ScholarQABench包含2200条专家撰写的问题，涵盖多个科学领域，我们为ScholarQABench引入了自动和人工评估方案。底部、自动和人工评估结果：ScholarQABench计算机科学子集（Scholar-CS，100题）的实验结果显示，使用我们训练有素的8B或GPT-4o的OpenScholar在性能上远超其他系统，在人工评估中被优先选出超过50%的专家。我们的人类评估由16位拥有博士学位的专家进行，涵盖了Scholar-Multi的108个问题。为了评估OpenScholar，我们引入了ScholarQABench（见图）。据我们所知，这是开放式科学综合的首个多学科基准。与以往专注于短格式输出、多项选择题格式或领域推理任务的基准不同10,11,12， ScholarQABench 要求基于大量论文的最新文献进行长文回复。该报告包含3000个研究问题和250个专家撰写的答案，涵盖计算机科学、物理学、生物医学和神经科学领域，由经验丰富的博士生和博士后撰写，反映真实的文献综述实践。克服评估长篇、全面回答的困难13,14,15,16ScholarQABench 引入了一套严格的评估协议，结合自动指标（例如引用准确性）与基于人工评分标准的覆盖度、连贯性、写作质量和事实正确性评估，从而实现对 LM 详细长形式答案的可靠评估。我们的专家分析显示，所提多维评估流程高度符合专家判断，能够可靠地捕捉长篇科学答案中的覆盖范围、连贯性、写作质量和事实正确性。我们评估了带有和无检索功能的专有和开放模型（例如GPT-4o、Llama 3.1 8B和70B），以及如PaperQA2（参考文献）10），关于ScholarQABench。尽管GPT-4o整体表现强劲，但在引用准确性和覆盖度方面存在困难，经常产生不准确或不存在的引用。OpenScholar表现优于仅限LM和检索增强的流水线，超越了专有和开源系统。值得注意的是，使用完全开源检查点的 OpenScholar-8B 表现优于基于专有 LM 的 PaperQA2 和 Perplexity Pro 等生产系统，分别实现了 6% 和 10% 的提升。此外，OpenScholar使用更小、高效的检索器大幅降低了成本。OpenScholar 流水线还可以增强现成的 LM。例如，使用 GPT-4o 作为底层模型时，OpenScholar-GPT-4o 的正确性比单独 GPT-4o 提高了 12%。此外，尽管专家级人类表现优于GPT-4o及其他竞争基线，OpenScholar系统在答案正确性和引用准确性方面均可与甚至超越专家人类。我们的广泛评估展示了OpenScholar核心组件的重要性，包括重新排序、自我反馈和验证，以及结合多样化检索管道和训练领域专业检索系统的价值。除了在ScholarQABench上进行自动评估外，我们还与来自计算机科学、物理学和生物医学等领域的16位科学家进行了详细的专家评估。这些专家对OpenScholar的输出进行了两两且细粒度的评估，对108条专家撰写的ScholarQABench文献综合查询回答进行了评估。OpenScholar与GPT-4o及我们训练好的8B模型配合使用时，持续优于专家撰写的回答，胜率分别为70%和51%。相比之下，普通GPT-4o（即无检索功能）在信息覆盖方面表现不佳，且被评为不如人类专家，对人类回答的胜率仅为31%。总体来看，这些发现表明OpenScholar能够产出高质量的成果，不仅与专家撰写的答案相当，在某些情况下，尤其是在覆盖性和组织方面，甚至超越常规。我们还发布了首个由OpenScholar-8B支持的科学文献综合公开演示。自发布以来，该演示已被超过3万用户使用，收集了近9万条来自不同科学领域的查询。OpenScholar 在 ScholarQABench 上的表现我们首先概述了OpenScholar在我们新创建的专家注释基准测试ScholarQABench上的关键结果。表1显示了主要基线多个方面的得分。表1 ScholarQABench 结果全尺寸表格基线模型我们比较了三种环境。（1） 参数化 LM（不可检索）：Llama 3.1 8B/70B（参考文献）17）和GPT-4o（GPT-4o-2024-05-13，参考文献）18）） 生成答案和纸质标题列表。我们会核实这些标题的存在，并在出现时检索其摘要作为引用。（2） 检索增强生成（RAG）基线：使用我们的OSDS（RAG）OSDS），我们检索顶部N段，并将它们与输入串接，遵循标准RAG流水线2,18 .（3）我们的方法（OpenScholar）：一个自定义推理流水线，基于训练好的8B模型（OpenScholar-8B），并配合Llama 3.1 70B和GPT-4o后端（OpenScholar-70B、OpenScholar-GPT-4o）。对于多纸任务，我们也会测试 Perplexity Pro。我们使用付费订阅版本;由于没有API，我们通过selenium收集最终预测，无法提取引用，PaperQA2（参考文献）10).由于 PaperQA2 的数据存储不公开，我们使用 OSDS 作为检索来源。主要结果在单篇论文任务中，OpenScholar持续优于其他模型。OpenScholar-8B 和 OpenScholar-70B 在最终准确率和引用准确率方面均优于 Llama 3.1、8B 和 70B（表1）。OpenScholar-70B 在 PubMedQA 和 QASA 上甚至能匹敌甚至超过 GPT-4o。我们还发现，OpenScholar模型在引用准确率方面与标准RAG基线（RAG）相比，持续显示出显著提升OSDS).在多篇论文任务中，我们报告Scholar-CS评分标准——即模型回答满足的专家注释答案评分标准数量（参见评分细节方法）——作为正确性的主要衡量标准。我们还在Scholar-Multi上与LLM评判（“LLM”）一起评估整体写作质量，并跟踪所有数据集的引用准确性。OpenScholar-8B、OpenScholar-70B 和 OpenScholar-GPT-4o 分别采用 OpenScholar 流水线，配合我们精细调优的基于 Llama 3.1 8B 的 LM 和现成的 Llama 3.1 70B 和 GPT-4o 作为生成器，展现出强大的性能。具体来说，OpenScholar-GPT-4o 在 Scholar-CS 评分标准中比单独 GPT-4o 提升了 12.7 分，比标准 RAG 提升了 5.3 分。结合训练过的OpenScholar-8B，OpenScholar远远优于使用现成Llama 3.1 8B的流程，展示了领域特定训练的优势。此外，OpenScholar-8B在评分标准表现上远优于使用GPT-4o、Perplexity Pro或PaperQA2等专有系统进行文章重新排序、总结和答案生成。虽然我们发现PaperQA2在引用准确性上与OpenScholar相当甚至优于OpenScholar，但其回答往往仅依赖一篇或几篇论文，逐篇摘要总结。这导致覆盖范围有限，并导致其在Scholar-CS评分标准和LLM评审分数中的表现较低。这些发现凸显了在有效文献综合中平衡精确性和回忆性的重要性。值得注意的是，通过利用高效的检索流水线，包括轻量级双编码器、交叉编码器和内部模型，OpenScholar-8B 和 OpenScholar-GPT-4o 的成本远低于 PaperQA2 数量级，同时保持高性能。参数LM的局限性在单篇和多篇论文任务中，我们观察到非检索增强基线表现不佳——检索几乎总是有助于实现更好的表现——而无检索的模型常难以生成正确引用，且在多篇任务中覆盖有限。表2展示了四个模型输出中被引用论文的统计数据。我们通过使用 Semantic Scholar API 验证被引用论文标题是否存在，报告完全伪造的引用次数（“幻觉编号”）。在各个模型中，实际存在的被引用论文比例非常低：尽管参考文献列表看起来合理，但78%至98%的标题是伪造的，其中生物医学的比例最差。这与之前的发现相呼应，即大型语言模型会对长尾、代表性不足的知识产生幻觉2.19 我们认为，这种效应在开放网络中被覆盖的科学领域中得到了放大。对2025年8月发布的GPT-5重复分析，标题层面的幻觉降至39%，但虚假引用仍然常见。模型回应示例及论文标题列表可见于补充表19和20。我们还注意到，即使引用引用了真实论文，大多数引用也未被相应的摘要证实，导致引用准确率几乎为零。表2 计算机科学和生物医学领域幻觉论文的统计数据全尺寸表格我们还观察到，这些模型产生的反应覆盖范围有限。在Scholar-Multi模型中，非检索模型（Llama 3.1 8B、70B和GPT-4o）平均得分明显低于检索增强模型。这种差异主要由覆盖评分大幅降低所致;例如，Llama 3.1 8B的覆盖得分为3.45，而Llama 3.1 8B + OSDS（标准RAG基线）则将覆盖得分提升至4.01。这些结果表明，在科学领域，尤其是小型LM中，仅依赖模型的参数化知识尤其困难。ScholarQABench 上的人类表现我们还分析了专家在这一具有挑战性的文献综合任务中的表现。具体来说，我们评估了ScholarQABench中两个带有长形式人类注释的子集：Scholar-CS和Scholar-Multi的人工回答。对于两者，我们都采用了与模型生成回答相同的评估流程来评估评分标准和引用准确性。对于Scholar-Multi，无法提供评分标准评估，但我们对人类和模型的反应进行了专家评估，并在下一节对结果进行比较。表3比较了人类与OpenScholar-GPT-4o、OpenScholar-8B、PaperQA2和GPT-4o（无检索）的表现。我们的分析显示，人类书写的答案仍然是质量和相关性的坚实基准。基于评分标准的评估中，人类反应比未检索的GPT-4o高出9.6分，OpenScholar-8B高出2.9分。PaperQA2 显示出较高的引用准确率，但其评分标准、组织、覆盖性和相关性得分较低。相比之下，OpenScholar-GPT-4o 的评分标准评分甚至高于人类专家，OpenScholar-8B 则能达到专家级别的引用准确率。我们发现OpenScholar的回答往往比人类或其他基线系统更为全面，引用的论文数量更多，这反映在答案长度和引用次数上。在补充信息第6部分，我们详细分析了模型和人类写作答案，并进一步探讨提升科学文献综合的关键因素。表3 专家撰写答案统计全尺寸表格消融与分析推理分量的消融我们通过去除以下方式来消融推断成分：（1）重新排序（仅使用N个OSDS的最高结果）;（2）反馈（生成一次，然后归属）;以及（3）引用验证（省略最终核查）。对于OpenScholar-8B，我们还通过替换现成的Llama 3.1 8B，使用相同的推理流水线（与OpenScholar-GPT-4o相同）来削弱训练。扩展数据表2显示，所有删除的正确性和引用准确性均有显著下降，其中移除重新排序导致的损失最大。反馈删除对GPT-4o的伤害比我们训练过的8B更严重（可能是因为后者在训练中学会了反馈模式），而跳过事后归属会降低引用准确性和最终正确性。经过培训的 OpenScholar-8B 与原版 OpenScholar-8B 之间的差距凸显了领域特定培训的价值。回收消融我们还比较了仅OSDS（密集检索）、仅S2（语义学者关键词API）、仅网页（You.com）及其组合。为了隔离检索，我们使用8B级的LM，不进行自我反馈或引用验证，并用OpenScholar重新排序器重新排名到前15名。在Scholar-CS（扩展数据表2）中，纯网页表现最差（45.9正确，12.6引用F1），仅S2表现尤佳（47.9/39.1），合并流程最佳（49.6/47.6）。定制化、以文献为中心的检索（密集 + API + 重新排序）能带来最强的事实性和归属性。我们分析检索通道数量（顶部N）如何影响表现。我们将标准RAG和OpenScholar与训练好的8B模型和Llama 3.1 8B进行比较，评估Scholar-CS上的生成和引用准确率。扩展数据图。3和4总结了结果。尽管 Llama 3.1 被训练为接受最多 128,000 个令牌，但其性能在一定上下文大小后会下降：将最高 N 从 5 增加到 10 会提升正确性，但较大的 N 会损害正确性和引用准确性。这表明，尽管具备长上下文能力，较小的LM在没有专业培训的情况下可能难以有效使用许多段落。相比之下，我们训练好的8B模型在N=20下依然强劲，而更大的模型（例如Llama 3.1 70B）对更长上下文更为稳健。OpenCholar有效性的专家评估为了补充自动指标并分析OpenScholar的优势与局限性，我们进行了专家评估，比较了人类写出的答案与大型语言模型系统生成的答案。该研究涉及100多个文献综述问题，参与者超过15人，包括博士生、研究科学家和具有相关领域专业知识的大学教授。我们总共策划了400多篇专家细致评估，涵盖专家和模型答案。评估设计我们使用Scholar-Multi的108对问答（QA），由专家（专家写手）编写。我们对这些问题评估了三种设置：GPT-4o（无外部检索）、以GPT-4o为生成器的OpenScholar（OpenScholar-GPT-4o）和使用训练好的8B模型（OpenScholar-8B）的OpenScholar，每种都生成带有引用的答案。随后，我们招募了一组博士级领域专家，将模型生成的答案与专家撰写的答案进行比较。特别是，每次评估都包括提出一个问题、一个模型生成的答案和一个人工书写的答案。专家评级员随后对每个答案进行细致评估，并对两者进行成对偏好判断。对于细致评估，我们使用方法中描述的五个评分标准（覆盖范围、相关性和组织），注释者使用相同的评分标准对模型和人工答案进行评分。详细提示见补充信息第6节。为了实用性，标注者会以1到5的评分等级分配，我们将这些分数分为三类：无用（1,2）、中性（3）和有用（4,5）。然后我们计算出符合有用类别的答案比例。在两对偏好中，注释者要么选择其中一个答案，要么如果判断两个答案质量相同，则标记为“平局”。专家也可以选择性地解释为什么某个答案比另一个更好。专家作家的详细信息我们的问答写作专家是来自美国各地研究机构的12名博士生和博士后研究员，他们均具备至少三年的研究经验，并在各自领域的期刊或会议上发表过多篇论文。我们的作者涵盖的专家领域包括计算机科学（自然语言处理、计算机视觉、人机交互）、物理学（天体物理学、光子学/光学）和生物医学（神经科学、生物影像）领域，我们会根据自己的专业领域分配专家注释员解答问题。平均每人支付35至40美元。专家评级员详情来自三个领域的16位专家评审员参与了我们的评估，其中12人还参与了答案生成。所有专家评审员都符合与回答者相同的资格。为减少潜在偏差，我们确保评审员不自行评估对自己问题的回答，将评估任务分配给不同的专家组。每个实例由一到三名专家评审员审查，视情况而定。标注者间一致在与平局的两两比较时为0.68，采用宽松方法（合并平局）为0.70。平均而言，每位专家评审员每次评估时间为五分钟，薪酬在25至35美元之间。专家评估结果整体结果表4展示了各评估方面的平均得分，以及与人类反应的相对胜率。扩展数据图。5展示了人类、GPT-4o和OpenScholar（使用Llama 3.1 8B和GPT-4o）的得分分布。值得注意的是，OpenScholar-GPT-4o 和我们的 OpenScholar-8B 版本在超过 50% 的情况下都优于人类答案，其优势主要归因于能够提供更广度和更深度的信息（覆盖范围）。相比之下，缺乏检索能力的GPT-4o覆盖范围极为有限，且在不到35%的情况下获胜，其整体实用性远低于人类及其他两个模型的响应。这些结果表明，即使是最先进的模型，综合和回答科学文献综述问题仍然是一项具有挑战性的任务，这与我们在ScholarQABench上的发现一致。总体而言，OpenScholar-GPT-4o 和 OpenScholar-8B 分别在 80% 和 72% 的查询中被评为有用。表4 专家评审对专家作者和文献综合回答的评价全尺寸表格尽管OpenScholar使用开放8B语言学习模块的性能已超过人类专家，但8B模型的输出被认为不如当前最先进的基于大型语言模型的私有OpenScholar，缺乏组织性和流畅性。我们发现，GPT-4o更有效地整合反馈，且往往能产生更长更流畅的输出，导致组织得分远高于OpenScholar-8B和人类的回答。长度控制对模型响应的影响虽然我们发现模型输出通常比专家写作的更受青睐，但一个潜在的混杂因素是它们输出长度的巨大差异——OpenScholar-GPT-4o和OpenScholar-8B分别比专家写的回答长2.4倍和2.0倍，这影响了判断20.为了理解输出长度的影响，我们进行了一项受控实验。对于随机抽样的50个问题，我们通过提示GPT-4o生成少于300字的回答摘要，生成简化的回答。这导致OpenScholar的回答平均约333个单词，接近人类回答的平均长度。然后我们重复对人类的评估，考虑细致反应和整体反应。简短版GPT-4o平均得分为4.5分的组织性，4.6分的覆盖度，4.6分的相关性。75%的问题中，OpenScholar-GPT-4o的简短回答被优先考虑或与专家回答持平。实验结果表明，模型的优越性能不仅仅因为OpenScholar答案的长度增加。此外，人工注释者的解释常提到，缩短版的OpenScholar和人工答案都可以通过加入更多细节来改进，这意味着300字的限制可能会限制答案的实用性。对人类对成对判断解释的分析我们随机抽样了59个以自由形式解释成对偏好的实例，并进行人工分析以识别影响整体偏好的因素。具体来说，我们考察了解释是否涉及以下四个类别中的一个或多个：组织、相关性、覆盖范围和引用。虽然前三类符合细致的人类评估标准，但引用类别还考虑被引用论文的质量（例如，系统是否包含该领域的开创性论文）。我们的分析（补充信息表27）显示，12%、23%、29%和9%的解释分别引用了组织、相关性、覆盖率和引用准确性作为成对决策的关键因素。这表明覆盖率在人类评估回答质量中起着关键作用，注释者大多偏好模型生成的答案，以获得更广泛的覆盖性和信息深度。然而，注释者也指出模型提供的引用还有改进空间，指出建议的论文有时过时或不如更具代表性的相关性。讨论为了进一步研究基于LM的系统，帮助科学家应对复杂且不断增长的科学文献综述任务，我们引入了OpenScholar和ScholarQABench。OpenScholar是首个完全开放的检索增强系统，利用开权重大语言模型和训练有素的检索模型，迭代优化科学成果，解决了幻觉和引用准确性等挑战。ScholarQABench 是一个新的大型基准，提供了一种标准化的方法来评估多个科学领域的文献综述自动化。在使用 ScholarQABench 的评估中，OpenScholar 展示了显著的改进，优于现有系统如 GPT-4o 及同时使用的专有系统 PaperQA2。我们在三个科学领域的专家评估显示，OpenScholar生成的答案比专家标注员每个注释者需要一小时的回答更有用。具体来说，OpenScholar使用我们训练好的8B和GPT-4o，分别在面对人工生成答案时达到了51%和70%的胜率。我们将OpenScholar代码、数据、模型检查点、数据存储和ScholarQABench开源，并提供公开演示，以支持并加速未来的研究工作。我们的公开演示已吸引了来自不同科学学科的3万多名用户参与。未来的工作可以通过整合该平台的用户反馈，进一步提升检索质量、引用准确性并优化整体可用性。