数据集概述
本数据集包含多个大型语言模型（LLMs）与Cochrane RCT分类器对生物医学摘要进行随机对照试验（RCT）或非RCT分类的评估结果，基于PubMed检索的2252篇血栓切除术相关文章，经人工标注建立金标准，记录各模型的分类决策及理由。
文件详解
- 文件名称: Final_evaluation.xlsx
- 文件格式: Excel (.xlsx)
- 字段映射:
- Title: 文章标题
- Abstract: 文章摘要
- Gold_Standard: 人工共识标注（1=RCT，0=非RCT）
- Cochrane_decision: Cochrane RCT分类器输出（1=可能RCT，0=非RCT）
- 模型决策字段: 含GPT_4.1、Llama_4_Maverick等6个模型的分类结果（1=Include，0=Exclude）及对应理由字段（Reason）
适用场景
- 自然语言处理研究: 评估不同LLM在生物医学文本分类任务中的性能
- 循证医学工具开发: 对比自动分类模型与传统Cochrane分类器的效果差异
- 医学文献筛选: 优化RCT文献自动化识别流程
- 模型基准测试: 为生物医学领域RCT分类模型提供标准化评估数据集
