数据集概述
本数据集是经过精心整理的现有信息检索数据集集合，适用于基于大型语言模型（LLM）的系统评估。包含DORIS-MAE、ArguAna、WhatThatBook、Clinical-Trial和RELIC五个子数据集，每个子数据集均包含查询文本、语料库文本及查询相关性评分，支持LLM系统的检索性能评估。
文件详解
- 文件名称：
BIRCO_dataset.json
- 文件格式：JSON
- 字段映射介绍：文件包含五个子数据集（doris-mae、arguana、wtb、clinical-trial、relic），每个子数据集结构如下：
- "query"：包含多个查询文本，以query_id为键，查询文本为值（如doris-mae含60条查询）
- "corpus"：包含多个语料文本，以corpus_id为键，语料文本为值（如doris-mae含5543条论文摘要）
- "qrel"：包含查询与语料的相关性评分，以query_id为键，corpus_id和对应的0-2分之间的相关性评分为值（如doris-mae平均候选池大小为110.55）
适用场景
- LLM检索系统性能评估: 用于测试和比较不同LLM系统在信息检索任务中的准确性和效率。
- 信息检索模型优化: 基于数据集的查询相关性评分，优化检索模型的排序和匹配算法。
- 跨领域检索研究: 分析不同领域（科学文献、论证、图书、临床试验、文学）的检索特性和挑战。
- 相关性评分机制研究: 探索不同领域中相关性评分的标准和应用效果。
