数据集概述
该数据集为2021年Touché争议性问题论点检索任务的数据,包含主题文件、任务说明文档、结果数据文件、评估标准文件及参与团队提交的运行文件等,支持论点检索任务的研究与分析。
文件详解
- 任务主题文件(.zip 格式):
- topics-task-1-2020.zip:2020年任务1的主题压缩文件
- topics-task-1-only-titles-2021.zip:2021年任务1仅含标题的主题压缩文件
- touche2021-task1-runs.zip:2021年任务1参与团队提交的运行文件压缩包
- 任务说明文档(.md 格式):
- 2021-task-1-annotation-instruction.md:2021年任务1的标注说明文档
- 结果数据文件(.csv 格式):
- task1_quality_results_full.csv:任务1质量评估结果完整数据,字段包括Team(团队)、Tag(标签)、Topic(主题)、nDCG@5(评估指标)
- task1_relevance_results_full.csv:任务1相关性评估结果完整数据,字段包括Team(团队)、Tag(标签)、Topic(主题)、nDCG@5(评估指标)
- 评估标准文件(.qrels 格式):
- touche-task1-51-100-relevance.qrels:任务1第51-100题的相关性评估标准文件
- touche-task1-51-100-quality.qrels:任务1第51-100题的质量评估标准文件
- 结果报告文件(.html 格式):
- task1_relevance_results_all.html:任务1所有相关性评估结果的HTML报告
- task1_quality_results_all.html:任务1所有质量评估结果的HTML报告
适用场景
- 信息检索研究:用于争议性问题论点检索算法的开发与评估
- 自然语言处理研究:支持论点挖掘、文本相关性分析等任务
- 评估方法研究:分析nDCG@5等评估指标在论点检索任务中的应用效果
- 竞赛任务复现:复现Touché2021争议性问题论点检索任务的实验结果