数据集概述
本数据集包含用于评估大语言模型(LLM)处理西班牙语将来时态能力的测试问题,分为表义将来(100题)和认知将来(65题)两类场景,需模型在形态将来时和迂回将来时中选择正确选项。部分句子改编自西班牙皇家学院CREA语料库,同时提供17个不同公司模型的测试结果数据,共包含2个文件。
文件详解
- 文件名称:futures_dataset.xlsx
- 文件格式:XLSX
- 字段映射介绍:包含西班牙语将来时态测试问题,分为表义将来(100题,两选项均正确)和认知将来(65题,仅形态将来时正确)两类场景,需LLM选择合适的将来时形式。
- 文件名称:futures_results.xlsx
- 文件格式:XLSX
- 字段映射介绍:包含17个不同公司LLM模型的测试结果,涉及Google、Anthropic、Meta、DeepSeek、Mistral、Qwen、OpenAI等品牌的模型,记录各模型在两类将来时场景中的选择结果。
数据来源
Corpus de Referencia del Español Actual (CREA)语料库及改编内容
适用场景
- LLM西班牙语语法能力评估: 测试模型对西班牙语将来时态(形态vs迂回)的理解和选择能力。
- 自然语言处理模型对比研究: 分析不同公司、不同规模LLM在西班牙语语法任务中的性能差异。
- 语言学特征建模: 研究LLM对表义将来和认知将来两种语义场景的语法形式选择机制。
- 语言教育资源开发: 基于测试问题设计西班牙语将来时态学习和练习材料。