数据集概述
本数据集围绕“中文耳语”游戏概念构建，记录受试者互相指导组装宜家家具的过程，收集了语音、眼动、手势、物体运动及主观理解等多模态数据，共34组交互，为情境对话中的多模态信号研究提供支持。
文件详解
该数据集包含11个文件，具体说明如下：
- 文档文件：
- EULA.pdf：PDF格式，可能为最终用户许可协议
- 数据文件：
- rec20_speech.csv：CSV格式，包含语音数据，字段有时间、强度、13维MFCC特征、基频及基频强度
- rec20_mocap.csv：CSV格式，动作捕捉数据，包含格式版本、帧率、捕获时间等元信息
- subjective.csv：CSV格式，主观评价数据，涉及相互理解、协作及任务回忆等维度
- rec20_annotation.csv：CSV格式，标注数据文件
- rec20_gaze_instructor.json：JSON格式，指导者眼动数据
- rec20_gaze_builder.json：JSON格式，组装者眼动数据
- 图片文件：
- steps.png、study.png、elan.png、interactions.png：PNG格式，共4个图片文件，可能为研究流程、界面或交互示意图
适用场景
- 情境对话研究：分析多模态信号在实时对话中的协同作用
- 指称交际研究：探究语言接地过程中语音、手势与眼动的关联机制
- 协作行为分析：研究组装任务中协作双方的互动模式与理解差异
- 具身语言研究：验证语言接地理论在实际操作场景中的应用效果
- 人机交互设计：为多模态交互系统开发提供真实场景数据支撑
