面对面互动中语音驱动的注视数据集

数据集概述

本数据集包含面对面互动场景下,语音驱动注视行为的原始数据与预处理文件,支持统计分析与计算模型训练。数据按功能分类存储,各文件夹配有说明文档,整体覆盖注视数据、语音分析、对话行为等多维度信息。

文件详解

该数据集按功能划分为两大核心目录,具体如下: - 计算模型相关文件(ComputationalModel/ 目录): - ModelandWeights/:包含ResNet模型文件(如SA.json、SA.h5、DA.json、DA.h5)及对应说明文档,模型基于ISO 24617-2标准对话行为或语音标签数据训练 - DataFilesofTraining/:含训练用时间序列数据文件(如TimeSeriesLearningData_OrderedByInterviewers_*.txt),分SpeechTags和DialogueActs子目录存储 - 统计分析相关文件(StatiticalAnalysis/ 目录): - GazeAnalysis/:含Tobii原始注视数据(如Interviewee_Session1.xlsx)及清洗预处理后的数据,区分访谈者与被访谈者 - SpeechAnalysis/:含语音标签(.txt)、对话行为标注(.xlsx)、词区间数据(.txt)及Praat网格文件(.textgrid) - 说明文档:各子文件夹均配有readme.txt,详细说明文件内容与格式

适用场景

  • 人机交互研究:分析面对面互动中语音与注视行为的关联机制
  • 计算模型训练:用于训练语音驱动的注视预测模型
  • 社会心理学研究:探究对话场景下的非语言沟通模式
  • 语音与视觉多模态分析:开展跨模态数据融合与关联分析
packageimg

数据与资源

附加信息

字段
作者 Maxj
版本 1
数据集大小 29.73 MiB
最后更新 2025年11月28日
创建于 2025年11月28日
声明 当前数据集部分源数据来源于公开互联网,如果有侵权,请24小时联系删除(400-600-6816)。