多语言仇恨言论检测数据集MultilingualHateSpeechDetectionDataset-ibtesama

多语言仇恨言论检测数据集MultilingualHateSpeechDetectionDataset-ibtesama

数据来源:互联网公开数据

标签:仇恨言论, 文本分类, 多语言, 社交媒体, 情感分析, 数据标注, 机器学习, 自然语言处理

数据概述: 该数据集包含来自多个社交媒体平台的多语言文本数据,记录了不同语言环境下仇恨言论的示例,旨在用于仇恨言论的检测与分析。主要特征如下: 时间跨度:数据集未明确标注时间范围,可视为静态语料库。 地理范围:数据涵盖多种语言,包括葡萄牙语、意大利语、西班牙语、英语、法语等,反映了全球范围内的仇恨言论现象。 数据维度:数据集包含文本内容(text)以及关于仇恨言论的标注信息,如hatespeech_comb(综合仇恨言论标注)、hatespeech_G1/G2/G3(不同标注者对仇恨言论的判断)和annotator_G1/G2/G3(标注者身份)。 数据格式:数据集包含多种格式,包括CSV、TSV和TXT文件,其中CSV文件包含结构化数据,便于分析和处理。 来源信息:数据来源于社交媒体平台,并经过人工标注,以识别和标记仇恨言论。 该数据集适合用于仇恨言论检测、情感分析、多语言文本分类等研究,以及相关机器学习模型的训练。

数据用途概述: 该数据集具有广泛的应用潜力,特别适用于以下场景: 研究与分析:适用于自然语言处理、社会计算等领域的学术研究,如仇恨言论检测算法的开发、跨语言仇恨言论分析、标注者一致性分析等。 行业应用:可为社交媒体平台、内容审核公司等提供数据支持,用于构建自动化的仇恨言论检测系统,维护健康的在线社区环境。 决策支持:支持政府机构、非营利组织等进行社会舆情分析,监测和应对网络仇恨言论,促进社会和谐。 教育和培训:作为人工智能、自然语言处理等相关课程的辅助材料,帮助学生和研究人员理解和实践仇恨言论检测技术。 此数据集特别适合用于探索不同语言环境下仇恨言论的特征和模式,以及评估不同标注方法对仇恨言论识别的影响,从而提升仇恨言论检测的准确性和效率。

packageimg

数据与资源

附加信息

字段
版本 1.0
数据集大小 1.41 MiB
最后更新 2025年5月1日
创建于 2025年5月1日
声明 当前数据集部分源数据来源于公开互联网,如果有侵权,请24小时联系删除(400-600-6816)。