多语言评论文本毒性检测数据集MultilingualCommentTextToxicityDetection-anthonynama

多语言评论文本毒性检测数据集MultilingualCommentTextToxicityDetection-anthonynama

数据来源:互联网公开数据

标签:文本分类, 毒性检测, 多语言, 情感分析, 机器学习, 自然语言处理, 社交媒体, 数据标注

数据概述: 该数据集包含来自多个语言的评论文本数据,旨在用于毒性检测任务。主要特征如下: 时间跨度:数据未标明具体时间,视作静态语料数据集使用。 地理范围:数据来源未明确,但包含了西班牙语(es)、意大利语(it)、土耳其语(tr)等多种语言的评论文本。 数据维度:数据集包含以下字段: id:评论的唯一标识符。 comment_text:评论文本内容。 lang:评论文本的语言代码(例如,es代表西班牙语)。 toxic:评论文本的毒性标签,0表示无毒,1表示有毒。 language:在train.csv中,表示评论文本的语言。 score:在train.csv中,表示毒性评分。 数据格式:CSV格式,包含train.csv, validation.csv, test.csv三个文件,分别用于训练、验证和测试。

数据用途概述: 该数据集具有广泛的应用潜力,特别适用于以下场景: 研究与分析:适用于自然语言处理、情感分析、文本分类等领域的学术研究,例如跨语言毒性检测、多语言情感分析模型的构建等。 行业应用:可用于社交媒体平台、在线论坛、评论区等场景的毒性内容检测与过滤,以及用户行为分析。 决策支持:支持内容审核策略的制定,帮助平台维护健康的社区环境。 教育和培训:作为自然语言处理、机器学习课程的实训数据,帮助学生和研究人员理解和实践文本分类任务。 此数据集特别适合用于探索跨语言文本的毒性识别方法,评估不同语言环境下模型的泛化能力,并提升毒性检测的准确性和效率。

packageimg

数据与资源

附加信息

字段
版本 1.0
数据集大小 69.45 MiB
最后更新 2025年5月9日
创建于 2025年5月9日
声明 当前数据集部分源数据来源于公开互联网,如果有侵权,请24小时联系删除(400-600-6816)。