文本内容有害性检测数据集TextContentToxicityDetection-pibborn

文本内容有害性检测数据集TextContentToxicityDetection-pibborn

数据来源:互联网公开数据

标签:文本分类, 毒性检测, 自然语言处理, 机器学习, 情感分析, 评论分析, 语料库, Jigsaw

数据概述: 该数据集包含来自Jigsaw数据集的文本评论,用于训练和评估文本内容有害性检测模型。主要特征如下: 时间跨度:数据未明确标注时间范围,可视为静态语料库。 地理范围:数据来源于互联网,评论内容涉及全球范围。 数据维度:数据集包括评论文本(comment_text)以及六个类别的标签:toxic(毒性)、severe_toxic(严重毒性)、obscene(猥亵)、threat(威胁)、insult(侮辱)、identity_hate(仇恨言论)。标签值为-1表示未标注,1表示标注为对应类别。 数据格式:包含CSV和JSON格式,CSV文件提供了结构化的评论文本和标签数据,JSON文件包含模型配置信息。

数据用途概述: 该数据集具有广泛的应用潜力,特别适用于以下场景: 研究与分析:适用于自然语言处理、情感分析、文本分类等领域的学术研究,如有害言论检测、情感极性分析、偏见分析等。 行业应用:为社交媒体平台、在线论坛、评论区等提供内容审核和过滤的数据支持,用于识别和过滤有害言论,维护社区环境。 决策支持:支持内容安全策略的制定,帮助平台优化内容审核机制,提升用户体验。 教育和培训:作为自然语言处理、机器学习相关课程的实训素材,帮助学生和研究人员理解有害文本检测技术。 此数据集特别适合用于构建和评估文本内容有害性检测模型,帮助用户实现自动化的内容审核和风险管理,提升内容平台的安全性和用户体验。

packageimg

数据与资源

附加信息

字段
版本 1.0
数据集大小 443.12 MiB
最后更新 2025年5月19日
创建于 2025年5月19日
声明 当前数据集部分源数据来源于公开互联网,如果有侵权,请24小时联系删除(400-600-6816)。