文本内容有害性检测数据集TextContentToxicityDetection-pibborn
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 自然语言处理, 机器学习, 情感分析, 评论分析, 语料库, Jigsaw
数据概述:
该数据集包含来自Jigsaw数据集的文本评论,用于训练和评估文本内容有害性检测模型。主要特征如下:
时间跨度:数据未明确标注时间范围,可视为静态语料库。
地理范围:数据来源于互联网,评论内容涉及全球范围。
数据维度:数据集包括评论文本(comment_text)以及六个类别的标签:toxic(毒性)、severe_toxic(严重毒性)、obscene(猥亵)、threat(威胁)、insult(侮辱)、identity_hate(仇恨言论)。标签值为-1表示未标注,1表示标注为对应类别。
数据格式:包含CSV和JSON格式,CSV文件提供了结构化的评论文本和标签数据,JSON文件包含模型配置信息。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、情感分析、文本分类等领域的学术研究,如有害言论检测、情感极性分析、偏见分析等。
行业应用:为社交媒体平台、在线论坛、评论区等提供内容审核和过滤的数据支持,用于识别和过滤有害言论,维护社区环境。
决策支持:支持内容安全策略的制定,帮助平台优化内容审核机制,提升用户体验。
教育和培训:作为自然语言处理、机器学习相关课程的实训素材,帮助学生和研究人员理解有害文本检测技术。
此数据集特别适合用于构建和评估文本内容有害性检测模型,帮助用户实现自动化的内容审核和风险管理,提升内容平台的安全性和用户体验。