维基百科评论毒性分类数据集WikipediaCommentsToxicityClassification-shivanshhingve

维基百科评论毒性分类数据集WikipediaCommentsToxicityClassification-shivanshhingve

数据来源:互联网公开数据

标签:文本分类, 毒性检测, 自然语言处理, 情感分析, 机器学习, 评论分析, 负面内容识别, 数据标注

数据概述: 该数据集包含来自维基百科评论的数据,记录了用户评论文本及其毒性标签。主要特征如下: 时间跨度:数据未标明具体时间,可视为静态语料数据集使用。 地理范围:数据来源于维基百科平台,覆盖全球范围内的用户评论。 数据维度:包括“id”(评论唯一标识符)、“comment_text”(评论文本)以及六个毒性类别标签,分别为“toxic”(毒性)、“severe_toxic”(严重毒性)、“obscene”(猥亵)、“threat”(威胁)、“insult”(侮辱)、“identity_hate”(身份歧视)。其中,test_labels.csv文件中的标签值包括-1和0,-1表示该评论未被标注,0表示该评论未被标记为该类毒性。 数据格式:CSV格式,包含train.csv(训练集)、test.csv(测试集)、test_labels.csv(测试集标签,部分标签缺失)和sample_submission.csv(提交样例)四个文件,便于数据分析和模型构建。 数据来源:数据来源于维基百科评论,已进行匿名化处理和毒性标签标注。 该数据集适合用于文本分类、情感分析和负面内容识别研究。

数据用途概述: 该数据集具有广泛的应用潜力,特别适用于以下场景: 研究与分析:适用于自然语言处理、情感分析与社会计算领域的学术研究,如多标签文本分类、毒性评论检测、用户行为分析等。 行业应用:为社交媒体平台、在线论坛、评论区等提供数据支持,用于内容审核、恶意言论过滤、用户体验优化等方面。 决策支持:支持内容安全策略的制定,辅助平台识别和处理有害言论,维护社区环境。 教育和培训:作为自然语言处理、机器学习课程的实训数据,用于学生训练模型、理解文本分类任务。 此数据集特别适合用于探索不同毒性类型的评论特征,构建多标签分类模型,并评估模型在识别恶意内容方面的性能,从而帮助改善网络环境。

packageimg

数据与资源

附加信息

字段
版本 1.0
数据集大小 52.84 MiB
最后更新 2025年5月7日
创建于 2025年5月7日
声明 当前数据集部分源数据来源于公开互联网,如果有侵权,请24小时联系删除(400-600-6816)。