互联网评论文本毒性检测数据集ToxicCommentClassificationDataset-muskaansharma1308
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 情感分析, 恶意评论, 自然语言处理, 机器学习, 负面情绪, 数据标注
数据概述:
该数据集包含来自维基百科评论的文本数据,记录了不同评论的毒性程度,用于训练和评估文本毒性检测模型。主要特征如下:
时间跨度:数据未标明具体时间,通常被视为静态数据集。
地理范围:数据来源于维基百科,覆盖全球范围内的用户评论。
数据维度:数据集包括“id”(评论的唯一标识符)、“comment_text”(评论文本)以及六个毒性类别标签:“toxic”(毒性)、“severe_toxic”(严重毒性)、“obscene”(猥亵)、“threat”(威胁)、“insult”(侮辱)和“identity_hate”(身份歧视)。其中,test_labels.csv中标签值为-1表示未标注的评论。
数据格式:数据以CSV格式提供,包含train.csv(训练集)、test.csv(测试集)、test_labels.csv(测试集标签)和sample_submission.csv(提交样本)。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、情感分析、文本分类等领域的研究,如恶意评论检测、情感极性分析等。
行业应用:为社交媒体平台、在线论坛、评论系统等提供数据支持,用于识别和过滤有害评论,维护社区秩序。
决策支持:支持内容审核、舆情监控等相关决策制定,帮助企业和组织维护品牌声誉。
教育和培训:作为自然语言处理、机器学习等课程的实训材料,帮助学生和研究人员理解文本分类任务。
此数据集特别适合用于训练文本分类模型,识别评论中的毒性内容,从而实现对在线内容的有效管理和过滤,提升用户体验,维护健康的网络环境。