维基百科评论文本毒性检测数据集WikipediaCommentTextToxicityDetection-abhisekseth
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 情感分析, 自然语言处理, 机器学习, 负面评论, 维基百科, 数据标注
数据概述:
该数据集包含来自维基百科评论区的文本数据,旨在用于识别和分类评论文本中的毒性内容。主要特征如下:
时间跨度:数据未标明具体时间,可视为一个静态的评论文本集合。
地理范围:数据来源于维基百科平台,涉及全球范围内的用户评论。
数据维度:数据集包含两个主要的CSV文件:train.csv和test.csv。
train.csv包括评论ID (id),评论文本 (comment_text),以及六个毒性类别标签:toxic(毒性), severe_toxic(严重毒性), obscene(猥亵), threat(威胁), insult(侮辱), identity_hate(身份歧视)。
test.csv包含评论ID (id) 和评论文本 (comment_text)。
数据格式:CSV格式,分别命名为train.csv和test.csv,便于文本处理和模型训练。
来源信息:数据来源于维基百科评论,经过匿名处理和标注。
该数据集特别适合用于毒性文本检测、情感分析和自然语言处理研究。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、文本挖掘、情感分析等领域的学术研究,例如恶意文本检测、情感分类、偏见分析等。
行业应用:为社交媒体平台、论坛、评论区等提供数据支持,用于构建内容审核系统、用户行为分析、社区健康管理等。
决策支持:支持平台方进行内容管理、用户行为分析和风险评估,从而优化用户体验、维护社区秩序。
教育和培训:作为自然语言处理、机器学习、文本分类等课程的实训数据,帮助学生和研究人员深入理解毒性文本识别和情感分析。
此数据集特别适合用于探索不同毒性类型的文本特征,构建和评估文本分类模型,从而提升对网络不良内容的识别和处理能力。