维基百科评论文本毒性分析数据集WikipediaCommentTextToxicityAnalysis-lalitshrotriya
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 情感分析, 自然语言处理, 机器学习, 恶意评论, 文本标注, 深度学习
数据概述:
该数据集包含来自维基百科的评论文本,记录了用户在维基百科页面上发表的评论内容,并标注了评论的毒性程度。主要特征如下:
时间跨度:数据未明确标注时间,可视为一个静态的文本语料库。
地理范围:数据来源于全球范围内的维基百科用户评论,具有广泛的地域覆盖。
数据维度:数据集包含多个字段:
id:评论的唯一标识符(部分评论可能缺失)。
comment_text:评论的文本内容。
toxic:评论是否具有毒性(1表示是,0表示否)。
severe_toxic:评论是否具有严重毒性(1表示是,0表示否)。
obscene:评论是否包含淫秽内容(1表示是,0表示否)。
threat:评论是否包含威胁内容(1表示是,0表示否)。
insult:评论是否包含侮辱性内容(1表示是,0表示否)。
identity_hate:评论是否包含针对特定身份的仇恨言论(1表示是,0表示否)。
数据格式:CSV格式,包含train_data_80.csv(训练集,80%数据)和test_data_20.csv(测试集,20%数据),便于数据分析和模型训练。
来源信息:数据来源于维基百科评论数据,并已进行标注处理。该数据集适合用于毒性评论检测、情感分析等研究。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、机器学习、文本挖掘等领域的研究,例如毒性检测模型的构建与评估、情感分析、恶意评论识别等。
行业应用:为社交媒体平台、在线论坛、评论系统等提供数据支持,用于自动识别和过滤有害言论,维护社区环境。
决策支持:支持内容审核团队的工作,帮助他们更有效地识别和处理有害内容。
教育和培训:作为自然语言处理、机器学习等课程的实训数据,帮助学生和研究人员了解文本分类、情感分析等技术。
此数据集特别适合用于构建和评估毒性检测模型,探索不同类型的恶意评论,并提升对在线社区中不良行为的理解。