评论社区内容毒性评估数据集CommunityContentToxicityEvaluation-httpwwwfszyc
数据来源:互联网公开数据
标签:毒性检测, 文本分类, 情感分析, 社交媒体, 机器学习, 标注数据, 自然语言处理, 社区互动
数据概述:
该数据集包含来自评论社区的文本数据,记录了对评论内容毒性的评估结果。主要特征如下:
时间跨度:数据包含创建日期信息,但具体时间范围未明确,可视为一个时间切片的数据集。
地理范围:数据来源未明确标注地理范围,但可推测为全球范围内的评论社区。
数据维度:数据集包括多个字段,如“id”(评论唯一标识符)、“target”(毒性评分)、“severe_toxicity”(严重毒性)、“obscene”(猥亵)、“identity_attack”(身份攻击)、“insult”(侮辱)、“threat”(威胁),以及与身份相关的标签(如“asian”、“black”等)、创建日期、发布平台信息、点赞、反对等互动数据,以及模型预测结果(model1)。
数据格式:CSV格式,文件名为CV42df.csv,便于数据分析和处理。此外,还包含一个.npy文件(CV42tokeninput2.npy),该文件可能包含了文本数据的预处理结果,如tokenized后的数据或词向量。
数据来源:数据来源于在线评论社区,经过人工标注和模型评估,形成了包含毒性评分和相关特征的结构化数据集。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、情感分析、文本分类等领域的学术研究,如毒性检测算法的改进、偏见分析、内容审核等。
行业应用:为社交媒体平台、论坛、评论区等提供数据支持,尤其是在内容 moderation、用户行为分析、社区健康管理等方向。
决策支持:支持平台制定内容审核策略、优化用户体验、提升社区环境。
教育和培训:作为人工智能、机器学习课程的实训素材,帮助学生理解文本分类、情感分析等技术。
此数据集特别适合用于探索评论内容的毒性特征,评估不同类型言论的危害程度,并构建有效的毒性检测模型,从而提升社区环境的健康度。