互联网评论文本毒性分析数据集InternetCommentTextToxicityAnalysisDataset-vitalychait

互联网评论文本毒性分析数据集InternetCommentTextToxicityAnalysisDataset-vitalychait

数据来源:互联网公开数据

标签:文本分类, 毒性检测, 情感分析, 垃圾评论, 恶意言论, 自然语言处理, 机器学习, 语料库

数据概述: 该数据集包含来自多个来源的互联网评论文本数据,旨在用于毒性言论的识别与分析。主要特征如下: 时间跨度:数据未明确标注时间,但包含了2016年至2021年间的文本数据,可以进行跨时间段的分析。 地理范围:数据主要来源于互联网,涵盖全球范围内的评论。 数据维度: Kaggle/train/train.csv: 包含评论文本(comment_text)以及关于毒性(toxic)、严重毒性(severe_toxic)、淫秽(obscene)、威胁(threat)、侮辱(insult)和仇恨言论(identity_hate)的多标签分类。 Cornnel/data/classifier/trump_tweets.csv: 包含推特文本、发布日期、点赞数、转发数和推文ID。 Cornnel/data/data/labeled_data.csv: 包含推文文本以及 hate_speech, offensive_language, neither 等情感分类标签。 badwords/swearWords.csv 和 badwords/full-list-of-bad-words_csv-file_2021_01_18/full-list-of-bad-words_csv-file_2021_01_18.csv: 包含用于检测不良词汇的词语列表。 数据格式:数据主要以CSV格式提供,包括train.csv、trump_tweets.csv, labeled_data.csv以及多个词汇表文件。

数据来源:数据来源于Kaggle竞赛、Twitter公开数据、以及其他开源文本数据集,并整合了词汇表。数据已进行初步的结构化处理。 该数据集适合用于毒性言论检测、情感分析、垃圾评论过滤等领域的研究和应用。

数据用途概述: 该数据集具有广泛的应用潜力,特别适用于以下场景: 研究与分析:适用于自然语言处理、机器学习、文本挖掘等领域的研究,例如构建和评估毒性检测模型、情感分析、恶意评论识别等。 行业应用:为社交媒体平台、在线论坛、评论系统等提供数据支持,用于自动内容审核、用户行为分析、社区管理等。 决策支持:支持企业进行风险评估,优化内容审核策略,提升用户体验,维护社区健康。 教育和培训:作为自然语言处理、机器学习课程的实训数据,帮助学生和研究人员深入理解文本分类、情感分析等技术。 此数据集特别适合用于探索互联网评论中的毒性特征,构建高效的毒性检测模型,并帮助用户实现对恶意言论的识别和过滤。

packageimg

数据与资源

附加信息

字段
版本 1.0
数据集大小 33.58 MiB
最后更新 2025年5月6日
创建于 2025年5月6日
声明 当前数据集部分源数据来源于公开互联网,如果有侵权,请24小时联系删除(400-600-6816)。