互联网评论文本毒性分析数据集InternetCommentTextToxicityAnalysisDataset-vitalychait
数据来源:互联网公开数据
标签:文本分类, 毒性检测, 情感分析, 垃圾评论, 恶意言论, 自然语言处理, 机器学习, 语料库
数据概述:
该数据集包含来自多个来源的互联网评论文本数据,旨在用于毒性言论的识别与分析。主要特征如下:
时间跨度:数据未明确标注时间,但包含了2016年至2021年间的文本数据,可以进行跨时间段的分析。
地理范围:数据主要来源于互联网,涵盖全球范围内的评论。
数据维度:
Kaggle/train/train.csv: 包含评论文本(comment_text)以及关于毒性(toxic)、严重毒性(severe_toxic)、淫秽(obscene)、威胁(threat)、侮辱(insult)和仇恨言论(identity_hate)的多标签分类。
Cornnel/data/classifier/trump_tweets.csv: 包含推特文本、发布日期、点赞数、转发数和推文ID。
Cornnel/data/data/labeled_data.csv: 包含推文文本以及 hate_speech, offensive_language, neither 等情感分类标签。
badwords/swearWords.csv 和 badwords/full-list-of-bad-words_csv-file_2021_01_18/full-list-of-bad-words_csv-file_2021_01_18.csv: 包含用于检测不良词汇的词语列表。
数据格式:数据主要以CSV格式提供,包括train.csv、trump_tweets.csv, labeled_data.csv以及多个词汇表文件。
数据来源:数据来源于Kaggle竞赛、Twitter公开数据、以及其他开源文本数据集,并整合了词汇表。数据已进行初步的结构化处理。
该数据集适合用于毒性言论检测、情感分析、垃圾评论过滤等领域的研究和应用。
数据用途概述:
该数据集具有广泛的应用潜力,特别适用于以下场景:
研究与分析:适用于自然语言处理、机器学习、文本挖掘等领域的研究,例如构建和评估毒性检测模型、情感分析、恶意评论识别等。
行业应用:为社交媒体平台、在线论坛、评论系统等提供数据支持,用于自动内容审核、用户行为分析、社区管理等。
决策支持:支持企业进行风险评估,优化内容审核策略,提升用户体验,维护社区健康。
教育和培训:作为自然语言处理、机器学习课程的实训数据,帮助学生和研究人员深入理解文本分类、情感分析等技术。
此数据集特别适合用于探索互联网评论中的毒性特征,构建高效的毒性检测模型,并帮助用户实现对恶意言论的识别和过滤。