数据集概述
本数据集为METASHIFT，是用于评估机器学习模型在上下文分布偏移下性能的数据集集合。它基于Visual Genome的自然异质性和注释构建，包含12,868组自然图像，覆盖410个类别。通过元数据聚类生成不同上下文的图像子集，提供分布偏移的显式解释及距离评分，并匹配ImageNet层次结构，支持模型评估任务构建。
文件详解
- 文件名称：
class_info.txt
- 文件格式：TXT
- 字段映射介绍：包含类别信息文本，预览内容显示有cabinet、printer、plant等类别名称
- 文件名称：
class_hierarchy.json
- 文件格式：JSON
- 字段映射介绍：存储类别层次结构的结构化数据
- 文件名称：
imagenet1k_node_names.json
- 文件格式：JSON
- 字段映射介绍：包含ImageNet-1k节点名称的结构化数据
- 文件名称：
selected-candidate-subsets.pkl
- 文件格式：PKL
- 字段映射介绍：存储选定候选子集的序列化数据
适用场景
- 机器学习模型鲁棒性评估：测试模型在不同上下文分布偏移下的性能表现
- 分布偏移分析：研究自然图像数据中上下文分布偏移的特性及影响因素
- 模型泛化能力研究：分析模型对多样化数据分布的适应能力
- 基准数据集构建：为上下文分布偏移评估任务提供标准化数据支撑
- 分类任务设计：基于匹配的ImageNet层次结构构建二元分类等评估任务
