数据集概述
本数据集包含用于实现C3框架的源代码及扩展自SoftwareDev的70个软件任务数据集。C3框架集成集中式拍卖协作与去中心化通信感知竞争机制,解决多智能体LLM系统在复杂软件开发任务中的协作退化问题。
文件详解
- 源代码文件(位于C3文件夹):
- auction.py:Python文件,含AuctionCoordinator类,用于评估智能体提案(基于新颖性、可执行性、多样性)并生成 peer feedback
- agent.py:Python文件,定义基础Agent类及专业角色(如Architect、Engineer),通过OpenAI Chat API生成/优化提案,含基于LLM质量评估的效用计算
- proposal_pool.py:Python文件,提供Proposal和ProposalPool类,管理提案提交与评估元数据,用于评分与优化循环
- sop_templates.py:Python文件,含标准化SOP模板,定义角色特定提案格式与评估标准
- metrics.py:Python文件,实现离线量化指标(TOE、ARR、FUS),评估智能体间动态
- dcc.py:Python文件,实现去中心化通信感知竞争(DCC)机制,智能体迭代观察并优化提案至收敛
- cab.py:Python文件,实现多阶段协作管道(Product Manager、Architect等角色),提案按结构化流程传递优化
- naive_isolated.py:Python文件,实现朴素竞争(独立生成提案+集中式拍卖选优)与孤立竞争(无沟通/反馈的基线)
- 数据集文件:
- Source Code and Data for ASE 207.zip:ZIP压缩包,含70个扩展自SoftwareDev的软件任务数据集
适用场景
- 多智能体系统研究:分析协作机制对LLM智能体任务表现的影响
- 软件开发自动化研究:探索智能体分工协作完成复杂软件任务的流程优化
- 竞争协作机制对比:对比C3框架与朴素/孤立竞争基线的性能差异
- 智能体动态评估:利用TOE、ARR等指标研究智能体间所有权、适应性及反馈利用效率