枢衡(Fulcrum) 是一个面向政企智能体应用的安全项目。它不以改造基座模型为目标,而是在智能体与外部环境之间建立安全控制层,围绕“输入、决策、工具调用、执行、审计、评测”形成可验证的治理闭环。
本仓库服务于挑战杯揭榜挂帅赛题 XA-202620《面向政企场景的大模型智能体安全关键技术研究》。仓库中的文档、架构、评测和后续代码都应围绕“可复现、可审计、可交付”展开。
详细项目定位见 docs/plan/00-项目大方向.md;当前落地进度见 docs/plan/03-进度看板.md。
大模型智能体已经从问答系统演进为具备检索、记忆、工具调用、文件处理、跨系统联动和自动执行能力的系统。能力增强的同时,也带来了新的安全问题:
| 风险 | 说明 |
|---|---|
| 输入侧污染 | 用户输入、网页、文档、检索结果、记忆等来源可能包含提示注入、间接指令污染、越狱诱导或知识投毒。 |
| 工具调用失控 | 文件读写、系统命令、浏览器访问、外部接口调用等高权限动作可能导致越权操作或数据泄露。 |
| 扩展组件风险 | 插件、脚本、Skill、MCP 工具等组件可能引入后门、恶意外联或高危调用链。 |
| 过程不可追溯 | 缺少持续监测、审计证据、攻击复现和责任溯源时,难以满足政企场景的治理要求。 |
枢衡关注的不是单点检测器,而是将防护、评测、审计、运营串成一条完整链路。
| 能力域 | 目标 |
|---|---|
| 攻击识别与风险评估 | 识别多源输入中的提示注入、间接污染、越狱、投毒等风险,并进行关联分析和分级评估。 |
| 工具调用安全管控 | 对文件、命令、浏览器、接口等高风险工具调用进行策略校验、分级处置、审批与阻断。 |
| 供应链安全检测 | 对插件、脚本、Skill、MCP 工具等扩展组件进行权限、依赖、行为与恶意逻辑分析。 |
| 评测与审计溯源 | 用可复现样例、指标报告和审计证据证明防护效果,支持问题定位和责任追踪。 |
枢衡不是接管企业全部业务流量,而是接入智能体的关键路径:模型请求、工具调用和高危执行。
原来:
企业智能体 -> 大模型
企业智能体 -> 工具 / 文件 / 命令 / 接口
接入枢衡后:
企业智能体 -> 枢衡 -> 大模型
企业智能体 -> 枢衡 -> 工具 / 文件 / 命令 / 接口
也就是说,企业原来让智能体直接调用大模型和工具;接入枢衡后,这些关键动作先经过安全检查。安全的放行,可疑的审批,危险的阻断,并留下审计证据。
枢衡的核心思路是:在智能体外侧建立安全强制点,用策略与评测体系把风险识别、工具管控、审计证据和结果复现连接起来。
架构设计关注几个长期原则:
- 旁挂治理:尽量不侵入被保护智能体内部,通过代理、适配器或执行边界实现安全控制。
- 策略驱动:安全规则应表达清楚输入条件、风险判定、处置动作和审计证据。
- 来源归因:对输入来源、工具调用和处置结果建立可解释的证据链。
- 评测闭环:用样例集、指标口径和可复现脚本证明实际效果。
- 政企适配:重视私有化、可审计、可解释、可复现和安全边界。
技术架构详见 docs/arch/00-技术架构总览.md。评测口径详见 docs/eval/00-评测指标体系.md。
| 文档 | 用途 |
|---|---|
| AGENTS.md | 仓库协作约定,AI 助手和协作者修改仓库前应先阅读。 |
| docs/status/README.md | 当前前端、后端、文档和评测状态的快速接手入口。 |
| docs/plan/00-项目大方向.md | 项目定位、范围边界、能力分配和交付目标。 |
| docs/arch/00-技术架构总览.md | 总体架构、组件边界、关键决策和风险。 |
| docs/eval/00-评测指标体系.md | 核心指标、评测对象、样例口径和结果呈现。 |
| docs/reference/调研-相关项目与开源参考.md | 相关项目、开源工具、学术基准和差异化空间。 |
| docs/reference/榜题-XA-202620-提取文本.txt | 赛题文本提取版,用于快速核对要求。 |
| docs/plan/03-进度看板.md | 各模块/页面落地进度的单一真源。 |
| docs/arch/01-后端骨架与扩展规范.md | 后端 M0 骨架分层、接口、注册表、扩展方式。 |
| docs/arch/02-前端骨架与扩展规范.md | 前端控制台地基、设计系统、功能模块插件化。 |
| docs/arch/03-备份文件格式与导入契约.md | 单文件备份的结构、导入契约、扩展方式。 |
| console/README.md | 控制台前端运行、目录与"插件式加页面"。 |
如果你是第一次进入仓库,建议按顺序阅读:
- README.md
- AGENTS.md
- docs/status/README.md
- docs/plan/00-项目大方向.md
- docs/arch/00-技术架构总览.md
- docs/eval/00-评测指标体系.md
如果只是核对赛题要求,直接阅读 docs/reference/榜题-XA-202620-提取文本.txt。
Fulcrum/
├── README.md 项目门面与导航
├── AGENTS.md 仓库协作约定
├── .gitignore 忽略规则
├── src/ 源代码
├── tests/ 测试
├── scripts/ 可复现运行、部署、评测脚本
├── deploy/ 部署相关资产
├── data/ 数据集说明与可入库小样本
├── samples/ 脱敏攻击样例集
├── console/ 内置 Web 控制台(前端工程)
└── docs/
├── plan/ 项目定位、范围、路线、进度
├── arch/ 技术架构、模块边界、接口契约
├── eval/ 评测方案、指标口径、实验记录
├── status/ 当前实现、验证与已知缺口快照
└── reference/ 赛题资料、外部参考、调研材料
各目录职责以 AGENTS.md 和目录内 README 为准。
本仓库把文档视为交付的一部分。重要改动应同步更新相关文档,并说明动机、影响范围和验证方式。
在修改仓库前请先阅读 AGENTS.md,尤其注意:
- 不把临时产物散落在根目录。
- 不提交密钥、真实数据、未脱敏样例或大文件。
- 不把未验证结论写成确定事实。
- 不擅自改变项目定位、目录边界或安全样例管理方式。
许可协议待定。