promptfoo（promptfoo/promptfoo）是 GitHub 开源 AI 项目。仓库描述提到：Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.该项目重点覆盖：检索增强与向量检索、评测与可观测、安全与合规、工作流自动化。适合基于开源仓库进行二次开发、集成与持续迭代。
开源协议
MIT
星标
21,667
主要特性
- 核心能力：Test your prompts, agents, and RAGs. Red teaming/pentesting/vulnerability scanning for AI. Compare performance of GPT, Claude, Gemini, DeepSeek, and more. Simple declarative configs with command line and CI/CD integration. Used by OpenAI and Anthropic.
- 支持向量检索与检索增强推理链路
- 具备评测、追踪或可观测能力
- 覆盖安全测试、风险检测或合规流程
- 支持可编排的自动化流程与调度
- 仓库：promptfoo/promptfoo
使用场景
- 构建企业知识问答与文档检索系统
- 用于 AI 应用质量监控与回归评估
- 用于安全评估与合规流程自动化
- 用于跨系统流程自动化与运营提效
- 基于 promptfoo 构建团队内部 AI 能力原型
- 在真实业务中验证 promptfoo 的开源工程能力
常见问题 FAQ
建议先明确要接入的能力边界与调用方式，再基于仓库能力梳理接口、参数与权限策略。GitHub 仓库地址：https://github.com/promptfoo/promptfoo。社区关注度约 21,538 Stars。开源协议：MIT。
它更适合作为业务能力封装层或执行组件，常见落地方式包括：构建企业知识问答与文档检索系统、用于 AI 应用质量监控与回归评估、用于安全评估与合规流程自动化。
