promptfoo(promptfoo/promptfoo)는 GitHub의 오픈 소스 AI 프로젝트입니다. 저장소 요약: 프롬프트, 에이전트 및 RAG를 테스트합니다. AI를 위한 레드팀 구성/침투 테스트/취약점 검색. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교해 보세요. 명령줄 및 CI/CD 통합을 통한 간단한 선언적 구성입니다. OpenAI와 Anthropic에서 사용됩니다. 여기에는 검색 강화 생성, 평가 및 관찰 가능성, 보안 및 규정 준수 자동화, 워크플로 자동화가 포함됩니다. 실제 워크플로우에서 확장, 통합, 반복 전달에 적합합니다.
라이선스
MIT
스타
21,667
주요 기능
- 핵심 기능: 프롬프트, 에이전트 및 RAG를 테스트합니다. AI를 위한 레드팀 구성/침투 테스트/취약점 검색. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교해 보세요. 명령줄 및 CI/CD 통합을 통한 간단한 선언적 구성입니다. OpenAI와 Anthropic에서 사용됩니다.
- 벡터 검색 및 검색 증강 추론 지원
- 평가, 추적 또는 관찰 기능을 포함합니다.
- 보안 테스트, 위험 감지 또는 규정 준수 워크플로를 다룹니다.
- 조정된 자동화 흐름 및 예약 지원
- 저장소: 프롬프트foo/promptfoo
활용 사례
- 기업 지식 Q&A 및 문서 검색 시스템 구축
- AI 품질 모니터링 및 회귀 평가에 사용됩니다.
- 보안 평가 및 규정 준수 자동화에 사용됩니다.
- 시스템 간 프로세스 자동화 및 운영 효율성을 위해 사용됩니다.
- promptfoo를 사용하여 내부 AI 워크플로 프로토타입 구축
- 프로덕션과 유사한 엔지니어링 시나리오에서 프롬프트 확인
FAQ
promptfoo(promptfoo/promptfoo)는 GitHub의 오픈 소스 AI 프로젝트입니다. 저장소 요약: 프롬프트, 에이전트 및 RAG를 테스트합니다. AI를 위한 레드팀 구성/침투 테스트/취약점 검색. GPT, Claude, Gemini, DeepSeek 등의 성능을 비교해 보세요. 명령줄 및 CI/CD 통합을 통한 간단한 선언적 구성입니다. OpenAI와 Anthropic에서 사용됩니다. 여기에는 검색 강화 생성, 평가 및 관찰 가능성, 보안 및 규정 준수 자동화, 워크플로 자동화가 포함됩니다. 실제 워크플로우에서 확장, 통합, 반복 전달에 적합합니다.
주요 활용 사례: 기업 지식 Q&A 및 문서 검색 시스템 구축, AI 품질 모니터링 및 회귀 평가에 사용됩니다., 보안 평가 및 규정 준수 자동화에 사용됩니다..
