promptfoo (promptfoo/promptfoo) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: プロンプト、エージェント、および RAG をテストします。 AI のレッド チーム化/侵入テスト/脆弱性スキャン。 GPT、Claude、Gemini、DeepSeek などのパフォーマンスを比較します。コマンドラインとCI/CD統合によるシンプルな宣言型構成。 OpenAI と Anthropic によって使用されます。その焦点には、検索拡張生成、評価と可観測性、セキュリティとコンプライアンスの自動化、ワークフローの自動化が含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
ライセンス
MIT
スター
21,667
主な機能
- Core 機能: プロンプト、エージェント、および RAG をテストします。 AI のレッド チーム化/侵入テスト/脆弱性スキャン。 GPT、Claude、Gemini、DeepSeek などのパフォーマンスを比較します。コマンドラインとCI/CD統合によるシンプルな宣言型構成。 OpenAI と Anthropic によって使用されます。
- ベクトル検索と検索拡張推論をサポート
- 評価、トレース、または可観測性機能が含まれます
- セキュリティ テスト、リスク検出、またはコンプライアンスのワークフローをカバーします
- 調整された自動化フローとスケジュールをサポートします
- リポジトリ: プロンプトfoo/promptfoo
ユースケース
- エンタープライズナレッジ Q&A およびドキュメント検索システムを構築します
- AI の品質モニタリングと回帰評価に使用されます
- セキュリティ評価とコンプライアンスの自動化に使用されます
- システム間のプロセスの自動化と運用の効率化に使用されます
- promptfoo を使用して内部 AI ワークフロー プロトタイプを構築する
- 本番環境のようなエンジニアリング シナリオでのプロンプトフーの検証
FAQ
promptfoo (promptfoo/promptfoo) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: プロンプト、エージェント、および RAG をテストします。 AI のレッド チーム化/侵入テスト/脆弱性スキャン。 GPT、Claude、Gemini、DeepSeek などのパフォーマンスを比較します。コマンドラインとCI/CD統合によるシンプルな宣言型構成。 OpenAI と Anthropic によって使用されます。その焦点には、検索拡張生成、評価と可観測性、セキュリティとコンプライアンスの自動化、ワークフローの自動化が含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
主な利用シーン: エンタープライズナレッジ Q&A およびドキュメント検索システムを構築します、AI の品質モニタリングと回帰評価に使用されます、セキュリティ評価とコンプライアンスの自動化に使用されます。
