promptfoo (promptfoo/promptfoo) est un projet d'IA open source sur GitHub. Résumé du référentiel : testez vos invites, agents et RAG. Red teaming/pentesting/analyse des vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec ligne de commande et intégration CI/CD. Utilisé par OpenAI et Anthropic. Son objectif comprend la génération, l'évaluation et l'observabilité augmentées par la récupération, l'automatisation de la sécurité et de la conformité, ainsi que l'automatisation des flux de travail. Il convient à l’extension, à l’intégration et à la livraison itérative dans des flux de travail réels.
Licence
MIT
Étoiles
21 667
Site officiel
https://promptfoo.dev/Fonctionnalités
- Core : testez vos invites, agents et RAG. Red teaming/pentesting/analyse des vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec ligne de commande et intégration CI/CD. Utilisé par OpenAI et Anthropic.
- Prend en charge la récupération vectorielle et le raisonnement augmenté par la récupération
- Inclut des capacités d'évaluation, de traçage ou d'observabilité
- Couvre les tests de sécurité, la détection des risques ou les workflows de conformité
- Prend en charge les flux d'automatisation et la planification orchestrés
- Dépôt : promptfoo/promptfoo
Cas d'usage
- Construit des systèmes de questions-réponses et de récupération de documents sur les connaissances d'entreprise
- Utilisé pour le suivi de la qualité de l'IA et l'évaluation de la régression
- Utilisé pour l'évaluation de la sécurité et l'automatisation de la conformité
- Utilisé pour l'automatisation des processus inter-systèmes et l'efficacité des opérations
- Créez des prototypes de flux de travail d'IA internes avec promptfoo
- Valider promptfoo dans des scénarios d'ingénierie de type production
FAQ
promptfoo (promptfoo/promptfoo) est un projet d'IA open source sur GitHub. Résumé du référentiel : testez vos invites, agents et RAG. Red teaming/pentesting/analyse des vulnérabilités pour l'IA. Comparez les performances de GPT, Claude, Gemini, DeepSeek et plus encore. Configurations déclaratives simples avec ligne de commande et intégration CI/CD. Utilisé par OpenAI et Anthropic. Son objectif comprend la génération, l'évaluation et l'observabilité augmentées par la récupération, l'automatisation de la sécurité et de la conformité, ainsi que l'automatisation des flux de travail. Il convient à l’extension, à l’intégration et à la livraison itérative dans des flux de travail réels.
Cas d'usage courants : Construit des systèmes de questions-réponses et de récupération de documents sur les connaissances d'entreprise, Utilisé pour le suivi de la qualité de l'IA et l'évaluation de la régression, Utilisé pour l'évaluation de la sécurité et l'automatisation de la conformité.
