litellm (BerriAI/litellm) est un projet d'IA open source sur GitHub. Résumé du référentiel : Python SDK, Proxy Server (AI Gateway) pour appeler plus de 100 API LLM au format OpenAI (ou natif), avec suivi des coûts, garde-corps, équilibrage de charge et journalisation. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM] Son objectif comprend l'intégration MCP et des appels d'outils, les flux de travail d'ingénierie centrés sur les développeurs et l'automatisation des flux de travail. Il convient à l’extension, à l’intégration et à la livraison itérative dans des flux de travail réels.
Licence
Other
Étoiles
46 896
Site officiel
https://docs.litellm.ai/docs/Fonctionnalités
- Core : SDK Python, serveur proxy (AI Gateway) pour appeler plus de 100 API LLM au format OpenAI (ou natif), avec suivi des coûts, garde-corps, équilibrage de charge et journalisation. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]
- Fournit une intégration MCP ou d'appel d'outils
- Construit pour la génération de code, le débogage ou l'intégration technique
- Prend en charge les flux d'automatisation et la planification orchestrés
- Dépôt : BerriAI/litellm
- Langage principal : Python
Cas d'usage
- Connecte les systèmes externes aux flux de travail des agents
- Prend en charge les flux de travail de création et d'itération d'ingénierie IA pour les équipes de développement
- Utilisé pour l'automatisation des processus inter-systèmes et l'efficacité des opérations
- Créer des prototypes de flux de travail d'IA internes avec Litelm
- Valider Litelm dans des scénarios d'ingénierie de type production
- Créer des workflows de développement d'IA
FAQ
litellm (BerriAI/litellm) est un projet d'IA open source sur GitHub. Résumé du référentiel : Python SDK, Proxy Server (AI Gateway) pour appeler plus de 100 API LLM au format OpenAI (ou natif), avec suivi des coûts, garde-corps, équilibrage de charge et journalisation. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM] Son objectif comprend l'intégration MCP et des appels d'outils, les flux de travail d'ingénierie centrés sur les développeurs et l'automatisation des flux de travail. Il convient à l’extension, à l’intégration et à la livraison itérative dans des flux de travail réels.
Cas d'usage courants : Connecte les systèmes externes aux flux de travail des agents, Prend en charge les flux de travail de création et d'itération d'ingénierie IA pour les équipes de développement, Utilisé pour l'automatisation des processus inter-systèmes et l'efficacité des opérations.
