litellm（BerriAI/litellm）是 GitHub 开源 AI 项目。仓库描述提到：Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]该项目重点覆盖：MCP/工具调用集成、开发者工程能力、工作流自动化。适合基于开源仓库进行二次开发、集成与持续迭代。
开源协议
Other
星标
46,896
主要特性
- 核心能力：Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]
- 提供 MCP 或工具调用集成能力
- 面向代码生成、调试或工程集成场景
- 支持可编排的自动化流程与调度
- 仓库：BerriAI/litellm
- 主要技术栈：Python
使用场景
- 把外部系统能力接入 Agent 工作流
- 支持研发团队构建与迭代 AI 工程链路
- 用于跨系统流程自动化与运营提效
- 基于 litellm 构建团队内部 AI 能力原型
- 在真实业务中验证 litellm 的开源工程能力
- AI 开发流程搭建
常见问题 FAQ
建议先明确要接入的能力边界与调用方式，再基于仓库能力梳理接口、参数与权限策略。GitHub 仓库地址：https://github.com/BerriAI/litellm。社区关注度约 46,890 Stars。开源协议：Other。
它更适合作为业务能力封装层或执行组件，常见落地方式包括：把外部系统能力接入 Agent 工作流、支持研发团队构建与迭代 AI 工程链路、用于跨系统流程自动化与运营提效。
