litellm 是来自 BerriAI/litellm 的开源仓库，当前摘要为：Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]。它适合作为MCP 与工具调用集成、开发者工程工作流、工作流自动化场景下的技术参考或集成候选，不应使用空泛的 AI 工具描述。
开源协议
Other
星标
51,800
主要特性
- 核心能力：Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]
- 提供 MCP 或工具调用集成能力
- 面向代码生成、调试或工程集成场景
- 支持可编排的自动化流程与调度
- 仓库：BerriAI/litellm
- 主要技术栈：Python
使用场景
- 作为可复用开源组件进行技术评估
- 在生产采用前比较实现成本和取舍
常见问题 FAQ
先从仓库摘要（Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in OpenAI (or native) format, with cost tracking, guardrails, loadbalancing and logging. [Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, VLLM, NVIDIA NIM]）判断能力边界，再核对维护状态、接入方式，以及它的“开发者工程工作流”定位是否匹配你的流程。仓库：https://github.com/BerriAI/litellm。Stars 约 46,890。协议：Other。语言：Python。
litellm 更适合作为“开发者工程工作流”方向的开源组件或参考实现来评估。典型评估场景包括：当需求是“开发者工程工作流”，且仓库摘要匹配“Python SDK, Proxy Server (AI Gateway) to call 100+ LLM APIs in Open...”时，评估 litellm。在选择类似内部架构前，对比 litellm 的 Python 实现方式。使用 litellm 在搭建内部研发流程前研究开发工具实现细节。
