vllm (vllm-project/vllm) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: LLM 向けの高スループットでメモリ効率の高い推論およびサービス エンジン。その焦点には、開発者中心のエンジニアリング ワークフロー、マルチエージェント オーケストレーション、ワークフローの自動化が含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
ライセンス
Apache-2.0
スター
79,034
公式サイト
https://vllm.ai/主な機能
- Core 機能: LLM 向けの高スループットでメモリ効率の高い推論およびサービス エンジン
- コード生成、デバッグ、またはエンジニアリング統合用に構築
- マルチエージェントの調整とタスクの分解をサポート
- 調整された自動化フローとスケジュールをサポートします
- リポジトリ: vllm-プロジェクト/vllm
- 主な言語: Python
ユースケース
- 開発チーム向けの AI エンジニアリングのビルドと反復のワークフローをサポート
- 複雑なタスクを分解して並列実行するために使用されます
- システム間のプロセスの自動化と運用の効率化に使用されます
- vllm を使用して内部 AI ワークフロー プロトタイプを構築する
- 実稼働のようなエンジニアリング シナリオで vllm を検証する
- AI 開発ワークフローの構築
FAQ
vllm (vllm-project/vllm) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: LLM 向けの高スループットでメモリ効率の高い推論およびサービス エンジン。その焦点には、開発者中心のエンジニアリング ワークフロー、マルチエージェント オーケストレーション、ワークフローの自動化が含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
主な利用シーン: 開発チーム向けの AI エンジニアリングのビルドと反復のワークフローをサポート、複雑なタスクを分解して並列実行するために使用されます、システム間のプロセスの自動化と運用の効率化に使用されます。
