vllm

ライセンス

Apache-2.0

スター

83,302

主な機能

• vllm のリポジトリの概要: LLM 用の高スループットでメモリ効率の高い推論およびサービス エンジン
• vllm は、記録された主言語として Python を使用し、スタックフィットのレビューに役立ちます。
• vllm は、コード、CLI、SDK、ランタイム、または開発者ツールのワークフローを評価するエンジニアリング チームに適しています。
• vllm は、Apache-2.0 ライセンス メタデータをリストします。再配布またはホストされた使用の前に義務を確認してください。
• vllm のローカル メタデータ スナップショットには、約 79,031 個の GitHub スターがあります。
• vllm は、ホームページ、ドキュメント、またはデモの検証のために https://vllm.ai にリンクします。

ユースケース

• 開発者エンジニアリング ワークフローが必要で、リポジトリの概要が一致する場合は、vllm を確認してください: LLM 用の高スループットでメモリ効率の高い推論およびサービス エンジン
• 同様の内部アーキテクチャを選択する前に、vllm の Python 実装を比較してください。
• 内部ワークフローを構築する前に、vllm を使用して開発者ツールの実装の詳細を検討します。
• vllm を商用またはホストされたワークフローにパッケージ化する前に、Apache-2.0 ライセンスのレビューを完了してください。
• オープンソースの評価を優先する場合は、vllm の GitHub トラクションを 1 つの入力として使用します。
• セットアップ、デモ、またはドキュメントを検証するときは、リポジトリと並んで vllm のホームページを確認してください。