TensorRT-LLM

ライセンス

Other

スター

13,876

主な機能

• GitHub の説明: TensorRT LLM は、大規模言語モデル (LLM) を定義するための使いやすい Python API をユーザーに提供し、NVIDIA GPU で推論を効率的に実行するための最先端の最適化をサポートします。 TensorRT LLM には、推論の実行をパフォーマンスの高い方法で調整する Python および C++ ランタイムを作成するコンポーネントも含まれています。
• TensorRT-LLM は、記録された主言語として Python を使用し、スタックフィットのレビューに役立ちます。
• TensorRT-LLM は、コード、CLI、SDK、ランタイム、または開発者ツールのワークフローを評価するエンジニアリング チームに適しています。
• TensorRT-LLM はその他のライセンス メタデータをリストします。再配布またはホストされた使用の前に義務を確認してください。
• TensorRT-LLM のローカル メタデータ スナップショットには、約 13,514 個の GitHub スターがあります。
• TensorRT-LLM は、ホームページ、ドキュメント、またはデモの検証のために https://nvidia.github.io/TensorRT-LLM にリンクします。

ユースケース

• 開発者エンジニアリング ワークフローが必要で、リポジトリの概要が一致する場合は、TensorRT-LLM をテストします。TensorRT LLM は、大規模言語モジュールを定義するための使いやすい Python API をユーザーに提供します。
• 同様の内部アーキテクチャを選択する前に、TensorRT-LLM の Python 実装を比較してください。
• TensorRT-LLM を使用して、内部ワークフローを構築する前に開発者ツールの実装の詳細を検討します。
• TensorRT-LLM を商用またはホストされたワークフローにパッケージ化する前に、その他のライセンスのレビューを完了してください。
• オープンソースの評価を優先する場合は、TensorRT-LLM の GitHub トラクションを 1 つの入力として使用します。
• セットアップ、デモ、またはドキュメントを検証するときは、リポジトリと並んで TensorRT-LLM のホームページを確認してください。