TensorRT-LLM (NVIDIA/TensorRT-LLM) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: TensorRT LLM は、大規模言語モデル (LLM) を定義するための使いやすい Python API をユーザーに提供し、NVIDIA GPU で推論を効率的に実行するための最先端の最適化をサポートします。 TensorRT LLM には、推論の実行をパフォーマンスの高い方法で調整する Python および C++ ランタイムを作成するコンポーネントも含まれています。その焦点には、開発者中心のエンジニアリング ワークフローが含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
ライセンス
Other
スター
13,515
主な機能
- Core 機能: TensorRT LLM は、大規模言語モデル (LLM) を定義するための使いやすい Python API をユーザーに提供し、NVIDIA GPU で推論を効率的に実行するための最先端の最適化をサポートします。 TensorRT LLM には、推論の実行をパフォーマンスの高い方法で調整する Python および C++ ランタイムを作成するコンポーネントも含まれています。
- コード生成、デバッグ、またはエンジニアリング統合用に構築
- リポジトリ: NVIDIA/TensorRT-LLM
- 主な言語: Python
- オープンソース ライセンス: その他
- GitHub の注目度: 約 13,514 個のスター
ユースケース
- 開発チーム向けの AI エンジニアリングのビルドと反復のワークフローをサポート
- TensorRT-LLM を使用して内部 AI ワークフロー プロトタイプを構築する
- 本番環境のようなエンジニアリング シナリオで TensorRT-LLM を検証する
- 学習コンテンツの翻訳と整理
- 言語の練習と復習
- コース教材の多言語出版
FAQ
TensorRT-LLM (NVIDIA/TensorRT-LLM) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: TensorRT LLM は、大規模言語モデル (LLM) を定義するための使いやすい Python API をユーザーに提供し、NVIDIA GPU で推論を効率的に実行するための最先端の最適化をサポートします。 TensorRT LLM には、推論の実行をパフォーマンスの高い方法で調整する Python および C++ ランタイムを作成するコンポーネントも含まれています。その焦点には、開発者中心のエンジニアリング ワークフローが含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
主な利用シーン: 開発チーム向けの AI エンジニアリングのビルドと反復のワークフローをサポート、TensorRT-LLM を使用して内部 AI ワークフロー プロトタイプを構築する、本番環境のようなエンジニアリング シナリオで TensorRT-LLM を検証する。
