Model-Optimizer

ライセンス

Apache-2.0

スター

2,952

主な機能

• Model-Optimizer の記録された概要: 量子化、枝刈り、蒸留、投機的デコードなどの SOTA モデル最適化手法の統合ライブラリ。TensorRT-LLM、TensorRT、vLLM などの下流展開フレームワーク用に深層学習モデルを圧縮して、推論速度を最適化します。
• Model-Optimizer は、記録された主言語として Python を使用し、スタックフィットのレビューに役立ちます。
• Model-Optimizer は、コード、CLI、SDK、ランタイム、または開発者ツールのワークフローを評価するエンジニアリング チームに適しています。
• Model-Optimizer は、Apache-2.0 ライセンス メタデータをリストします。再配布またはホストされた使用の前に義務を確認してください。
• Model-Optimizer のローカル メタデータ スナップショットには、約 2,599 個の GitHub スターがあります。
• Model-Optimizer は、ホームページ、ドキュメント、またはデモの検証のために https://nvidia.github.io/Model-Optimizer/ にリンクします。

ユースケース

• 開発者エンジニアリング ワークフローが必要で、リポジトリの概要が一致する場合に Model-Optimizer を評価します: 量子化、枝刈り、分解などの SOTA モデル最適化手法の統合ライブラリ。
• 同様の内部アーキテクチャを選択する前に、Model-Optimizer で Python 実装を比較してください。
• 内部ワークフローを構築する前に、Model-Optimizer を使用して開発者ツールの実装の詳細を検討します。
• Model-Optimizer を商用またはホストされたワークフローにパッケージ化する前に、Apache-2.0 ライセンスのレビューを完了してください。
• オープンソースの評価を優先する場合は、Model-Optimizer の GitHub トラクションを 1 つの入力として使用します。
• セットアップ、デモ、またはドキュメントを検証するときは、リポジトリと並んで Model-Optimizer のホームページを確認してください。