TensorRT-LLM

Licence

Other

Étoiles

13 876

Fonctionnalités

• Description GitHub pour TensorRT-LLM : TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir des modèles grand langage (LLM) et prend en charge des optimisations de pointe pour effectuer des inférences efficacement sur les GPU NVIDIA. TensorRT LLM contient également des composants permettant de créer des environnements d'exécution Python et C++ qui orchestrent l'exécution de l'inférence de manière performante.
• TensorRT-LLM utilise Python comme langage principal enregistré, ce qui facilite l'examen de l'ajustement de la pile.
• TensorRT-LLM convient aux équipes d'ingénierie qui évaluent les workflows de code, CLI, SDK, runtime ou outils de développement.
• TensorRT-LLM répertorie les autres métadonnées de licence ; examiner les obligations avant la redistribution ou l’utilisation hébergée.
• TensorRT-LLM contient environ 13 514 étoiles GitHub dans l'instantané de métadonnées locales.
• TensorRT-LLM renvoie à https://nvidia.github.io/TensorRT-LLM pour la validation de la page d'accueil, des documents ou de la démo.

Cas d'usage

• Testez TensorRT-LLM lorsque les flux de travail d'ingénierie des développeurs sont nécessaires et que le résumé du dépôt correspond : TensorRT LLM fournit aux utilisateurs une API Python facile à utiliser pour définir un module de grand langage...
• Comparez l'implémentation Python dans TensorRT-LLM avant de choisir une architecture interne similaire.
• Utilisez TensorRT-LLM pour étudier les détails de mise en œuvre des outils de développement avant de créer des flux de travail internes.
• Effectuez un examen d'une autre licence avant d'intégrer TensorRT-LLM dans un flux de travail commercial ou hébergé.
• Utilisez la traction GitHub de TensorRT-LLM comme entrée lors de la priorisation de l'évaluation open source.
• Vérifiez la page d'accueil de TensorRT-LLM à côté du référentiel lors de la validation de la configuration, des démos ou de la documentation.