fastllm (ztxz16/fastllm) est un projet d'IA open source sur GitHub. Résumé du référentiel : fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模Il s'agit d'un système MOE de 10 G pour DeepSeek. 。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。 Son objectif comprend les workflows d'ingénierie centrés sur les développeurs, l'orchestration multi-agents et l'automatisation des workflows. Il convient à l’extension, à l’intégration et à la livraison itérative dans des flux de travail réels.
Licence
Apache-2.0
Étoiles
4 713
Fonctionnalités
- Capacité principale : fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模Il s'agit d'un système MOE de 10 G pour DeepSeek. 。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。
- Construit pour la génération de code, le débogage ou l'intégration technique
- Prend en charge la coordination multi-agents et la décomposition des tâches
- Prend en charge les flux d'automatisation et la planification orchestrés
- Dépôt : ztxz16/fastllm
- Langage principal : C++
Cas d'usage
- Prend en charge les flux de travail de création et d'itération d'ingénierie IA pour les équipes de développement
- Utilisé pour décomposer et exécuter des tâches complexes en parallèle
- Utilisé pour l'automatisation des processus inter-systèmes et l'efficacité des opérations
- Créez des prototypes de flux de travail d'IA internes avec fastllm
- Valider fastllm dans des scénarios d'ingénierie de type production
- Créer des workflows de développement d'IA
FAQ
fastllm (ztxz16/fastllm) est un projet d'IA open source sur GitHub. Résumé du référentiel : fastllm是后端无依赖的高性能大模型推理库。同时支持张量并行推理稠密模Il s'agit d'un système MOE de 10 G pour DeepSeek. 。双路9004/9005服务器+单显卡部署DeepSeek满血满精度原版模型，单并发20tps；INT4量化模型单并发30tps，多并发可达60+。 Son objectif comprend les workflows d'ingénierie centrés sur les développeurs, l'orchestration multi-agents et l'automatisation des workflows. Il convient à l’extension, à l’intégration et à la livraison itérative dans des flux de travail réels.
Cas d'usage courants : Prend en charge les flux de travail de création et d'itération d'ingénierie IA pour les équipes de développement, Utilisé pour décomposer et exécuter des tâches complexes en parallèle, Utilisé pour l'automatisation des processus inter-systèmes et l'efficacité des opérations.
