fastllm (ztxz16/fastllm) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: fastllm は後端非依存の高性能大モデル滞空モードです。双路 9004/9005 サーバー + 単一のパッケージを配置した DeepSeek 血液精度バージョン モデルは、単一で 20 tps で送信されます。INT4 量化モデルは、単一で 30 tps で送信され、複数で送信すると 60 以上になります。その焦点には、開発者中心のエンジニアリング ワークフロー、マルチエージェント オーケストレーション、ワークフローの自動化が含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
ライセンス
Apache-2.0
スター
4,713
主な機能
- コア機能: fastllm は後端非依存の高性能大モデル滞空モードです。双路 9004/9005 サーバー + 単一のパッケージを配置した DeepSeek 血液精度バージョン モデルは、単一で 20 tps で送信されます。INT4 量化モデルは、単一で 30 tps で送信され、複数で送信すると 60 以上になります。
- コード生成、デバッグ、またはエンジニアリング統合用に構築
- マルチエージェントの調整とタスクの分解をサポート
- 調整された自動化フローとスケジュールをサポートします
- リポジトリ: ztxz16/fastllm
- 主な言語: C++
ユースケース
- 開発チーム向けの AI エンジニアリングのビルドと反復のワークフローをサポート
- 複雑なタスクを分解して並列実行するために使用されます
- システム間のプロセスの自動化と運用の効率化に使用されます
- fastllm を使用して内部 AI ワークフロー プロトタイプを構築する
- 実稼働のようなエンジニアリング シナリオで fastllm を検証する
- AI 開発ワークフローの構築
FAQ
fastllm (ztxz16/fastllm) は、GitHub 上のオープンソース AI プロジェクトです。リポジトリの概要: fastllm は後端非依存の高性能大モデル滞空モードです。双路 9004/9005 サーバー + 単一のパッケージを配置した DeepSeek 血液精度バージョン モデルは、単一で 20 tps で送信されます。INT4 量化モデルは、単一で 30 tps で送信され、複数で送信すると 60 以上になります。その焦点には、開発者中心のエンジニアリング ワークフロー、マルチエージェント オーケストレーション、ワークフローの自動化が含まれます。実際のワークフローでの拡張、統合、反復配信に適しています。
主な利用シーン: 開発チーム向けの AI エンジニアリングのビルドと反復のワークフローをサポート、複雑なタスクを分解して並列実行するために使用されます、システム間のプロセスの自動化と運用の効率化に使用されます。
