Python
4 GBのGPU搭載ノートPCで8Bニューラルネットワークをファインチューニングする方法
Soupを使ったコンシューマハードウェアでの8Bモデルファインチューニングの実用ガイドmdashレイヤーストリーミングと自動パイプラインを小型GPUにもたらすCLIツール。
#fine-tuning
2 プロジェクト Python
OpenAI API対応のオープンソースAIモデルを1コマンドでデプロイする方法
OpenLLMは、1コマンドで任意のオープンソースAIモデルをOpenAI互換のAPIエンドポイントとしてデプロイできるツールです。BentoMLとvLLMの上に構築されています。