>_ DevTrendsja

言語

ホーム

言語

セクション

フロントエンド バックエンド モバイル DevOps AI / ML ゲーム開発 ブロックチェーン 組み込み セキュリティ
Python

SD. Next — 標準的なWebUI以上の機能を必要とする人のためのAutomatic1111の代替手段

ほんの2年前を振り返ると、ローカルでの画像生成はAutomatic1111によるStable Diffusion WebUIと同義でした。コンソールを開いてPyTorchの起動を待ち、GPUの設定を調整し、途中でVRAMが不足しないことを祈る—そんな時代がありました。しかし、時間の経過とともに元のリポジトリは維持がますます困難になり、新たなモデルアーキテクチャはますます多くのリソースを求めるようになりました。

Vlad Mandicは2022年末にAutomatic1111のコードベースをフォークし、SD. Nextを作成しました。このプロジェクトはソースコードの整理とハードウェアからの最大パフォーマンスの抽出を試みる而出発しましたが、画像と動画生成のための独立したプラットフォームへと発展しました。

元のWebUIとの違いは?

端的に言えば、SD. Nextは使い慣れたWebインターフェースを維持しながら、内部構造を根本的に刷新しています。元のWebUIはNvidia GPUとCUDAライブラリに強く依存しています。AMD、Intel Arc、Apple Mシリーズチップで従来のWebUIを実行しようとすると、ライブラリのコンパイルや適切な起動引数の探索が必要になり、まるで冒険のような作業になりました。

SD. Nextは設計段階からクロスプラットフォームサポートを念頭に置いて構築されました。最初のインストール時に、スクリプトは自動的にハードウェアを検出し、適切な設定を構成します。

内部の興味深い点

控えめなハードウェアでの大規模モデルの実行

現在の拡散ネットワークの主な課題は、ビデオメモリへの高い要求です。VRAMが8GBのカードでも、高解像度で新しいモデルを実行しようとすると、すぐに限界に達してしまいます。

SD. Nextは2つのメカニズムを導入しました:

  1. SDNQエンジンによる量子化。モデルはオンザフライで圧縮されるか、事前に量子化された重みを使用します。これにより、詳細への影響を最小限に抑えながら、メモリ消費を最大4分の1に削減できます。
  2. Balanced Offload。モデルレイヤーをビデオメモリとシステムRAM間で分散させるシステムメカニズムです。GPUの容量が不足した場合、Out of Memoryエラーを回避するために一部の計算がCPUに移動します。

あらゆるハードウェアのサポート

開発者は幅広いハードウェアアクセラレーターをサポートしています:

  • CUDA経由のNvidia
  • ROCmまたはZLUDA経由のLinuxおよびWindows上のAMD
  • OneAPIとIPEXを使用したIntel Arc
  • OpenVINO経由のGPUとCPU
  • Windows上のDirectX対応グラフィックスカード向けDirectML
  • Torch MPSバックエンドを使用したApple M1/M2/M3チップ

環境の分離が必要な場合、プロジェクトはCUDA、ROCm、OpenVINO、Intel IPEX用の公式Dockerイメージを提供しています。

自動ラベリングと言語モデル

通常、画像の説明を準備するには、サードパーティの拡張機能や個別のユーティリティをインストールする必要があります。SD. Nextには自動ラベル付け用の組み込みモジュールがあります。VLM/LLMネットワーク、OpenCLIP、WaifuDiffusion、DeepDanbooruなどのタガーを含む25以上のモデルを使用しています。これにより、独自のLoRAアダプタのトレーニング用データセットの準備が高速化されます。

始め方

インストールはターミナルで3つのコマンドを実行するだけで完了します:

git clone https://github.com/vladmandic/sdnext
cd sdnext

# Для Linux или macOS:
./webui.sh

# Для Windows:
webui.bat

最初の起動時に、スクリプトは依存関係をダウンロードし、GPUを検出して最適化フラグを設定します。インターフェースはモバイル画面に対応しているため、ローカルネットワーク経由でスマートフォンから生成プロセスを制御できます。

誰が試すべきか

SD. Nextは次のような場合に特に便利です:

  • AMD、Intel Arc、Mac GPUを持っていて、標準的なWebUIでの複雑な設定にうんざりしている場合
  • VRAMに制約のあるGPUを持っているが、メモリ不足のクラッシュなしで重量級モデルを試したい場合
  • データセットを構築中で、ラベル付けとタグ付けの組み込みツールが必要な場合

ノードベースのワークフローを備えたComfyUIに慣れている場合、表形式のインターフェースに切り替える利点は限定的です。ただし、画像と動画作業の完全なソリューションとして、SD. Nextは日常的なタスクのほとんどをカバーしています。

関連プロジェクト