Stable Diffusion で 1 秒で写真を作成しましょう。清華大学マスターアクセラレーターはホットなトレンドで、いくつかの企業が参加している

AI画像生成は秒単位のスピードに達しました。描画を完了するには4ステップの推論しかかからず、最速では1秒以内に完了します。

現在、清華大学とHuggingFaceの研究者らは、新しい描画モデル加速モジュールを立ち上げました。

作者が提供している試用版では、生成ボタンをクリックした後、わずか数秒でモデルが 4 つの鮮明な画像を描画しました。

このアクセラレーションモジュールは LCM-LoRA と呼ばれ、リリース後すぐに 2,000 を超える GitHub スターを獲得しました。

強力な加速機能と優れた一般化性能を備えているだけでなく、互換性のあるモデルの範囲も広く、SD モデルと LoRA モデルの両方を加速できます。

チームが独自に最適化した LCM-LoRA に基づくテキストベースのグラフモデルは HuggingFace で体験できるようになり、画像ベースのグラフモデルも CoLab やその他のバージョンでリリースされました。

LCM-LoRAがオープンソース化された直後、AI描画ツールメーカーのScenarioは、これをベースにした「リアルタイム描画」機能をリリースすると発表した。

𝕏で近日公開予定のリアルタイム描画機能DEMOも、シナリオのCEO自らが実演しました。

一方がスケッチを描いている間に、もう一方はAIが対応する絵を描いており、時間はほぼ同期していました。

プロンプト単語と関連パラメータを調整することで、モデルは迅速かつ効率的に応答します。

これらのデモが公開されると、世間から満場一致の賞賛が集まりました。

では、LCM-LoRA アクセラレーションモジュールはどれほど強力で、どのように実現されているのでしょうか?

LCM-LoRA は、潜在的一貫性モデル (LCM) の蒸留プロセスに LoRA を導入し、トレーニングメモリのオーバーヘッドを大幅に削減してパフォーマンスを向上させます。

LCM は潜在拡散モデル (LDM) から抽出され、「蒸留」プロセスは拡散モデルの微調整とも考えられます。

その中心的なアイデアは、画像の潜在変数空間における一貫したマッピング関数を学習することです。これにより、拡散プロセス内の任意の点を終点、つまり微分方程式の解に直接マッピングできます。

この一貫したマッピングにより、LCM は反復的なサンプリングプロセスをスキップし、数ステップまたは 1 ステップのサンプリングを直接実行できるため、画像生成が大幅に高速化されます。

ピクセル空間ベースの方法と比較すると、潜在変数空間演算では計算の複雑さとメモリ要件が低くなります。

LoRA と組み合わせると、低ランク分解行列のみをトレーニングすればよく、トレーニング可能なパラメータの量とメモリのオーバーヘッドがさらに削減され、適用範囲も単純なテキスト生成画像から画像生成画像やビデオ生成へと拡大されます。

最も直感的な表現は、数秒で画像が出力されることです。トレーニング時間に関して言えば、LCM-LoRA 最適化モデルは A100 でトレーニングするのに 32 GPU 時間しかかかりません。

トレーニング時間の短縮は、トレーニングパラメータの数が大幅に削減されたことにも密接に関係しています。

SD-V1.5 の総パラメータ数は 980 億です。LoRA を使用すると、トレーニング可能なパラメータは 6750 万に削減され、約 99.9% 削減されます。
SSD-1B パラメータの数は 130 億から 1 億 500 万に削減され、約 99% 削減されました。
SDXL パラメータの数は 350 億から 1 億 9,700 万に削減され、約 99.4% 削減されました。

トレーニングコストが削減されるだけでなく、推論プロセスのステップ数も大幅に削減されます。通常、高品質の画像を描くために必要な推論ステップは 4 つだけです。

場合によっては、FID スコアが 50 未満 (低いほど良い) で、1 秒未満で 1 ステップだけで完了できることもあります。

LCM-LoRAは優れた加速性能を備えているだけでなく、幅広い適応性も備えています。

LCM-LoRA トレーニングによって取得された LoRA パラメータは、加速度ベクトルとも呼ばれます。追加のトレーニングを必要とせずに、データセットの微調整によって取得された LoRA パラメータと直接線形結合できます。

この組み合わせにより、LCM-LoRA は、さまざまな微調整されたモデルに直接プラグインできる汎用画像生成アクセラレーションモジュールになります。