画像生成におけるVAEの周波数分離とその検証
拡散モデルの VRAM 制約を緩和するには VAE の圧縮率を高めたいものの、潜在チャンネルを増やすと画像の構造を担う低周波の情報が高周波の中に分散し、再構成は良くなっても生成品質は落ちてしまいます。 本記事では離散ウェーブレット変換で画像を低周波・高周波に分離したまま扱う VAE として、Organized AE と FAVAE の 2 つを実装し、アーキテクチャ・損失関数・学習結果を比較します。 さらに、生成まで回さずに潜在空間の良し悪しを見積もる指標(変動係数・正規化エントロピー・ジニ係数)を用いて Reconstruction-Generation Gap を分析し、FAVAE が潜在チャンネル数を増やしても潜在表現の品質を劣化させにくいことを示します。
続きを読む →Diffusion・Flow Matchingの統一的理解とone-step生成への考察
Diffusion・Flow Matchingモデルにおける予測空間(x-pred / ε-pred / v-pred)とカップリングスキームを統一的に整理し、pixel Mean Flow (pMF) による1ステップ生成の実証とFD-lossを用いた分布距離ベースのpost-trainingについて考察します。
続きを読む →