マルチモーダルLLMのソフトラベル生成による、アパレル画像分類モデルの構築手法
「アニメや漫画のキャラクターが写っているか」のように、人間が見ても判断の分かれる属性を、ほとんど人手をかけずに 10 万枚規模の商品画像から学習させたい。 本記事では、マルチモーダル LLM に観点の異なる 4 つのプロンプトで独立に判定させ、その賛成票の比率をソフトラベルとして学習する手法を、数式・実装・定量評価まで一貫して解説します。 さらに教師役の LLM を Qwen3.6 と Gemma4 の 2 系統に分けると、単体教師で学習したモデルを上回ることを定量的に示します。
続きを読む →画像生成におけるVAEの周波数分離とその検証
拡散モデルの VRAM 制約を緩和するには VAE の圧縮率を高めたいものの、潜在チャンネルを増やすと画像の構造を担う低周波の情報が高周波の中に分散し、再構成は良くなっても生成品質は落ちてしまいます。 本記事では離散ウェーブレット変換で画像を低周波・高周波に分離したまま扱う VAE として、Organized AE と FAVAE の 2 つを実装し、アーキテクチャ・損失関数・学習結果を比較します。 さらに、生成まで回さずに潜在空間の良し悪しを見積もる指標（変動係数・正規化エントロピー・ジニ係数）を用いて Reconstruction-Generation Gap を分析し、FAVAE が潜在チャンネル数を増やしても潜在表現の品質を劣化させにくいことを示します。
続きを読む →軽量な画像言語モデルによるアパレルドメインでのゼロショットクラス分類パイプラインの構築
アパレル業界の短い商品サイクルに対応するには、教師データ収集に頼らず低コスト・高速にインサイトを抽出できる仕組みが求められます。 本記事では、軽量な画像言語モデル SigLIP 2 を用いたゼロショットの柄（パターン）マルチラベル分類パイプラインの構築手法と、CLIP との性能比較結果を紹介します。
続きを読む →ローカルで動かす日本語音声認識 - Moonshine Tiny（PyTorch）＋ VAD 前処理
軽量な日本語ASRモデル Moonshine Tiny を、量子化なしの素の PyTorch で手元の音声に対して動かす手順を、ステップ・バイ・ステップで解説します。 素朴な全体一括の文字起こしが破綻する理由を確認したうえで、Silero VAD と1秒のオンセットバッファによる前処理を加えて実用的な精度にするところまでを扱います。
続きを読む →LLM開発コンペ2025参戦記： マルチノードで動かすvLLM そのハマりどころと要点
東京大学松尾・岩澤研究室主催のLLM開発コンペ2025における評価班の取り組みについて説明します。参加したRAMENチームはなんと予選通過を果たしました。そこで得た、LLMモデルをHPCクラスタ（マルチGPU/マルチノード）環境下でモデル評価ツールvLLMを動かすための注意点を列挙。原因・背景も記載したので、できれば機序を理解しつつFIXにご利用ください。
続きを読む →