ComfyUIでMochi 1を使って犬動画を作成してみた

2024年10月29日2024年11月3日

Mochi 1は最新のテキストtoムービー（T2V）動画生成AIです。家庭用PCでも稼働で来たので、記述します。

Mochi 1（モチワン）は、AI技術を活用した画像生成システムで、ユーザーのテキストによるリクエストを元に、高品質でリアルな画像を自動生成することを目的としたツールです。使いやすさを追求したインターフェースと、リクエストに応じた柔軟なカスタマイズオプションを提供しており、ユーザーが描きたいイメージを文章で説明するだけで、Mochi 1がそのビジュアルを具体化します。
特に、キャラクター、風景、オブジェクトなど、さまざまなスタイルやテーマに対応しており、ビジュアルデザイン、マーケティング資料、アニメーション、ゲーム、教育用素材など、幅広い分野で活用されています。

ComfyUIでMochi 1を使い方

ComfyUIでMochi 1を動作させるにはH100GPUが4つも必要です。そのため、プレビュー版をキジャイ氏が提供してくれているため、それを使います。

稼働までに、様々なエラーが出ますが、解説していきます。GPUはRTX3060以上を推奨します。当環境はRTX4090を使用しています。RTX2080など古いGPUでは稼働しない場合があります。

ComfyUIがインストールされている前提で記載します。

2024.10.26時点では頻繁に更新がされています。最新情報を得ながら実施してください。

ノードのダウンロード

mochi_example_49_frames_16GB.json

mochi_test_163_frames_01.json

ダウンロードしたらComfyUI上へドロップします。このようなノードが表示されます。
赤くなっているカスタムノードがあれば、それをインストールして修正します。

\ComfyUI\custom_nodesでコマンドを打ち込んで足りないカスタムノードインストール

私の場合は、以下のディレクトリになります。

D:\ComfyUI-4\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes

次のコマンドをコマンドプロンプトから打ち込んで足りないカスタムノードをインストールします。
これは、ComfyUIのマネージャーに正式に登録されていためです。

git clone https://github.com/kijai/ComfyUI-MochiWrapper.git
cd ComfyUI-MochiWrapper
pip install -r requirements.txt
pip install SageAttention

ComfyUIマネージャーから再起動、またはComfyUIを再度立ち上げる。

赤いカスタムノードが解消されたと思います。

解消されない場合はtorch を 2.5.0にアップデートしましょう。

pip3 install torch==2.5.0 torchvision –index-url https://download.pytorch.org/whl/test/cu118
pip3 install torch==2.5.0 torchvision –index-url https://download.pytorch.org/whl/test/cu121
pip3 install torch==2.5.0 torchvision –index-url https://download.pytorch.org/whl/test/cu124

テスト動画を作ってみる。

あまり長すぎるプロンプトは入りません。（公式サイトではもっと長いプロンプトが使用できました。）
以下のプロンプトで実施した結果が以下の動画です。

A small short-haired Pomeranian discovers a small pond in the woods. The camera captures the Pomeranian’s expression. The background has depth of field, creating a fantastical mood. A beautiful Japanese goddess slowly appears from the pond, holding a golden mallet. The goddess smiles and speaks to the Pomeranian.