MENU
Count per Day
  • 469025総閲覧数:
  • 347今日の閲覧数:
  • 526昨日の閲覧数:
  • 4695先週の閲覧数:
  • 3053月別閲覧数:
  • 242681総訪問者数:
  • 183今日の訪問者数:
  • 213昨日の訪問者数:
  • 1540先週の訪問者数:
  • 989月別訪問者数:
  • 194一日あたりの訪問者数:
  • 5現在オンライン中の人数:
  • 2019年6月24日カウント開始日:

ComfyUIでMochi 1を使って犬動画を作成してみた

Mochi 1は最新のテキストtoムービー(T2V)動画生成AIです。家庭用PCでも稼働で来たので、記述します。

Mochi 1(モチワン)は、AI技術を活用した画像生成システムで、ユーザーのテキストによるリクエストを元に、高品質でリアルな画像を自動生成することを目的としたツールです。使いやすさを追求したインターフェースと、リクエストに応じた柔軟なカスタマイズオプションを提供しており、ユーザーが描きたいイメージを文章で説明するだけで、Mochi 1がそのビジュアルを具体化します。
特に、キャラクター、風景、オブジェクトなど、さまざまなスタイルやテーマに対応しており、ビジュアルデザイン、マーケティング資料、アニメーション、ゲーム、教育用素材など、幅広い分野で活用されています。

目次

ComfyUIでMochi 1を使い方

ComfyUIでMochi 1を動作させるにはH100GPUが4つも必要です。そのため、プレビュー版をキジャイ氏が提供してくれているため、それを使います。

稼働までに、様々なエラーが出ますが、解説していきます。GPUはRTX3060以上を推奨します。当環境はRTX4090を使用しています。RTX2080など古いGPUでは稼働しない場合があります。

ComfyUIがインストールされている前提で記載します。

2024.10.26時点では頻繁に更新がされています。最新情報を得ながら実施してください。

ノードのダウンロード

mochi_example_49_frames_16GB.json

mochi_test_163_frames_01.json


ダウンロードしたらComfyUI上へドロップします。このようなノードが表示されます。
赤くなっているカスタムノードがあれば、それをインストールして修正します。

\ComfyUI\custom_nodesでコマンドを打ち込んで足りないカスタムノードインストール

私の場合は、以下のディレクトリになります。

D:\ComfyUI-4\ComfyUI_windows_portable_nvidia\ComfyUI_windows_portable\ComfyUI\custom_nodes

次のコマンドをコマンドプロンプトから打ち込んで足りないカスタムノードをインストールします。
これは、ComfyUIのマネージャーに正式に登録されていためです。

git clone https://github.com/kijai/ComfyUI-MochiWrapper.git
cd ComfyUI-MochiWrapper
pip install -r requirements.txt
pip install SageAttention

ComfyUIマネージャーから再起動、またはComfyUIを再度立ち上げる。

赤いカスタムノードが解消されたと思います。

解消されない場合はtorch を 2.5.0にアップデートしましょう。

pip3 install torch==2.5.0 torchvision –index-url https://download.pytorch.org/whl/test/cu118
pip3 install torch==2.5.0 torchvision –index-url https://download.pytorch.org/whl/test/cu121
pip3 install torch==2.5.0 torchvision –index-url https://download.pytorch.org/whl/test/cu124

テスト動画を作ってみる。

あまり長すぎるプロンプトは入りません。(公式サイトではもっと長いプロンプトが使用できました。)
以下のプロンプトで実施した結果が以下の動画です。

A small short-haired Pomeranian discovers a small pond in the woods. The camera captures the Pomeranian’s expression. The background has depth of field, creating a fantastical mood. A beautiful Japanese goddess slowly appears from the pond, holding a golden mallet. The goddess smiles and speaks to the Pomeranian.

かなり時間がかかる。体感で20分ほど。解像度を上げすぎるとGPUメモリが足りず、メインメモリを使用するため超遅くなります。公式サイトでは高画質でしかもかなり速い速度で生成されます。

現状ではこのレベルです。やはりサーバーの処理には勝てず、クリエイティブに製作するにはお金を払ってGEN3を使った方が作業性は良いです。

家庭用PCでは元になる静止画の生成をFLEX1で作るのが適しているかなぁ。

一部、画質が乱れているところがありますね。

Mochi 1良かった点としては

Mochi 1の良かった点としては、クオリティーですね。ローカル環境でこのレベルはかつてなかった。

犬がしっかりと歩いているし、被写界深度が変わってピントが女性に切り替わるとか、トランジション的な動きも指示できるみたいです。

この後、動画をアップスケールしてHD解像度1080pなどにできれば、良いですね。高性能なGPUが必要です。

この記事が気に入ったら
いいね または フォローしてね!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

コメント

コメントする

目次