Cara Menjalankan Nvidia Cosmos Predict2 di ComfyUI Modal.com (Backup)

Cara Menjalankan Nvidia Cosmos Predict2 di ComfyUI Modal.com - Halo kawan, Artikel kali ini adalah mengenai bagaimana cara menjalankan model generative ai text to image (t2i) dari Nvidia.

Seperti yang kalian tahu Nvidia yang dulu merupakan perusahaan produsen Gaming GPU yang sekarang sedang merambah ke pasar Ai

nvidia juga mempunyai lab ai yang melatih model-medel Ai yang di bagikan ke publik salah satunnya adalah model generative ai bernama Cosmos Predict2, model ini bukan hanya tersedia untuk generative ai gambar text to image (t2i), namun juga ada untuk model generative video image to video (i2v) dengan nama cosmos predict2 Video2World.

yang akan saya tulis kali ini khusus untuk model generative ai gambar (t2i) dulu ya untuk tutorial menjalankan model generative ai video akan saya tulisakan di lain kesempatan.

Saya sendiri tertarik untuk mencoba modal generative ai ini karena berawal dari melihat postingan di teitter yang sekarang bernama X yang memperlihatkan perbandingan Quality Benchmarks dari medel generative ai text to image seperti Stable Diffusion XL, DALL-E 3, Flux 1-Dev, dan Cosmos-Predict2 itu sendiri yang mana Cosmos-Predict2 sudah memiliki skor Benchmarks yang melewati model lain ini.

Kalian dapat melihat perbandingan banchmarks ini di repository huggingface nvidia cosmos predict2 README.md

Oke, karena comfy sudah membagikan workflow dan dokumentasi dari cara menjalankan model cosmos predict2 ini di blog nya. jadi dapat dikatakan comfyui sudah full support dan stabil untuk dapat menjalankan model ai ini.

Di tutorial ini saya masih menggunkan comfyui yang saya jalankan di modal.com, jika kalian mau tau cara install comfyui untuk dijalankan di GPU modal.com silahkan baca artikel saya sebelumnya: Cara Menjalankan Comfyui di Modal.com

Cara Menjalankan model ai T2I Nvidia Cosmos Predict2 di ComfyUI GPU Modal.com

1. Tentu saja kalian perlu menginsatall kan atau mengupdate ComfyUI nya dulu ya ke versi baru agar support, saya menggunkan comfyui nightly version: v0.3.41-3-gd7430c52 dan comfyui manager version: V3.33.1
2. Selanjutnya adalah mendownload file Diffusion model, Text encoder, dan VAE nya ke comfyui. kita akan menggunkan node model downloader untuk digunkan mendownload ke tiga file tersebut langsung kedalam comfyui nya.
3. Caranya, klik Manager > Costum Nodes Manager, dan cari ComfyUI Model Downloader dan intallkan lalu restart comfyui nya
4. Selanjutnya kita buat workflow baru > klik Node Library > cari node HF Download dan masukkan ke dalam workflow barunya.
5. Pertama kita download model ai nya, ini url repo hf nya: https://huggingface.co/Comfy-Org/Cosmos_Predict2_repackaged
6. Atur seperti ini, repo id: Comfy-Org/Cosmos_Predict2_repackaged, filename: cosmos_predict2_14B_t2i.safetensors, dan local_path: unet kemudian klik Run
7. kemudian kita download text_encoders nya, ini repo hf nya: https://huggingface.co/comfyanonymous/cosmos_1.0_text_encoder_and_VAE_ComfyUI
8. Atur seperti ini, repo id: comfyanonymous/cosmos_1.0_text_encoder_and_VAE_ComfyUI, filename: text_encoders/oldt5_xxl_fp8_e4m3fn_scaled.safetensors, dan local_path: text_encoders kemudian klik Run
9. Kemudian terakhir kita download VAE wan2.1 ada di comfyui Manager > Model Manager > cari wan2.1 vae dan klik install untuk mendownload VAE nya
10. Selanjutnya kalian download workflow json berikut Download Here dan masukkan ke dalam comfyui nya di menu Workflow > open
11. sekarang tinggal kalian coba-coba buat gambarnya ya
12. Selesai.

Catatan:

• kalian bisa sesuaikan sendiri jika ingin menjalankan model cosmos predict2 versi 2B atau yang 14B
• di bagian download model, text_encoders ini yang cukup ribet dan krusial karena belum tersedia di model manager yang saya gunakan jadi saya manual menggunakan HF downloader node, mungkin nanti jika sudah tersedia di model manager jadi lebih mudah lagi.
• di modal.com belum tersedia file manager untuk mengakses dan mengedit file di storage volumenya jadi pastikan jika mendownload model dan text_encoders manual kalian tidak salah menaruh local_path nya ya karena akan tidak terbaca di node dan perlu mendownload ulang.
• jika sudah selesai menggunkan comfyui, saya sarankan untuk mematikan service agar menghemat credit kalian. Caranya: masuk ke dashboard modal.com menu Logs > klik Stop now

Referensi:

https://docs.comfy.org/tutorials/image/cosmos/cosmos-predict2-t2i

Trimakasih kepada:

Nvidia ai lab untuk model ai yang bisa diakses publik secara gratis

Comfy untuk NodeUI open source nya

Modal.com untuk credit komputasi GPU nya