FAST LOOP ANIMATION

FAST LOOP ANIMATION

ComfyUI Workflow

Img2Vid

Workflow Download

Workflow Download

Resultado com Configurações Base:

  • Gera em aproximadamente 2 minutos (32 quadros + interpolação);

  • Utiliza 16GB de VRAM;

  • Produz um vídeo de 752x1344 pixels

Métodos Utilizados:

  • IPAdapter Tiled

  • IPAdapter Composition

  • AnimateDiffLCM

  • ControlNet

  • HiresFix

  • Interpolation

  • HDR

  • IPAdapter Tiled

  • IPAdapter Composition

  • AnimateDiffLCM

  • ControlNet

  • HiresFix

  • Interpolation

  • HDR

  • IPAdapter Tiled

  • IPAdapter Composition

  • AnimateDiffLCM

  • ControlNet

  • HiresFix

  • Interpolation

  • HDR

Primeiros Passos:

  • Inicie o ComfyUI e arraste o arquivo do Workflow na interface;

  • Instale os "Missing Custom Nodes" através do Manager no ComfyUI;

  • Faça download dos modelos abaixo caso não tenha e coloque em suas respectivas pastas;

  • Para iniciar o processo de geração, simplesmente arraste e solte uma imagem no node laranja "Load Image";

  • Sinta-se à vontade para ajustar o “main prompt“ e os “image qualifiers“ para refinar o contexto conforme desejado. As configurações base do workflow geram animações incríveis.


  1. Loader

Embora qualquer modelo SD1.5 seja compatível, é importante calibrar o peso do "LCM Lora" de acordo:

  • Para o modelo SD1.5, defina o peso entre 0.7 e 1.

  • Para o modelo SD1.5 LCM, ajuste o peso para ficar entre 1 e 2.

Main Model (models/checkpoints):

https://civitai.com/models/306814/photon-lcm

LCM Lora (models/lora):

https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v_lora.safetensors


  1. Seção IPAdapter:

Na seção IPAdapter, o primeiro "image loader" é designado para a imagem primária, que será cortada para combinar com o tamanho da composição. O segundo loader é destinado a uma imagem alvo da referência de composição.

ClipVision (models/clipvision):

https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K/blob/main/model.safetensors

IPAdapter PLUS (models/ipadapter):

https://github.com/cubiq/ComfyUI_IPAdapter_plus

IPAdapter Composition (models/ipadapter):

https://huggingface.co/ostris/ip-composition-adapter/tree/main


  1. Seção AnimateDiff:

Modifique a força do movimento usando o node "Multival dynamic".

Motion Model (models/animatediff_models):

https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v.ckpt


  1. Seção ControlNet

Escolha entre três ControlNets disponíveis:

Tile (models/controlnet):

https://huggingface.co/lllyasviel/ControlNet-v1-1/blob/main/control_v11f1e_sd15_tile.pth

Reference ControlNet:

Vem integrado com os nodes customizados Advanced ControlNet.

SparseCtrl (models/controlnet):

https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_sparsectrl_rgb.ckpt


  1. KSampler / HighRes Fix

  • O node "PatchModelAdd" é projetado para prevenir deformações e artefatos ao exceder os limites de proporção do sd1.5. Esta etapa pode ser ignorada.

  • Não são necessários ajustes para as opções de Ksampler.

  • Ajuste o script de Highres fix com base em suas dimensões iniciais e capacidade de VRAM.


  1. Output

  • "GMFSS Fortuna" interpolará seu vídeo, proporcionando uma saída mais suave e alongada. O multiplicador é normalmente definido como 2 ou 3.

  • Especifique um diretório e nome de arquivo personalizados abaixo da saída de vídeo para manter sua pasta de saída organizada.

  • Um fluxo de saída HDR opcional foi incluído para sua conveniência.

Primeiros Passos:

  • Inicie o ComfyUI e arraste o arquivo do Workflow na interface;

  • Instale os "Missing Custom Nodes" através do Manager no ComfyUI;

  • Faça download dos modelos abaixo caso não tenha e coloque em suas respectivas pastas;

  • Para iniciar o processo de geração, simplesmente arraste e solte uma imagem no node laranja "Load Image";

  • Sinta-se à vontade para ajustar o “main prompt“ e os “image qualifiers“ para refinar o contexto conforme desejado. As configurações base do workflow geram animações incríveis.


  1. Loader

Embora qualquer modelo SD1.5 seja compatível, é importante calibrar o peso do "LCM Lora" de acordo:

  • Para o modelo SD1.5, defina o peso entre 0.7 e 1.

  • Para o modelo SD1.5 LCM, ajuste o peso para ficar entre 1 e 2.

Main Model (models/checkpoints):

https://civitai.com/models/306814/photon-lcm

LCM Lora (models/lora):

https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v_lora.safetensors


  1. Seção IPAdapter:

Na seção IPAdapter, o primeiro "image loader" é designado para a imagem primária, que será cortada para combinar com o tamanho da composição. O segundo loader é destinado a uma imagem alvo da referência de composição.

ClipVision (models/clipvision):

https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K/blob/main/model.safetensors

IPAdapter PLUS (models/ipadapter):

https://github.com/cubiq/ComfyUI_IPAdapter_plus

IPAdapter Composition (models/ipadapter):

https://huggingface.co/ostris/ip-composition-adapter/tree/main


  1. Seção AnimateDiff:

Modifique a força do movimento usando o node "Multival dynamic".

Motion Model (models/animatediff_models):

https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v.ckpt


  1. Seção ControlNet

Escolha entre três ControlNets disponíveis:

Tile (models/controlnet):

https://huggingface.co/lllyasviel/ControlNet-v1-1/blob/main/control_v11f1e_sd15_tile.pth

Reference ControlNet:

Vem integrado com os nodes customizados Advanced ControlNet.

SparseCtrl (models/controlnet):

https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_sparsectrl_rgb.ckpt


  1. KSampler / HighRes Fix

  • O node "PatchModelAdd" é projetado para prevenir deformações e artefatos ao exceder os limites de proporção do sd1.5. Esta etapa pode ser ignorada.

  • Não são necessários ajustes para as opções de Ksampler.

  • Ajuste o script de Highres fix com base em suas dimensões iniciais e capacidade de VRAM.


  1. Output

  • "GMFSS Fortuna" interpolará seu vídeo, proporcionando uma saída mais suave e alongada. O multiplicador é normalmente definido como 2 ou 3.

  • Especifique um diretório e nome de arquivo personalizados abaixo da saída de vídeo para manter sua pasta de saída organizada.

  • Um fluxo de saída HDR opcional foi incluído para sua conveniência.

Primeiros Passos:

  • Inicie o ComfyUI e arraste o arquivo do Workflow na interface;

  • Instale os "Missing Custom Nodes" através do Manager no ComfyUI;

  • Faça download dos modelos abaixo caso não tenha e coloque em suas respectivas pastas;

  • Para iniciar o processo de geração, simplesmente arraste e solte uma imagem no node laranja "Load Image";

  • Sinta-se à vontade para ajustar o “main prompt“ e os “image qualifiers“ para refinar o contexto conforme desejado. As configurações base do workflow geram animações incríveis.


  1. Loader

Embora qualquer modelo SD1.5 seja compatível, é importante calibrar o peso do "LCM Lora" de acordo:

  • Para o modelo SD1.5, defina o peso entre 0.7 e 1.

  • Para o modelo SD1.5 LCM, ajuste o peso para ficar entre 1 e 2.

Main Model (models/checkpoints):

https://civitai.com/models/306814/photon-lcm

LCM Lora (models/lora):

https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v_lora.safetensors


  1. Seção IPAdapter:

Na seção IPAdapter, o primeiro "image loader" é designado para a imagem primária, que será cortada para combinar com o tamanho da composição. O segundo loader é destinado a uma imagem alvo da referência de composição.

ClipVision (models/clipvision):

https://huggingface.co/laion/CLIP-ViT-H-14-laion2B-s32B-b79K/blob/main/model.safetensors

IPAdapter PLUS (models/ipadapter):

https://github.com/cubiq/ComfyUI_IPAdapter_plus

IPAdapter Composition (models/ipadapter):

https://huggingface.co/ostris/ip-composition-adapter/tree/main


  1. Seção AnimateDiff:

Modifique a força do movimento usando o node "Multival dynamic".

Motion Model (models/animatediff_models):

https://huggingface.co/wangfuyun/AnimateLCM/blob/main/AnimateLCM_sd15_t2v.ckpt


  1. Seção ControlNet

Escolha entre três ControlNets disponíveis:

Tile (models/controlnet):

https://huggingface.co/lllyasviel/ControlNet-v1-1/blob/main/control_v11f1e_sd15_tile.pth

Reference ControlNet:

Vem integrado com os nodes customizados Advanced ControlNet.

SparseCtrl (models/controlnet):

https://huggingface.co/guoyww/animatediff/blob/main/v3_sd15_sparsectrl_rgb.ckpt


  1. KSampler / HighRes Fix

  • O node "PatchModelAdd" é projetado para prevenir deformações e artefatos ao exceder os limites de proporção do sd1.5. Esta etapa pode ser ignorada.

  • Não são necessários ajustes para as opções de Ksampler.

  • Ajuste o script de Highres fix com base em suas dimensões iniciais e capacidade de VRAM.


  1. Output

  • "GMFSS Fortuna" interpolará seu vídeo, proporcionando uma saída mais suave e alongada. O multiplicador é normalmente definido como 2 ou 3.

  • Especifique um diretório e nome de arquivo personalizados abaixo da saída de vídeo para manter sua pasta de saída organizada.

  • Um fluxo de saída HDR opcional foi incluído para sua conveniência.

© 2023 Utopia Criativa

© 2023 Utopia Criativa