Jak korzystać z ComfyUI: przepływy pracy, modele i konfiguracja

ComfyUI to darmowa aplikacja do lokalnego generowania obrazów i filmów AI na własnym komputerze. Jest przeznaczona dla użytkowników, którzy chcą mieć większą kontrolę niż ta, którą oferuje typowe narzędzie oparte na promptach i generowaniu, umożliwiając podgląd i dostosowywanie każdego etapu procesu generowania. Ta elastyczność wiąże się z krzywą uczenia się, dlatego ten przewodnik pomoże Ci zacząć – od instalacji po uruchomienie i modyfikowanie pierwszego przepływu pracy.

Co jest potrzebne przed rozpoczęciem

ComfyUI wymaga komputera z wystarczającymi zasobami GPU dla modeli i przepływów pracy, które chcesz uruchamiać. Większe modele i bardziej wymagające przepływy pracy zwykle potrzebują więcej pamięci VRAM.

Będziesz także potrzebować plików modeli wykorzystywanych przez Twój przepływ pracy. W zależności od modelu mogą to być checkpointy, modele dyfuzyjne, VAE, enkodery tekstu, LoRA lub inne komponenty. Pliki te są zwykle przechowywane w katalogu ComfyUI/models.

Jeśli nie masz odpowiedniego GPU lokalnie, możesz również uruchomić ComfyUI na zdalnym pulpicie z GPU. Przenosi to obciążenie generowania na zdalne GPU, a jednocześnie pozwala uzyskać dostęp do pulpitu ze zwykłego komputera.

Instalacja ComfyUI

Dla systemów Windows i macOS ComfyUI zaleca nowym użytkownikom swoją aplikację desktopową. Istnieją też inne metody instalacji, w tym instalacja ręczna oraz narzędzie wiersza poleceń ComfyUI. Odpowiednia metoda zależy od Twojego systemu operacyjnego i konfiguracji.

Po zainstalowaniu ComfyUI uruchom aplikację i otwórz interfejs. Zobaczysz obszar roboczy przepływu pracy oraz narzędzia służące do tworzenia przepływów i zarządzania nimi.

Dlaczego przepływy pracy ComfyUI mają znaczenie

Przepływ pracy ComfyUI określa sposób generowania obrazu lub filmu. Steruje modelami, ustawieniami i krokami przetwarzania używanymi do uzyskania końcowego wyniku.

Daje to znacznie większą kontrolę niż proste pole promptu. Możesz zmienić model, dodać LoRA, użyć obrazu wejściowego, dostosować ustawienia generowania, przeskalować wynik lub dodać inne kroki przetwarzania.

Przepływy pracy można również zapisywać i ponownie wykorzystywać. Zamiast odbudowywać tę samą konfigurację za każdym razem, możesz zachować przepływ, który daje zadowalające rezultaty, i zmieniać poszczególne ustawienia w razie potrzeby. Możesz też pobierać przepływy pracy utworzone przez innych użytkowników i dostosowywać je do własnej konfiguracji.

Zrozumienie przepływu pracy ComfyUI

Przepływ pracy składa się z połączonych węzłów. Każdy węzeł obsługuje określoną część procesu generowania, a połączenia określają sposób przepływu informacji między nimi.

Podstawowy przepływ pracy tekst-obraz może zawierać węzły do ładowania modelu, wprowadzania promptu, tworzenia początkowych danych obrazu, generowania obrazu, dekodowania wyniku i zapisywania go.

• Ładowarka modeli: Ładuje model używany do generowania.
• Enkoder tekstu: Przekształca prompt w informacje, które model może wykorzystać.
• Sampler: Przeprowadza proces generowania przy użyciu wybranych ustawień.
• VAE: Dokonuje konwersji między danymi ukrytymi a obrazem.
• Zapisz obraz: Zapisuje wygenerowany obraz na dysku.

Nie musisz budować każdego przepływu pracy od zera. ComfyUI udostępnia szablony przepływów pracy, a wiele przepływów społecznościowych można pobrać i otworzyć bezpośrednio.

Ładowanie istniejącego przepływu pracy

Korzystanie z istniejącego przepływu pracy jest zwykle najłatwiejszym sposobem na rozpoczęcie. ComfyUI oferuje przykładowe przepływy pracy dla różnych modeli i zadań, a witryny społecznościowe udostępniają ich znacznie więcej.

Wiele obrazów przepływów pracy zawiera dane przepływu w swoich metadanych. Możesz przeciągnąć obraz do ComfyUI lub użyć opcji Workflows → Open, aby go załadować. Przepływ pracy pojawi się na obszarze roboczym z już skonfigurowanymi węzłami i ustawieniami.

Po załadowaniu przepływu sprawdź, jakich modeli on oczekuje. Jeśli brakuje wymaganych plików, ComfyUI może zidentyfikować brakujące modele dla obsługiwanych szablonów przepływów pracy. W przypadku innych przepływów może być konieczne samodzielne znalezienie i zainstalowanie modeli.

Znajdowanie modeli dla ComfyUI

Modele można znaleźć w repozytoriach takich jak Hugging Face i Civitai, a także na stronie projektu samego modelu. Ważne jest znalezienie modelu zgodnego z przepływem pracy, którego chcesz użyć.

Nie zakładaj, że dowolny plik modelu można załadować do dowolnego przepływu pracy. Różne architektury modeli mogą wymagać różnych ładowarek i plików pomocniczych.

Przed pobraniem modelu sprawdź:

• architekturę i wersję modelu,
• wymagany przepływ pracy ComfyUI,
• format pliku modelu,
• zalecaną pamięć VRAM i sprzęt,
• wszelkie wymagane pliki VAE, enkodera tekstu, LoRA lub inne pliki pomocnicze,
• licencję modelu i ograniczenia dotyczące użytkowania.

ComfyUI obsługuje kilka typów plików modeli. Folder zależy od typu instalowanego modelu. Na przykład checkpointy można umieszczać w models/checkpoints, pliki LoRA w models/loras, a pliki VAE w models/vae. Niektóre nowsze modele korzystają z folderów takich jak models/diffusion_models i models/text_encoders.

Instalowanie modelu

Po pobraniu modelu umieść go w katalogu oczekiwanym przez przepływ pracy. Następnie możesz wybrać go w odpowiedniej ładowarce modeli.

Na przykład checkpoint może być przechowywany w:

ComfyUI/models/checkpoints/

Plik LoRA może natomiast być przechowywany w:

ComfyUI/models/loras/

Jeśli nowy model nie pojawia się na liście modeli, odśwież interfejs lub uruchom ponownie ComfyUI.

Instalowanie niestandardowych węzłów

Wiele zaawansowanych przepływów pracy ComfyUI korzysta z niestandardowych węzłów, które nie są zawarte w standardowej instalacji. Przepływ pracy może pokazywać brakujące węzły, jeśli te zależności nie zostały zainstalowane.

ComfyUI udostępnia Menedżera do instalowania niestandardowych węzłów. Węzły można również instalować ręcznie, umieszczając ich repozytoria w katalogu custom_nodes i instalując wymagane zależności.

Instaluj niestandardowe węzły wyłącznie z zaufanych źródeł. Niestandardowe węzły mogą zawierać kod wykonywalny i mogą mieć własne zależności oraz kwestie bezpieczeństwa.

Uruchamianie i modyfikowanie przepływu pracy

Po zainstalowaniu wymaganych modeli i niestandardowych węzłów sprawdź ważne ustawienia w przepływie pracy. Zacznij od modelu, promptu, wymiarów obrazu i ustawień próbkowania.

Gdy wszystko jest gotowe, użyj przycisku Queue, aby uruchomić przepływ pracy. ComfyUI przetwarza każdy krok i generuje wynik określony przez przepływ.

Następnie możesz modyfikować poszczególne części przepływu pracy bez jego ponownego budowania. Dodaj LoRA, podłącz obraz wejściowy, zmień sampler, dodaj narzędzie do skalowania w górę lub dostosuj inne ustawienia, aby zmienić wynik.

Zapisywanie przepływów pracy

Zapisuj przepływy pracy, które zamierzasz ponownie wykorzystać. Przepływ pracy zawiera graf węzłów i jego ustawienia, ale niekoniecznie zawiera same pliki modeli. Śledź, jakich modeli i niestandardowych węzłów wymaga dany przepływ.

Ma to szczególne znaczenie podczas przenoszenia przepływu pracy na inny komputer lub pulpit w chmurze. Może być konieczne zainstalowanie tych samych modeli i niestandardowych węzłów, zanim przepływ będzie działał poprawnie.

Wypróbuj ComfyUI na DaDesktop

Nie musisz kupować nowego GPU tylko po to, aby uruchomić ComfyUI. Jeśli Twój obecny komputer nie ma wystarczających zasobów GPU, możesz uruchomić ComfyUI na pulpicie w chmurze i korzystać z niego wtedy, gdy go potrzebujesz.

DaDesktop oferuje pulpity w chmurze z dedykowanymi zasobami GPU do zadań takich jak generowanie obrazów i filmów AI. Możesz zainstalować ComfyUI, pobrać wybrane modele i budować własne przepływy pracy bez dodawania dedykowanego GPU do komputera lokalnego.

Dowiedz się więcej o generowaniu obrazów i filmów AI na DaDesktop. Możesz również sprawdzić dostępne procesory graficzne i wybrać konfigurację na podstawie modeli i przepływów pracy, które chcesz uruchamiać.