Google Research zaprezentowało nowatorską technologię generowania wideo Lumiere AI. Jest to model bazujący na architekturze „Space-Time U-Net”, który może generować animowane wideo w jednym przejściu modelu. Lumiere AI wyróżnia się na tle innych narzędzi do generowania wideo sztuczną inteligencją, oferując zaawansowane możliwości edycji i stylizacji wideo.
Co potrafi Lumiere AI?
Model ten może generować realistyczne i stylizowane wideo z tekstowych lub obrazowych danych wejściowych. Na przykład, użytkownicy mogą wprowadzić opis tekstowy sceny, którą chcą zobaczyć w wideo, a Lumiere AI wygeneruje wideo przedstawiające tę scenę. Ponadto, Lumiere AI obsługuje takie funkcje jak: uzupełnianie obrazu, kinografika oraz generowanie stylizowane. Model może również edytować istniejące wideo na podstawie poleceń tekstowych, takich jak „zmień kolor sukienki na czerwony”.
Porównanie z innymi modelami AI do wideo
Chociaż Lumiere AI nie jest pierwszym modelem próbującym generować realistyczne wideo, jest jednym z najbardziej zaawansowanych. Badacze porównali Lumiere AI z innymi modelami AI do wideo, takimi jak Pika i Runway. Stwierdzili, że Lumiere AI przewyższa je pod względem wielkości ruchu, spójności czasowej i ogólnej jakości. Użytkownicy porównują Lumiere do ChatGPT, ale w kontekście generowania wideo z tekstowych i obrazowych danych wejściowych, stylizacji, edycji, animacji i innych funkcji.
Ograniczenia i wyzwania
Mimo, że Lumiere AI jest obiecującą technologią otwierającą nowe możliwości dla generowania i edycji wideo, ma swoje ograniczenia i wyzwania. Model nie jest jeszcze dostępny do testowania, a źródło danych użytych do jego szkolenia jest niejasne. Model może mieć trudności z generowaniem wideo składających się z wielu ujęć lub obejmujących przejścia między scenami, co jest powszechną cechą naturalnych wideo. Ponadto, istnieje ryzyko nadużycia technologii do tworzenia fałszywych lub szkodliwych wideo.
Lumiere AI od Google to krok milowy w dziedzinie generowania wideo za pomocą sztucznej inteligencji. Dzięki swoim zaawansowanym funkcjom i możliwościom, Lumiere AI ma potencjał, aby zrewolucjonizować sposób, w jaki tworzymy i edytujemy wideo. Jednakże, jak każda nowa technologia, wiąże się z wyzwaniami etycznymi i technicznymi, które muszą być rozwiązane, aby w pełni wykorzystać jej potencjał.
