AI tekst na wideo bierze pisemny opis i generuje pasujący klip wideo. Technologia opiera się na tych samych podstawach co generowanie obrazów, ale dodaje wymiar czasowy, co czyni zadanie znacznie trudniejszym.

Jak działają modele tekst na wideo

Główną architekturą jest Diffusion Transformer (DiT). Zamiast usuwać szum z obrazu 2D, operuje na wolumenie 3D reprezentującym wszystkie klatki jednocześnie. Zakodowany prompt kieruje procesem.

Dlaczego wideo jest trudniejsze niż obrazy

Obraz HD zawiera około 2 milionów pikseli. 5-sekundowe wideo HD przy 30 fps zawiera około 300 milionów. Poza kosztem obliczeniowym wideo wymaga zrozumienia fizyki i związków przyczynowo-skutkowych w czasie.