Денешните апликации за правење видео од слика или од текст (prompt) се далеку понапред од тоа што беа пред само една година. Треба да се потсетиме дека тогаш бројот на овие апликации беше мал, а дека сега ги има во голем број.
Од нашите поранешни експерименти, Runway и Pika се покажаа како најнапредни, но тоа беше пред да излезе LumaLabs. Автономијата со која функционира LumaLabs е одлична и ги надмина претходните апликации. Се чини дека додека Sora не излезе за јавна употреба – никој друг нема шанса.
Забелешка: Runway Gen-3 Alpha е достапен од денес, но не дозволува аплоадирање на слика, туку изработка на видео од prompt, па засега не можеме да го вклучиме во споредбата.
Исто така, постои една апликација која се чини многу понапредна од сите други и се вика Kling AI, но за жал засега таа е достапна само во Кина.
Овој пат ги пробавме Haiper, Genmo, Pika, Pixverse, Runway и LumaLabs. За почетна слика го искористивме познатото дело „Охридски рибари“ од нашиот сликар Лазар Личеноски од 1958 година.
Ја искористивме оваа слика и го направивме видеото на англиски јазик со желба некои од нашите класични уметнички дела да се најдат во контекстот на модерните технологии и трендови.
Да видиме како овие апликации ја анимираа сликата со наредбата „a painting of a group of people in a boat fishing“.
Анализа
Да ги видиме посебно предностите и недостатоците на секоја од овие апликации. Недостатоци има многу, особено зашто се работи за уметничко дело (особено слика со послаба резолуција), а не фотографија, но нашата цел во тестовите кои ги правиме е да ги предизвикаме апликациите (како со панграмот на македонски), наместо да покажеме колку се кул и добри.
Haiper
Haiper е бесплатна апликација која дава доста добри резултати. Рибарите се анимирани со доста конзистеност (нема вишок екстремитети и менување стил сред анимацијата). Сепак недостасува придвижување на водата и елементите околу главните ликови.
Genmo
Утка, целата слика е заменета со друга! Genmo е уште една бесплатна апликација која е доста „креативна“ во пристапот, ако под креативност подразбираме непредвидливост. Експресионистичкиот стил на Личеноски е заменет со поинтилистички стил и доста потсетува на пост-импресионистички или поинтилистичкиот стил на Жорж Сера (особено на делото „Неделно попладне на островот Ле Гран Жате“ 1884–1886). Се чини дека на вештачката интелигенција делото на нашиот уметник го потсетува на ова познато дело на Сера и „решило“ да го трансформира и стилот. Она што е добро е што постои доста раздвиженост во сцената (освен малото бротче кое се чини дека големото некако го породило).
PikaLabs
PikaLabs со кој инаку бевме доста задовлни овој пат потфрли, статичност на околината, водата не се движи, рибарите имаат дополнителни екстремитети или гротексни раце итн. Се чини дека на PikaLabs не му е многу јасно што се случува во сцената. Оваа апликација се плаќа и би требало да дава подобри резултати, особено со оглед на тоа дека пред половина година беше најнапредна, но се чини дека оттогаш не напредна, можеби и назадуваше (со исклучок на опцијата LipSync – но веќе сите апликации ја имаат).
PixVerse
PixVerse е уште една бесплатна и доста непредвидлива апликација. Некогаш дава добри резултати, овој пат не. Околината е статична, а рибарите збунети, како и самите се зачудени зошто водата е само замрзнато масло на платно, а мрежите укрутени, па се обидуваат да ги скршат како мраз.
Runway Gen-2
Runway Gen-2 дава доста добри резултати. Сцената е динамична, езрото разбранувано, но за жал, рибарите се статични. Оваа платена апликација, сепак би требало да има повеќе интуитивност.
LumaLabs
LumaLabs, како најнова апликација, дава најдобри резултати. Целата сцена е динамична, се случува бура, рибарите се борат со брановите да ја задржат рамнотежата и мрежите да не им бидат истргнати од рацете. Единствен недостаток е нешто што најдобро можеме да го дефинираме како „пластичност“. Се чини како водата да е од пластика и тоа не онаа што се наоѓа во Охридското езеро од невнимателните туристи. Водата има некој неприроден квалитет кој не е уметнички, нема врска со стилот на сликарот, туку со стиловите на кои е трениран моделот. Се чини како моделот да сакал на сила да создаде 3D анимација од сликата, па ни самиот не бил сигурен дали треба да го направи тоа и застанал некаде на половина пат.
Заклучок?
LumaLabs победи, но неубедливо.
Повторно, како и во нашите претходни експерименти, се наметнува заклучокот дека сите овие модели преферираат реалистичен (или компјутерски генериран) стил, за разлика од уметничките стилови со кои имаат повеќе проблеми.
Но, како што стоеја работите со пишување на панграм на македонски јазик со помош на јазични модели, што пред половина година беше нерешлив проблем, а денес се решава во 2-3 чекори – така очекуваме и апликациите за слика-во-видео да ги надминат нивните проблеми.