Lokalni generatori slika – imaju li smisla?

Ima li što da može obraditi postojeću fotku?

Treba mi za obradu rendera kuća u projektiranju, nema apsolutno nikakve veze s fotkama bivše žene niti susjede...

"Sam sam koristio Stable diffusion prije cca dvije godine na 12700k + Nvidia 3060ti i generiranje, ovisno o zahtjevnosti traje oko 20-30 minuta, u nekim slučajevima i sat vremena. Na nekoj boljoj kartici sa više VRAM-a bi to bilo konkretno kraće ali niti blizu brzini kako ova mašina u članku generira. "

Iskreno, ne znam sto i kako si ti generirao, ali 20-30 minuta (u nekim slucajevima i sat vremena) je nonsens. Besmislica. Ne kazem da se to tebi nije tocno tako desilo, ali ako je, za to apsolutno nisu krive sposobnosti tog harvera.

Sto je tocno Bug ovdje testirao i kako je testirao nemam pojma, no, i ovaj clanak je pun besmislica i netocnih tvrdnji.

Za pocetak, evo vam real user case scenario - razliciti modeli i vremena generiranja na "average joe" hardveru - 4060 8gb i 32gb ddr4 memorije.

Koristen je Vas prompt ""a photorealistic mountain landscape at golden hour, crystal clear lake reflection, dramatic clouds, sharp detail"

Elem. sve je 1024x1024 (iako je ovo pogresan izbor rezolucije, no o tome dalje u tekstu), pokusao sam koristiti iste modele (ako ih imam), ili neke koji su bazirani na njima (ako je moguce), kao i neke jako relevatne modele koje Vi, iz nekog razloga, niste ni spomenuli.

Flux2 KLEIN - 20 sekundi. Best choice sampler - 40 sekundi (razlika u kvaliteti minimalna). (napomena - prvo generiranje traje cca 10 sekundi duze zbog ucitavanja modela u vram, svako slijedece - vrijednost je oko 19-21 sekunda, zaokruzeno na 20 sekundi)

Flux2 KLEIN KV model (model za editiranje slika) - 50 sekundi, single-pass kompletna promjena odjece, polozaja tijela, osvjetljenja, pozadine original slike uz zadrzavanje identicnosti subjekta (uz napomenu da se ovdje radi o vecoj slici rezolucije 1288x1408).

Flux2 KLEIN KV model - signle pass editiranje 2 odvojene referentne slike, IPAdapter, spajanje subjekata uz promjenu polozaja tijela, osvjetljenja, pozadine...... (1024x1024) - 65 sekundi.

Flux 2 DEV model - najsporiji moguci izbor, oko 5 minuta, cesti su OOM errori, tako da ovaj model preskociti ako se ima kartica s 8Gb Vrama. Kreirana slika kvalitetom i nije toliko iznad KLEIN modela, tako da se nema smisla patiti.

Z IMAGE BASE TURBO model (10 step)  - 19 sekundi.

Z IMAGE BASE model (25 step) - 63 sekunde.

QWEN IMAGE 2509/2011 - oko 120 sekundi, give or take (dosta random rezultati svake generacije - veliki model, cesti RAM/VRAM offload, sto utjece na neku konzistentnost rezultata)

QWEN EDIT 2509/2011 - oko 1 minute (ponovo, cesti offload)

Flux 1 - u bilo kojoj inacici - prevazidjen model, ne pronalazim neku vrijednost u njemu vise, posebice ne nakon izlaska Flux 2 modela.

Honorable mentions:

Pony model(i) - 15-tak sekundi za 1024x1024 sliku (los izbor rezolucije)

SDXL model(i) - 15-tak sekundi

SD 1.5 model(i) - 10 sekundi

Treba spomenuti jos i razne video modele (wan i slicne), koji takodjer rade u granicama zdravog razuma, nisam sad isao testirati svaki, no onako po sjecanju, 10 sekundi videa (ovisno o rezoluciji) 1-3 minute.

Dakle, real world primjeri iz kojih je jasno vidljivo da tvrdnje iznesene u tekstu jednostavno nisu tocne. Iako su tocne. Da, radi se o velikim modelima, radi se o "sporim" modelima, i njihovo izvodjenje na nekom sub-optimalnom hardveru zna biti problematicno za korisnika, uz dugo vrijeme generiranja. MEDJUTIM - sve ovo se rijesava s dvije stvari - pametnom kombinacijom modela (jer, postoje i Q verzije), pametnim izborom CLIPA (takodjer, postoje i Q verzije, postoje i abliterated verzije) , kao i VAE encodera. Nadalje, korisnicima sa slabim hardverom su dostupne, osim spomenutih quant modela, i razne "Turbo, lighting" i slicne LORE, koje drasticno smanjuju vrijeme generiranja, bez previse vidljivog utjecaja na kvalitet slike.

Tako da, Bug-ovci su u pravu - sporo je, ali ne toliko sporo koliko oni to prikazuju. Lose optimiziran workflow mozda? Nebitno.  A preporuka za SD3.5 model, u doba FLux2 je..... dajte, ljudi, ozbiljno?

Za average joe korisnika koji zeli kreirati neke svoje ej-aj aj-aj slike, ili zeli svoju fotografiju kombinirati da ima uspomenu na intimni moment s Lepom Brenom (random izbor lika) - sasvim izvedivo, bez muke i predugog cekanja cak i na potato pc. Samo treba malo volje, vremena za poskidati sve modele, uz bazicno poznavanje Comfy UI i pomoc dobre duse koja ce donirati kvalitetan i optimiziran workflow.

Medjutim, ono sto mene fascinira (ne u dobrom smislu) u ovom tekstu je.... hmm....usudit cu se reci nepoznavanje nacina na koji novi modeli (posebice flux2, ali i jos brutalnije izvedbe u vidu đepeta (chatgpt) ili nano banane) funkcioniraju.

Prompt tipa "a photorealistic mountain landscape at golden hour, crystal clear lake reflection, dramatic clouds, sharp detail" (koji se ovdje koristio) je relikt proslosti, koji funkcionira samo na starim modelima (sd, sdxl), dok u novim modelima jednostavno puko nabrajanje pojmova (mountain, landscape, lake, reflection, srac truc) funkcionira kao i prdac u kadi. na moment dobijes feeling jacuzzija, ali to nije to.

E nije ni ovo.

Ubacivanje pojmova u simple recenice koje kakti daju neki kontekst je toliko old century...

Danasnji modeli funkcioniraju dobro kod primjene ovih "old school" sitema prompta, ali ono gdje funkcioniraju izvanredno je kad user prestane pisati sto ON zeli da vidi na slici, i prompt pocme slagati tako da model VIDI sto je na slici. Ne "sto je nesto", vec "kako je nesto".

Kako to tocno i zasto funkcionira bolje od "1girl, big boobs" prompta? E, to ipak ostavljamo za neke druge prilike. 

(prilog 2 brzinske slike bez previse razmisljanja koje (nadam se) zorno demonstriraju o cemu govorim)

evo kao da je đepeto pisao, no....

ne fasciniram se uopce vise toliko aspektima samog generiranja slike, obislo me to, odavno se igram sa tim modelima da bi mi to nesto bilo wow, no ovi novi modeli imaju stvarne upotrebljive mogucnosti, osim stvaranja "cool slicica i memeova", tako da kad imam volje i vremena se vise baziram na "kako da to radi najbolje na onom sto imam" i kako da to natjeram da radi najbolje sto moze.

fazni pomak i razmisljanju s "1 zemska, velke sise", odnosno pisanja generickih literalnih promptova na stvarni inzinjering, koji jezicima medicine, fizike, kemije, biologije i matematike.... modelu govori sto se nalazi na slici je trenutno izuzetno zabavno, jer tu najbolje vidis i shvatis koliko su modeli napredovali, ali nazalost u nekim segmentima i nazadovali.

 Naslov clanka: "Lokalni generatori slika..."

Ali nema veze. Zašto nebi spomenili jedan od najboljih modela na planetu, koji se pokreće na mašinama... koje su postale veći ekološki problem od datacentara.

 Napisan je čisto da možemo malo pročitat o tome, i apsolutno ne napravit ništa po tom pitanju, 99%. A mogao bi biti koristan (ali koga boli briga) ekipi koja razmišlja o lokalnom pokretanju AI modela za generiranje slika (odma znaš da je slična situacija sa tekstualnim). A koja je to ekipa... ja znam za što bi meni bilo korisno, npr... bilježim se sa štovanjem XD

tocno je da je flux2dev jako tezak model, zajedno s enkoderom ce pojesti i do 90gb vrama. vasi testovi su provedeni na uredjaju koji doduse ima dovolju kolocinu vrama, ali koristi unificiranu memoriju koja je barem 5 puta sporija od one ugradjene na jednu 5090.

nadalje, gr10 cip ima graficki dio sa koliko? 6000 cuda jezgri? 5090 ima koliko ono? 24000 cuda jezgri? dalje, cijeli taj uredjaj trosi koliko trose sami ventilatori na 5090.

softerska optimizacija na arm platformi je smijurija, u kombinaciji s sporim vramom i zanemarivom broju cuda jezgri, glavni su razlozi zasto su rezultati basih mjerenja toliko losi.

svi modeli koje sam ja naveo su cista usporedba iskljucivo vremena. znaci, kucni korisnik, consumer low end hardver. i vremena koja su sasvim prihvatljiva za izgubiti da bi se malo poigralo s ejajem.

pa cak i sa full flux 2 modelom, koji, istina, ali to sam i napisao glasno i jasno, prakticki ne radi bez prinosenja zrtve bogovima ai intelegencije. no, u onim rijetkim trenutcima kad uspije sve prozvakati u bolnom i mucnom procesu saltanja podataka sa i u vram, ram, swap file - ne treba mu 24 minute za jednu sliku. ali taj primjer mozemo slobodno zanemariti, smatrati ga anomalijom koja se nije smjela desiti, a ne necim sto "radi".

softverska optimizacija je ubila ovaj uredjaj, koji je svakako sposoban za daleko vise, slazem se. ali frenutno to nije slucaj, i pobjedjuje ga daleko jeftiniji hardver. tako da osim "fun fact" i malo reklame, koja nikome ne skodi, tu nema bas nista za average joea.

ne vjerujem da u bugu ne postoji jedna 5090 kartica, i netko tko ce uz kavicu sloziti jednu lokalnu comfyui instalaciju, pa istestirati.... no, takvi rezultati u ovom testu bi bili kontraproduktivni i anti reklama ovom uredjaju, jer znam i tvrdim da cak ni 90gb model, pokrenut na 5090 i nekom modernom sistemu s 64gb ddr5 memorije nece potrositi 24 minute za jednu sliku u 1024x1024. u worst case scenariju, prosjecno ce mu trebati oko 2 do 2.5 minuta.

tako da, u pravu ste,.mea culpa, nisu neistine,.vec poluinformacije, uz presucivanje.bitnog elementa - high end pc unistava ovak reklamirani uredjaj u lokalnom generiranju slika s ai modelima.

"takve kartice nema" i "ne moze se pokrenuti u cjelosti". sto ovo znaci? niti jedan pc ne moze pokrenuti flux2 dev model? odakle to? on ne moze stati u kolicinu vrama niti jedne consumer kartice - tocno. niti jedna consumer kartica ne moze pokrenuti ovaj model? netocno.

 Svaka.

Ok, hajmo ukljuciti razum, i ispraviti se - gotovo svaka. Odbacimo mucne eksperimente i kartice sa 6,8 i 12gb vrama, odbacimo sve kartice koje nisu Nvidia - i odgovor ostaje isti - svaka.

Jer - a to je ono sto ne razumijem gdje Vi vidite problem - model NE mora fizicki svojom velicinom stati u vram graficke kartice da bi isti radio.

A bas to potvrdjuje ono sto sam gore napisao i sto sam testirao. Ti testovi apsolutno jesu nerelevantni u usporedbi s vasim testiranjima, no kristalno jasno demonstriraju da model ne mora fizicki stati u kolicinu vrama.

Jer, ukoliko mora, kako onda radi? Kako cak i osiromaseni moderni model poput flux2 klein (9b), koji je sam tezak oko 10gb, s clipom koji je tezak 8gb radi na kartici s 8gb?

Kako neko merganje koje isti model gurne na 16-18gb, plus enkoder od 8gb opet jednako radi na kartici s 8gb vrama?

Kako flux2dev model koji s enkoderom pojede 90gb vrama ipak radi na grafickoj kartici koja ima "samo" 32gb vrama?

Magija se zove "cpu offloading" ili po naski - swappanje sa sistemskim ramom. Da, sistemski ram je ernomno sporiji, no, u pravilu, ima ga vise nego vrama.

I kad korisnik pokrene generiranje, njegovih 8, 16,  ili 32gb vrama se "instant" napuni, i onda pocima ping-pong s sistemskim ramom. Tako da kartica u svom vramu u svakom trenutku drzi samo ono sto obradjuje, sve ostalo se seta gore-dolje kroz vram/ram. Da, apsolutno, to nije idealna situacija, apsolutno usporava cijeli proces, no isti je i dalje dovoljno brz za kucnog korisnika, i cijela stvar radi izuzetno jednostavno.

Kada stvari gurnes u jos veci ekstrem, i kada kolicina vram+sistemski ram nije dovoljna, krece dodatna tura ping ponga sa swap fileom na disku. To je momentat gdje se desi odustajanje - ili odustaje korisnik, jer mu se ne ceka 4 sata (karikirano), ili odustaje model jer sistem ne moze toliko zonglirati, pa imamo OOM ili CUDA errore.

Idealan scenarij JE graficka kartica sa suludom kolicinom vrama enormne propusnosti (brzine), u kombinaciji s "six figure" kolicinom cuda jezgri, no, kako i sami kazete - takve kartice su rijetke, takve kartice su skupe, i tesko da ce se naci u prosjecnom kucnom pc-u.

Zato posao sasvim dobro odradjuju i ono sto mi nazivamo "gaming kartice". Tako da svaki korisnik relativno brzo i umjereno jeftino moze lokalno generirati slike, videe, animacije....

No, slobodno zanemarite i sve ovo gore napisano, teorija je jedno, praksa je drugo - uzmite neki average pc koji ima barem 64gb ddr5 memorije (pozeljno vise) i 5090 graficku karticu, instalirajte comfy, slozite workflow, i probajte pokrenuti taj vas full scale flux2dev model. Pa cete dobiti odgovor na pitanje - koja consumer kartica moze pokrenuti bilo koji model veci od 32gb.

E sad, tu u osnovi staje svaka daljnja diskusija i teoretiziranje s moje strane. Fair and squair - instalirajte, pokrenite, pa vidite dali radi ili ne. Ja jesam. Meni radi. Sreca, slucajnost, lutrija, bozja milost, nebitno.

Drago kaže...

Ako pod consumer karticom smatraš karticu koju možeš kupiti u dućanu i ubaciti u svoje računalo, RTX6000 Pro.

https://www.instar-informatika.hr/graficka-pny-nvidia-rtx6000-pro-blackwell-workstation-edition-96gb-gd/274234/product/

Nisu jeftine, doduše :) ali imaju 96 GB memorije.

OK.

Ovo je kao da komentiraš test teniskih reketa i buniš se što nisu testirane palice za golf.

Ja, dakle, razumijem da si ti htio neki drugi test, ali mi smo testirali frontier open wheight modele koji se mogu lokalno izvršavati. Lokalno se mogu izvršavati na nečemu što može primiti model od preko 70 GB, koliko je imao naš najveći model, dakle tvoje primjedbe su besmislene što i sam znaš, pa odatle i ovaj besmisleni odgovor da na svaku ("gotovo svaku") karticu stane i model s više od 32 GB zauzeća.

Žao mi je što nismo imali Mac Studio s hrpom RAM-a pa bi to bilo jedino što se može dodati u ovaj test što bi imalo smisla uspoređivati, ili da smo imali i Mac Studio i 256 GB verziju GX10 pa da mogu probati kako ti modeli rade na jednom i drugom (iako znam iz drugih testova da bi Mac Studio tu bio daleko bolji), a posebno da vidim kako stvarno radi HunyuanImage 3.0 kojeg na ovoj konfiguraciji nismo mogli testirati iako, naravno, "stane u gotovo svaku" karticu po tebi, a zapravo mu treba preko 200 GB memorije. 

OK, prosumer, jer ima Pro u nazivu :)

Činjenica jest da je dostupna bilo kome tko ju želi kupiti bez da se mora kontaktirati prodajnog predstavnika za jugoistočnu Europu. Po meni je to dio definicije consumer opreme. Kao i dotični ASUS kojeg ste testirali.

Mene bi sad više zanimala razlika u performansama između te skupe kartice i tog AI računala kojeg ste testirali. Pogotovo zato jer kartica ide u standardna računala, sa mogučnošću korištenja više operacijskih sustava.

 Probao sam ja urediti jednu kuhinju, više muke nego rezultata.

Probao sam gemini pro tj. nano banana 2, nekad te iznenadi koliko je realističan, nekad namjesti proporcije točno kako želiš, pa kad želiš promjeniti tip stolice onda pomakne sve u stranu jer "algoritam ne voli uske sobe". Pa kad napišeš da dimenzija mora biti točno kakva jest, kaže da AI ne razumije dimenzije. 

"Postavio sam 3 stolice jer na okrugli stol više pašu 3 stolice, iako sam svjestan da si tražio 2 stolice, evo nove slike sa 2 stolice" - na slici opet kvadratni stol sa 3 stolice. 

Nakon svega zaključak je da ti napravi 9/10 stvari odlično, ali UVIJEK zajebe jednu, toliko da ti je neupotrebljivo. 

Čak sam pokušao "obnoviti" slike ljudi jer me to prijatelji inače zamole da im odradim u Photoshopu, i iako često ispadne dobro, nekad oboji ženi kosu u ljubičasto jer ima ljubičastu suknju, pa "paše". I onda kažeš samo da obnovi boju kose, pa sjebe nešto drugo. I onda rafiniraš prompt to najsitnijeg detalja da bi ti nakon 50 krivih slika rekao sa ne smije generirati slike ljudi zbog sigurnosti jer su prije dva mjeseca prčkali po tome, vjerojatno jer je generator toliko realističan da je opasno. 

Mislim da su uz taj preoprezni i paranoični trigger za safety ubacili i taj faktor iznenađenja da ti uvijek nešto sjebe (iako je u prijašnjih 10 iteracija napravio isto) da što prije spržiš kvotu. 

Eto tako izgleda prva ideja za kuhinju, prva odlična. Sve super čak su i dimenzije kako spada.

kao što vidiš nemoguća misija, ili pomakne prozor ili proširi sobu "jer ne voli usko" ili mu "stol na dnu sobe nema smisla" pa ga je stavio di njemu paše.

I onda te pita da uploadaš tlocrt kako bi pohvatao dimenzije, pa ti kaže da nema mogućnosti čitanja sa slike i da mu termini kao dimenzije i orijentacije lijevo desno ne znače ništa jer kao AI ne zna što je lijevo a što desno. 

Hnmda, onda ipak ništa od toga, hvala Luka.

Moja iskustva su slična...

Ja sam pokušavao na uploadani render kuće izvana nalijepiti kamenu fasadu, crijep i urediti okućnicu, ali avaj!

Kako si rekao: sve bude okej osim jedne stvari (okej, dvije, redovito bi izmjestio prozore i/ili vrata ili dodao dimnuak gdje ga nema i sl.): svi ljudi koji su dodani na obrađenoj fotki su ispadali ravno iz horora. Ono, bez usta ili nosa, s crnim dupljama za oči, jednom nogom ili tri ruke itd.

Nadao sam se da će mi neki prompt mag dati uputu kako da to izbjegnem ali bojim se da ništa od toga.

Da, tako najčešće završi o kod mene. Još najbolje, samo cropam taj komad da dodatno ne bunim model, pa krpam rezultate, ili radim inpaint funkciju sa alpha naznakom što želim izmjenu.
Za samo peglanje nekih detalja nije loš i topaz gigapixel sa "redefine creative" modelom (naravno plaća se, ali ne toliko koliko košta ovaj bugov asus), pogotovo jer jednostavno funkcionira unutar photoshopa.
ComfyUI samo za generiranje ili editiranje slika je dobra ideja voziti kroz swarmUI, ako ljude plaši comfy sučelje.
BUG i njihovu suradnju s Asusom i taj famozni ASUS Ascent GX10 nebih previše filozofirao jer ga ne posjedujem, no kratki google mi kaže da to nije alat za te namjene, nego:
"Fine-Tuning & Training: Modify open-source AI models privately, avoiding the costs and data-privacy risks of sending proprietary data to the public cloud.
AI Agent Automation: Utilize preloaded tools like NemoClaw for local AI agent development and testing"
Ovaj citat na koji si se ti također osvrtao:
"Za usporedbu, model FLUX.2-dev, koji smo testirali, sam po sebi zauzima 64,4 GB - dakle 4× više nego RTX 4080 ili RTX 5060 Duo. Bez unificiranog memorijskog sustava tipa GX10, ovaj model ne možete niti učitati."
Neznam, ja mogu pokrenuti taj notorni FLUX.2-dev i sa RTX 4080super i sa rtx 5090, pa ako netko ne vjeruje, ha - može se snimiti cijeli "postupak", iako sumnjam da bi to ikoga interesiralo osim povrijedilo ego autorima (i poznato je da je taj bazni masni flux2 dev bio teški fail prije trimanja, ne samo zbog težine, nego sporosti i plastičnih, zbljuranih i plastificiranih rezultata - u negdje isto vrijeme izašli Z-image ga je jeo za doručak, pri čemu o brzini bolje da ne pričamo, stvarno neznam koristi li itko živ danas flux2 dev pored njihovog klein ili qwen modela)...
Uglavnom neki moj komentar na temu članka je;
-lokalni modeli su bolji ponajviše zbog cenzure. Odavno za generativne slike online (pa i preko smartphone appsa) nije problem limit generacija, nego analiza sadržaja.
Kako se ja ponajviše bavim refiniranjem postojećeg materijala, meni txt to image nije od neke koristi.
Najbanalniji primjer; staru zblajhanu polaroid fotku dječje rođendanske proslave od prije 50tak godina, (čak i studijski plaćeni) servisi odbijaju popraviti oštećenja i kolorkorekciju jer - na fotki su djeca.
Dakle tu će jedan lokalni model odraditi nekih 80% kvalitete koju bi odradio top online model, ali će odraditi, pa čovjek može finiširati detalje raznih iteracija u photoshopu u neki final.