Program za otkrivanje duplikatnih slika

Ja sam prije koristio Awesome Duplicate Photo Finder

Hajde da malo osvježimo temu. Mislim da će kad tad trebati mnogima koji budu tražili softvere za sortiranje ogromnih količina fotografija. 

Čudi me da dosad ova tema nije zatrpana jer svatko tko ima pametni telefon ima sigurno tisuće nesortiranih fotki.

Uglavnom i u mene je problem što sam kopirao fotografije sa različitih mobitela na različite tvrde diskove pa se to premještalo i kopiralo tako da je sada to poprilična muka sve raspetljati.

Najbolje bi bilo kada bi postojao program koji bi preskenirao sve zadane direktorije (ili diskove) i onda izbacio rezultat skeniranja sa preporukom da ostavi sve originale (najveća rezolucija i kvaliteta?) a da ostale ponudi premjestiti sve u jedan direktorij za svaki slučaj da se može pregledati prije brisanja, ili automatsko brisanje svih "neoriginala"...*

Problem je što sam prije nekoliko godina takav program bio pronašao i oduševio se kako je intuitivan i moćan ali sam ga nekako izgubio na starom PC-ju i nemam više pojma kako se zove..

Ako netko zna za neki dobar i moćan alat za sortiranje fotografija (ne mora biti ovakav kakav sam opisao, može biti i bolji )  molio bih da pomogne cijenjenom neukom pučanstvu!

Unaprijed zahvalan 

ihush pomaži 

ja sam imao slično takav problem,

riješio sam ga tako da sam iskoristio HDD koji je većeg kapaciteta nego 5 i više starijih diskova zajedno.

na njega stavio filesystem koji "ZNA" ako je koji fajl duplikat, i kopirao fajlove sa ostalih diskova na nj.

sad imam  jedan disk na kojem su svi fajlovi sa svih diskova, nema duplikata.

-gle.. na kraju priče, ako ne želiš na ćoravo lupiti 'delete', moraš pregledati, prebrowsati barem letimično sadržaj diskova-medija-kopija..

-slike.. zaboravimo na neki naslov-title filea, kao većinom beskorisno, tj staro-novo, staro je generiralo redne brojeve od 1-nadalje.. pa je svako kopiranje s fotoaparata ili mobitela slici dodijelio naziv u stilu 00001, 00002.. itd.

-novije, defaultno mobitel-android, kreira naziv prema date-timestampu, i to u pametnom obliku, godina-mjesec-datum+vrijeme ili nešto nalik tome. Tad nije problem sortiranja-kronologije (dan-mjesec-godina je problem) + nema dupliranja naziva što se sa starim rednim brojevima događalo.. pa je lakše, tj ako je isti naziv filea tad je vjerojatno isti file.. dok je kod starog svaka kopija bila istog naziva ovisno o broju slika..

-no na kraju slike moraš 'pregledati', što nije pretjeran problem, svaki file browser ili app za pregled slika prikaže folder kao mini slike, no problem je kad ih ima na tisuće i pogotovo ako su na sporijem mediju kao SD kartice.. uz ostale resurse-snagu-brzinu računala, preporuka ne imati tisuće slika u jednom folderu, postane (pre)sporo, bolje je podijeliti na recimo po 100 .. ili bilo koji praktičan broj.

-jednim pogledom na folder i umanjene slike je dovoljan da osoba prepozna što mu je važno a što smeće-duplić.. i tad soft-app za compare ili duplikate nije nešto korisno, višak.. tj može ako želi vidjeti jesu li fileovi identični u svemu ili postoji razlika, npr slika može biti cropana, može biti editirana, npr rutinski sam nekad brisao 'crvene oči' .. pa mogu postojati dvije 'iste' slike.. tad soft pomaže, tj prednost softa je kad mu nešto zadamo on to radi beskonačno nepogriješivo, no kriterij često nije jednostavan.. a za dvije slike je nevažno, tj važno je samo kad govorimo o tisućama fileova koje za pregledati traži sate-dane, pa i samo lupanje del tipke postane zamorno :)

-npr običan explorer.. način sortiranja + find-search.. pa dva filea istog naziva mogu biti usporedno jedan do drugog i tad vidimo npr datum ili veličinu.. veličina nije dobar kriterij, datum je bolji.. pa ostavljamo recimo novije-kasnije..

-ali i veličina filea, npr za slike u par kb, često genrira mobitel, apps kao whatsup i sl. generira za ubrzavanje rada na mobitelu dok u kopiji vidimo duplo, tad po kriteriju veličine možemo obrisati sve što je manje od npr 10kb.. jer je vjerojatno prewiev thumbnail ili neispravan-oštećen file koji treba brisati.. tako možemo običnim explorerom sortirati po veličini, *jpg i obrisati sve manje od neke granice, ili selektirati-muvnuti-kopirati ostale-veće .. dok je to u 'naprednijem' softu možda samo lakše-intuitivnije juzeru, no kvaka22, takav juzer kojem ova tema pomogne nema iskustva, neće se ni snaći.. đabe alat ako ne znaš što radiš :) tj dobar alat možeš cijeniti samo ako znaš što radiš i kad primjetiš razliku u nekoj primjeni.. juzer bez iskustva će birati po boji ikone.

-problem pregledavanja po raznim diskovima, npr hdd-ovi koje smo vremenom prikupili zamjenama za ssd i veće-brže, natrpali upravo takve 'nek se nađe' kopije.. to znači da je disk u pravilu izvan računala.. tad je zgodno imati docking-priključak, ili adapter (usb).. dalje je jednako kao disketa-medij.

-idući problem je usporediti sadržaj na više diskova.. pa nam istovremeno treba 2-3.. docking s više mjesta, cijena ... a i kvarovi, problemi koji se tad množe.

-ako su to diskovi do 1tb (100-500gb kao vjerojatna većina) tad na neki današnji od 2-4tb nije problem, no sve to traži vrijeme + docking ili priključak + moguće kvarove.. kao i to da lako dođemo do nekoliko desetaka TBa takvim kopiranjem na jedan-veći.. (ja vjerojatno oko sebe mogu pronaći barem 50tak diskova 3,5inča i još toliko 2,5..)

-vjerojatno si u tome sličniji meni nego prosječnom juzeru.. :)

.. ali ako je to uvod u kupnju većeg diska za tu svrhu, uz post iznad (o fantastičnom FSu-osu koji brine o duplikatima..) .. ovako, kad neki os-app brine o tome, može, umjesto kopije-dupliranja koristiti samo link (hardlink-simlink..) kao shortcut-pointer, koji umjesto duplića koji bi zauzeo mjesto na disku-mediju, jednostavno ima link-adresu prostora gdje se file nalazi.. no da bi kopiranjem to radio u letu, kao filter.. teško (prije nikako).. tj morao bi komparirati sve postojeće fileove sa svakim idućim kojeg želiš kopirati.. može s par fileova, ne sa tisućama, ne s folderima.. a za kopiranje istog filea istog naziva u isti folder ionako nemaš problem, tj ili će overwritati ili skipati.. i u jednom filderu ćeš imati jedan, ne dva ista filea pod uvjetom da su istog naziva jer je naziv osnovni kriterij adresiranja filea u klasičnom FS-u.. ostalo su razni 'editori' npr kreiranje albuma slika, linkovi, grupiranja.. uz razne fotoaparate ili skenere dolazio razni soft tipa acdsee, preglednici s rudimentarnim edit opcijama, kasnije prerasli u 'albume' koji kao i win nude linkove-librarije-kolekcije-grupe po raznim kriterijma pri čemu juzer nema pojma gdje se na mediju fizički nešto nalazi i kad želi 'ručno' kopirati ima problem.. a problem što takav soft danas na novom win više nema, npr stari epsonov skener iz doba xp-a.. 

-no ako soft tako nešto radi, tad već ulazi u klasu pravih compare-sync managera.. opet, komercijala beyondcompare, po svim zamislivim kriterijima-filterima.. ali i dalje ostane ručni dio posla ili rizik da ako ne pregledaš možda obrišeš nešto što bi želio spasiti.. tj kad znaš da na nekom mediju postoji tako nešto, tad tražiš ručno.. kad tog nema, tad može i format .. dvije krajnosti koje isključuju gradaciju između dok juzer može biti jedno od tog ili nešto između.

-evo i nešto kao popis.. pa biraj, ima i free.. 

-da bi bilo tko imao ideju što soft može, gdje može pogriješiti, kako se osigurati od greške, npr uključiti rec-kantu za smeće, ..

-svoje osobne fotke.. sve mogu prepoznati na prvi pogled i prisjetiti se važnosti, tuđe je besmisleno-uzaludno + kopija kopije.. i tad svaki file tretiraš jednako važnim a tad 90% ne obrišeš i ostane hrpa, previše, opet smeća jer ako godinama nije nitko tražio tad ..

-ovakve želje na kraju završe tako da na novi disk presnimiš stare diskove i tako to stoji dalje za jednom kad ćeš.. (nećeš!) :)

Istina, taj disk jako rijetko koristim. Uglavnom kad tražim neke datoteke iz davnih dana.

Nije mi jasno što će se dogoditi ako imam par tisuća duplikata kad slika imam nekoliko miliona.

Ako se radi o privatnim slikama koje imaju sulude rezolucije koje ne trebaju jer se neće tražiti detalji postoje programi koji sliku smanje 10x da čovjek niti ne vidi tako da se slobodno može uzeti rezolucija monitora s tim da bude veća ako se nekad kupi nešto veće ali za većinu običnih korisnika nema potrebe.

Nisam siguran jesi li meni replicirao ili nekome drugome ali ja nigdje nisam spominjao nenormalne rezolucije niti milijune fotografija sa tisućama kopija...

U mene je slučaj da imam u vrh glave 10 tisuca slika (vjerojatno manje, nisam provjeravao). Od toga neke imaju po 2-3-4 kopije koje su razbacane po različitim direktorijima.
I naravno velika većina tih slika je realno gledajući smeće koje se nije na vrijeme brisalo. Tako da bi na kraju kada bi se sve to očistilo možda ostalo petina...

Formati i rezolucije su standardne , ništa nenormalno.

lp

Puno priče ni za šta... Mislio sam da je moj upit već sa prvim postom bio jasan, ali očigledno nije pa ću pokušati još prostije: 

Nije problem imati kopije slika na različitim diskovima, dapače, to je odličan backup. Uostalom zbog toga sam to i radio i tako je i nastala sva ta situacija.

Problem je u neredu. Problem je što na više različitih starijih diskova imam hrpetinu direktorija i poddirektorija sa različitim datotekama od kojih se sigurno pristojan broj preklapa. Eto to je problem.

A zašto je to problem? Pa zato jer kada tražiš nešto ne znaš gdje bi točno tražio a zauzelo je sav mogući prostor. 

Kakva ti korist od nečega ako ne znaš gdje se nalazi?!

To je slično kao da imaš neuredan podrum koji je pun nabacanih stvari koje ti priječe da normalno prolaziš. I sve je dobro dok to stoji tako na hrpetinama nabacano, sve dok ti ne zatreba nešto! E onda znaš da negdje imaš to nešto ali ne znaš gdje točno i kako doći do toga. Logično valjda 

Dakle potrebna je "generalka" to jest brisanje duplikata, pa onda čišćenje smeća i sortiranje po folderima gdje je što da bi bilo pregledno i jasno gdje što stoji. 

Zar je to bilo teško za shvatiti? Zar nitko od vas nikada nije imao takav problem u stvarnosti barem ako ne već u virtuali? 

I razlog zašto sam pitao na forumu a ne na googleu je valjda jednostavan za razumjeti. Ako nije i to mogu nacrtati... 

Postoji mali milijun softvera koji rade ono što meni treba, a mislim da se sasvim dovoljno znam služiti stranim jezicima i internetom da sam to mogao proguglati. Da ne spominjem "umjetne inteligencije" i njihove chatove... Mislim, zar toliko omalovažavaš sugovornika da misliš da mu je jednostavnije postaviti pitanje na forumu i čekati ponekad i danima na odgovor nego postaviti pitanje chatgpt ili googletu i dobiti instant milijun odgovora?

Ali postoji razlog zašto postoje forumi i zašto se postavljaju pitanja na forumima. Razlog je to da se traži pomoć od živih ljudi (a ne suhoparnih chat-botova) koji imaju iskustva u datoj problematici. 

Zar to nisu neke samorazumljive stvari? Pa valjda je razlog zašto se svi družimo po forumima taj da pomognemo jedni drugima i razmijenimo mišljenja,.korisne informacije, savjete, novosti, ideje...itd

Ali ponekad imam osjećaj kao da ljudi koji su na forumu prvenstveno žele hraniti svoju taštinu hvaleći se kako oni svašta nešto znaju a drugi ne znaju. Žalosno je da sam za ovo vrijeme koje sam na forumu većinom dobivao neka besmislena pitanja i psihoanalizu (zašto meni treba to što pitam i koji razlog leži u pozadini moje psihe) ili nadmena hvalisanja svisoka kako ja ne mogu bez godina studiranja odraditi neku glupost u linuxu, u stvari sam mogao dosad prosurfati i skinuti jedno 20 programa za dedupliciranje pa ih instalirati i testirati i između njih odsbrati jedan koji je najbliži mojim potrebama. Ali čovjek je naivan pa misli da će na specijaliziranom informatičkom forumu među hrpom "znalaca" bez puno gubljenja vremena i vlastitog istraživanja nači najbrže i najbolje rješenje. Ali eto izgleda da neću. Opet ću sam morati "istraživati"dok ne nađem to što mi treba, samo sam jos ovdje izgubio par dana čitajući kako sam glup jer "to nije za svakoga" i kako trebam duboko porinuti u svoju nutrinu da shvatim ZAŠTO meni zapravo treba jedan takav program...?

Ali dobro... Nisu ni forumi što su nekad bili. 

Živjeli i u zdravlje 

.. (bla-bla..) :) .. -neće nered, problem koji korisnik stvara ponašanjem-navikom, riješiti neki čarobni soft-štapić... ili recimo 'de-duplikator'.

-odnosno, to je problem juzera, ljudi, očekivanja.. tko će što za njih napraviti, umjesto da to naprave, rade, održavaju.. ne da netko treći pa i soft radi reda za njima. To je problem, ne soft a to tad neće riješiti neki post na forumu ili milovanje niz dlaku.. no ako vas to čini sretnima...

-zašto postoje forumi? možda zato što nitko ne želi nešto napraviti nego traže da netko treći za njih nešto napravi? :) .. što je uzrok, što je problem? -juzer.

-u prvih par postova imaš odgovore, svaki 'napredniji' filemanager, pa i linkove.. i mada postoje desetine, ostatak postova je o problemu kojeg ne riješava soft, problem-uzrok.. i cilj.

-ono što kažem, neće soft riješiti problem, moraš 'ručno'..

 - filemanageri su većinom free, dok komercijala većinom ima trial 30 dana.. sasvim dovoljno za probu i sređivanje bez troška, no nakon tog treba održavati red (korisnik, ne soft).

-kad slike imaju identičan naziv tad je lako.. problem nastane kad naziv identičnog sadržaja-filea nije isti iz bilo kojeg razloga, npr renejmano ili ovisi o uređaju-generaciji stvaranja-kopiranja (na računalo)..

-točno (u postu), kad je naziv isti, tad je 99% to ista slika-sadržaj.. no opet je preporuka-bolje da juzer pogleda-usporedi i odluči, zadržati ili brisati, tj ako je to nešto možda važno, osobno.. nešto što se nikako ne želi izgubiti, tad je važnije da osoba provjeri, ne automatika-brisanje.. odnosno nikad nije problem jedna slika ili manji broj, problem su tisuće, koje se nakupe, kopija-kopije u podfolderima i sl. a tad soft koji bi to pratio stvarno mora biti iz klase čarobnog graha.. tj juzer može nešto željeti no ostat će želja. .. dok ja nikako ne preporučam takvo korištenje-brisanje, tj deduplikaciju, koja se provlači u temi-pitanju tj što bi takav soft radio.

-za file-filder ili bilo koja dva usporediva izvora, medij-disk, mreža.. lako je komparirati sadržaj primarno po nazivu filea, tad to radi svaki filemanager pa i win fileman 'trikom' kao search * pri čemu će ako postoji duplikat-naziv biti grupirano po više fileova istog naziva neovisno gdje ih je search pronašao u zadanom traženju.. i klikom na link možemo do svakog pojedinog filea ili prikazom detalja možemo i sami usporediti npr datum-veličinu i zaključiti jesu li isti-identični ili je samo naziv isti dok je file različit. .. dodatni problem mogu stvarati prewievi-thumbnailsi koje preglednici-uređaji generiraju za brže browsanje-baratanje (umanjene sličice, klasa ikone..) koji u pregledu vizualno mogu izgledati isto, tj ovisi o detaljnosti prikaza-pregleda pa nam tad umanjena slika izgleda isto kao i original-izvor i posotji mogućnost da obrišemo pogrešnu, no to je lako riješivo sortiranjem po veličini jer je razlika mb-kb..

-treća moguća situacija.. stari fotići i crvene oči.. tad je lako moguće imati dvije 'iste' slike, original-needitiran s crvenim očima i editiran.. tad je u pravilu isti naziv pa i exif podatci.. dok je razlika samo u crvenim očima i to opet može i ne mora biti lako uočljivo uz pitanje što tad želimo zadržati, needitiran original ili editiran (jer je i to 'original', tj ona slika koju želimo..).

-soft kao beyondcompare vrlo lako uspoređuje sadržaj dva izvora (bilo što, disk-medij, filder sa subfolderima ili pojedini file) .. čak kad je file isti, identičan.. tj primarno za radne dokumente, kad posotji kronologija, višekorisnički rad, kad se na istom dokumentu (svejedno text-slika-razno..) može paralelno raditi izmjene, kad je važno koja verzija treba ići dalje ili kad se želi vratiti na neki korak unazad iz backupa-arhive.. verzioning soft, kolaboracija i sl. .. nije ono što se traži za ovakav primjer, osobne potrebe, jedan korisnik itd.. no beyond čak i iste fileove može detaljno usporediti, naravno ovisno o tipu filea i pluginovima-filterima koje ima (ili nema) npr timestamp ili binarni kompare..

-za održavanje reda, po meni je beyond najbolji, ne samo slika, tisuće ostalih fileova koje prosječan juzer ima na prosječnom kućnom računalu, pogotovo gamer-softwareaš koji je skupljao kolekcije, filmovi itd.. pa je tad često moguće da ima par kopija koje zauzimaju veći prostor i ima smisla obrisati višak (pa i sve, jer sve što se može pribaviti s interneta nije problem, problem su samo osobne stvari kao slike koje nigdje drugdje nemamo..).. no to je komercijala.

- A tad, opet, pitanje što je tema-problem-pitanje? koji odgovor se traži?

- npr brisati duplikate. .. logična želja, no postoji li potreba? ako nešto stoji na diskovima, stari hdd izvađen iz računala.. što želimo? osloboditi ih za rad? baciti? .. ako nam ne trebaju, ako ne smetaju (fizički) tad neka ih.. nema uopće potrebe brisati bilo što pa i duplikate.. tj ili je važno ili nije, ako nije važno to se može i bez provjere sadržaja.

-obično je stvar praktičnosti, posložiti, kao fotoalbum.. npr kupiti veći novi disk na kojem tad može biti sve sa starih manjih diskova, praktičnost, umjesto nekoliko jedan.. no tad brisanje nije bitno, deduplikacija.. tj već u kopiranju imamo odgovor, pogledamo što kopiramo ili tad kompariramo sadržaj .. soft koji bi to 'kvalitetno' radio i provjeravao sve moguće kombinacije bi bio overkill a ako su filename identični tad to može svaki fileman obaviti pa i sam win trikom searchanja gdje ako postoje dva-više vidimo takav rezultat pretrage..

-obično su identični folderi, ne samo jedan file-slika nego u 99% imamo kompletnu kopiju nekog diska-foldera.. pa kad nađemo jedan i provjerimo, tad opet banalna komparacija po fileu ili veličini brzo-lako daje odgovor, isto ili različito (uz napomenu, ovisno o FileSysu-clusteru, prikazan kapacitet i zauzet kapacitet ne moraju biti identični, nisu.. pa ekšli isti sadržaj može biti prikazan u različitim veličinama-kapacitetu, stvarni file ili zauzet prostor-cluster no to je u par kb po disku i opet dovoljno je vidjeti broj fileova pa ako je isti tad je 99% identičan sadržaj, no opet.. brisati bez provjere? ako mi je važno, osobne slike.. nešto što ne želim izgubiti, tad provjerim-vidim.. ako nije važno tad deletanje.. no tad nam nije problem soft koji to radi nego kriterij :)

-imamo li na nekom disku recimo 100.000 fileova, slika.. problem je sama količina, npr sve je uredno, posloženo.. pregledati? vrijeme?

-naravno tad je problem ako je nekoliko kopija, npr 10x10.000 ... ili 100x po 1.000? no tad pitanje, kako smo došli do 100x kopija? što je korisnik radio? i opet, lako je komparirati dva filea ili foldera.. bez nekog posebnog softa, osoba sjedne i vidi, vidi veličine, datume, otvori par fileova-slika i vidi, isto ili različito.. u par minuta zna odgovor, kopija koju može brisati ili različito. Treba li za to neki čudotvorni soft? .. koji bi radio što? brisao bez potvrde-provjere?

-slike i inače baratanje većim količinama zahtijevnih fileova, tj slike preglednici žele keširati-učitati, što traži resurse računala, ram-cpu-gpu.. i problem, ako je u jednom folderu recimo 100 slika, tad i na slabijem HWu to radi recimo ok, ako je 1000 ili više.. tad može biti sporo, jer je naprosto to veća količina.. nepraktično, tj preporuka, slike, držati kao i albume, možda 10-100 komada u jednom albumu, npr rođendan-godina, neka fešta.. ako i ima više od 100 slika, podijeliti u neki primjeran broj, npr ne 1000 u jedan folder nego desetak foldera po 100 ili tri foldera po 300.. nije fixno pravilo, jer ga ni nema, no tad je to korisnije i za korisnika, tj ako ikad pregledavamo tad u većim kolekcijama pregledamo početni dio, kraj skoro nikad.. itd. usporedba s klasičnim foto-filmom, na filmu je bilo standardno 36 slika.. recimo da je to neki 'okvirni' broj prihvatljivih slika za neki album-temu.. odnosno bilo što od 10-100 je ok.. za više može, ali tad to traži resurse, pa ako na računalu radi ok-glatko, što kad isto to gledamo na npr tv-u koji ima iste mogućnosti pregleda slika? što kad je na sporom sd-flash disku? itd..

-zato je bolje držati u manjim dijelovima, imati 'mjeru' ili umjerenost :)

-no u prvom kreiranju možemo imati problem-situaciju da smo s više izvora kopirali sve na jedan veći disk-medij, na kojem tad radimo reda.. a to opet nije stvar softa, nego osoba sjedne i napravi, potroši dan i to je to.. ili se misli da će isto to raditi svaki dan kopirati desetke starih diskova na jedan veći? .. neće, tj to bi mogao raditi neki pc-servis kao uslugu, a tad nek rade :)

-običnom korisniku tad nije problem soft-komercijala.. pa čak ako i plati, tj kriterij što je važno, dok je za komercijalu trial 30 dana dovoljan za napraviti reda.. ostalo nije stvar čarobnog graha-softwarea nego juzera i održavanja reda..