C++ - Korištenje velikih datoteka zaključana tema

poruka: 24
|
čitano: 2.731
|
moderatori: XXX-Man, vincimus
1
+/- sve poruke
ravni prikaz
starije poruke gore
17 godina
offline
Velike datoteke

imam jedno pitanje za programere koji su se susretali sa veliki fajlovima koje treba obrađivati na neki način

(čitat, pisat, zamjenit pojedine blokove bitova u takvom fajlu)

veličina je 300-400 mb

 

osim brzine, na kave još probleme se moiže naići ?

 

znači, algoritam treba dohvatit neki dio informacije, obradit ga i vratitit natrag u takvom fajlu, i to konstantno raditi dok se ne ispune odrđeni uvijeti

 

pretpostavljam da bi se koristio c++ za izradu takvog alogritma

/y OOM
 
0 0 hvala 0
17 godina
moderator
offline
Re: Velike datoteke

Pitanje ti je besmisleno. Objasni točno kakvu datoteku imaš, što sve i na koji način misliš s njom raditi, pa se onda može pokrenuti neka rasprava.

17 godina
protjeran
offline
C++ - Korištenje velikih datoteka

Treba malo više informacija o kakovom se file-u radi. dali je to TXT ili bin file, možda XML ili BMP file. dali točno znaš gdje počinju određeni blokovi bitova i koliko su veliki. Dali su podaci u datoteci sortirani i indexsirani i sl.

U principu se svodi na to da učitaš što manji dio podataka u RAM obradiš ga i oslobodiš. E sad najbolji način kako da to napraviš ovisi o tipu datoteke.

Programko http://programko.bloger.hr
 
0 0 hvala 0
17 godina
offline
C++ - Korištenje velikih datoteka

hvala adminu za prepravak.

 

Nije bitno kakva je vrst fajla (recimo bin)

ja trebam dohvatit recimo neki xy bit, usporediti i po potrebi zamijeniti.

i tako cijelu datoteku da melje dok se ne ispune neki uvijeti.

 

recimo imaš divx film 700 mb, i želiš u svakom drugom frameu ispitati rubne pixele (sa desne strane slike)

dali je neki od njih bijeli, ako je, zamijeniti  ga sa crnim. bez veze primjer.

pretostavljam da bi algoritam čitao podatke u nekakav niz i zatim njega ispitivao

 

osim brzine, dali se još nekakvi problemi mogu javljati...memorijski limiti ili šta ti ja znam

dali c++ može takve količine podataka da samelje ili se moraju koristiti nekakva druga riješenja

 

/y OOM
 
0 0 hvala 0
15 godina
neaktivan
offline
C++ - Korištenje velikih datoteka
Pa ovo je jako sirokoooo :)
Prouci formate datoteka , 99% rješenja već imaš vani na webu , bitna je struktura datoteke, stream ,etc.... Ne možeš recimo avi datoteki pristupit na način da da uzmes neki bajt sa adrese :)
"I've seen things you people wouldnt believe. Attack ships on fire off the shoulder of Orion. I watched C-beams glitter in the dark near the Tannhauser Gate"
 
0 0 hvala 0
17 godina
moderator
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...
osim brzine, dali se još nekakvi problemi mogu javljati...memorijski limiti ili šta ti ja znam

dali c++ može takve količine podataka da samelje ili se moraju koristiti nekakva druga riješenja

Pa ako ćeš učitavat po 64-kilobajta ili koji megabajt onda normalno da nećeš imati problema s memorijom. Mislim, i dalje ne kužim što konkretno nas pitaš. Preopćenit si i ko da ni sam ne znaš što hoćeš od nas. Ko da od nas tražiš dopuštenje da ideš raditi program koji će "nešto" raditi s velikim datotekama. Napravi program pa se, ako i kad dođeš do problema, bavi tim problemima i rješavaj ih.

15 godina
neaktivan
offline
C++ - Korištenje velikih datoteka
Da spomenuo je neki multimedijski format, ali mislim da ne kuzi kako da interpretira zapis datoteke, sve u svem presiroko pitanje, sve u svem bit će mu zabavno :)

Malo je tajnovit :)
"I've seen things you people wouldnt believe. Attack ships on fire off the shoulder of Orion. I watched C-beams glitter in the dark near the Tannhauser Gate"
 
0 0 hvala 0
17 godina
moderator
offline
Re: C++ - Korištenje velikih datoteka
woodgamesfx kaže...
Da spomenuo je neki multimedijski format, ali mislim da ne kuzi kako da interpretira zapis datoteke, sve u svem presiroko pitanje, sve u svem bit će mu zabavno :)

Malo je tajnovit :)

Sad kad tako kažeš, može biti da misli da ima neku revolucionarnu ideju pa se boji da mu je netko ne ukrade ako je iznese na forumu. {#}

15 godina
neaktivan
offline
Re: C++ - Korištenje velikih datoteka
Već vidjeno :)
"I've seen things you people wouldnt believe. Attack ships on fire off the shoulder of Orion. I watched C-beams glitter in the dark near the Tannhauser Gate"
17 godina
protjeran
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...

hvala adminu za prepravak.

 

Nije bitno kakva je vrst fajla (recimo bin)

ja trebam dohvatit recimo neki xy bit, usporediti i po potrebi zamijeniti.

i tako cijelu datoteku da melje dok se ne ispune neki uvijeti.

 

recimo imaš divx film 700 mb, i želiš u svakom drugom frameu ispitati rubne pixele (sa desne strane slike)

dali je neki od njih bijeli, ako je, zamijeniti  ga sa crnim. bez veze primjer.

pretostavljam da bi algoritam čitao podatke u nekakav niz i zatim njega ispitivao

 

osim brzine, dali se još nekakvi problemi mogu javljati...memorijski limiti ili šta ti ja znam

dali c++ može takve količine podataka da samelje ili se moraju koristiti nekakva druga riješenja

 

 Pa mislim da je divix file malo kompleksiji, i da u njemu ne možeš tek kako pročitati npr. gornji desni piksel u 101 frameu, i zamjeniti ga po potrebi. A i da to i znaš napraviti nebi postavljao ovakova pitanja.

Programko http://programko.bloger.hr
17 godina
neaktivan
offline
C++ - Korištenje velikih datoteka

Kod divixa da bi dobio frejm koji nije keyframe moraš dekodirati sve frejmove od zadnjeg keyfrejma do tog frejma kojeg želiš.

 
0 0 hvala 0
17 godina
offline
Re: C++ - Korištenje velikih datoteka
mbaksa kaže...
woodgamesfx kaže...


Malo je tajnovit :)

Sad kad tako kažeš, može biti da misli da ima neku revolucionarnu ideju pa se boji da mu je netko ne ukrade ako je iznese na forumu. {#}

awww

sam toliko proziran? {#}

 

btw. uopće ne pokušavam to napravitii, jer neznam programirati

 

al kad već raspravljamo o tome, što i da imam ideju i neznam programirat

koji bi bio najbolji način stupit u kontakt sa  programerom (ili više njih)

koji se žele uhvatit programiranja nečije ideje

a da stvarno znaju posao (i imaju volje + malo slobodnog vremena)

 

mislim, želio bih zaobići hrpu nadobudnih klinaca koji uče programirat

 

 

"snoop on them, like they snoop on you" {#}

/y OOM
17 godina
offline
Re: C++ - Korištenje velikih datoteka
Programko kaže...
noob007 kaže...

 

 

 Pa mislim da je divix file malo kompleksiji, i da u njemu ne možeš tek kako pročitati npr. gornji desni piksel u 101 frameu, i zamjeniti ga po potrebi. A i da to i znaš napraviti nebi postavljao ovakova pitanja.

 

to je bio bez veze primjer, kako sam i rekao

 

a zašto nebio mogao sve iz divx-a (ili po dijelovima od nekoliko MB) stavljat u niz i onda ispitivati vrijednosti pojedinih bitova/baytova.

frame ima neku određenu rezoluciju......rubni pixeli imaju svoje koordinate (u nizu su na određenom mjestu)...pročitaju se, ispitaju po potrebi zamjene ...bla bla bla

 

na meni je da postavljam pitanja kakva  poželim (kulturna ofc), na drugima je da davaju odgovore ako žele i kakve žele

*pogledaj predhodni moj post 

/y OOM
Poruka je uređivana zadnji put pon 6.6.2011 20:39 (noob007).
17 godina
moderator
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...
mbaksa kaže...
woodgamesfx kaže...


Malo je tajnovit :)

Sad kad tako kažeš, može biti da misli da ima neku revolucionarnu ideju pa se boji da mu je netko ne ukrade ako je iznese na forumu. {#}

awww

sam toliko proziran? {#}

 

btw. uopće ne pokušavam to napravitii, jer neznam programirati

To objašnjava puno toga. LOL. Ne znam zašto nas onda uopće daviš glupim pitanjima. {#}

 

noob007 kaže...
al kad već raspravljamo o tome, što i da imam ideju i neznam programirat

koji bi bio najbolji način stupit u kontakt sa  programerom (ili više njih)

koji se žele uhvatit programiranja nečije ideje

a da stvarno znaju posao (i imaju volje + malo slobodnog vremena)

 

mislim, želio bih zaobići hrpu nadobudnih klinaca koji uče programirat

Ponudi lovu i dobit ćeš sposobne ljude. Ili započni otvoreni projekt pa se mogu uključiti svi koji žele, a koji onda neće biti motivirani lovom, nego nekim zajedništvom u razvoju softvera.

 

noob007 kaže...
to je bio bez veze primjer, kako sam i rekao

 

a zašto nebio mogao sve iz divx-a (ili po dijelovima od nekoliko MB) stavljat u niz i onda ispitivati vrijednosti pojedinih bitova/baytova.

frame ima neku određenu rezoluciju......rubni pixeli imaju svoje koordinate (u nizu su na određenom mjestu)...pročitaju se, ispitaju po potrebi zamjene ...bla bla bla

Programko i Tom69 su ti objasnili zašto. To što ti ne želiš čuti što ti govore, to je samo pokazatelj koliko slabo si upućen u problematiku stvari - u problematiku kodiranja i zapisa videodatoteka. Drugim riječima, nemaš pojma o tome, stoga nemoj dvojiti o tome što ti kažu ljudi koji imaju pojma o tome. {#}

17 godina
offline
C++ - Korištenje velikih datoteka

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

 

 

/y OOM
 
0 3 hvala 0
17 godina
moderator
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

Malo si bezobrazan. Postaviš besmisleno i preopćenito pitanje na koje ti se ne može konkretno odgovoriti i onda kvocaš što ti nitko ne odgovara na nešto na što ti ni ne može odgovoriti. Malo više se potrudi u sastavljanju pitanja pa ćeš dobiti i odgovarajući odgovor. Kakvo pitanje, takav i odgovor.

15 godina
neaktivan
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

 

 

 

Nije nadmudrivanje, prvo pitanje je bilo nejasno , a da ne kažem preširoko, drugo koliko sam ja shvatio iz prvog pitanja tebe je zanimalo kako se to napravi, kasnije se ispostavilod a se samo informiraš , sve u svem ovdje ima dobrih ljudi koji raspolažu sa jako puno znanja i večina njih je spremna pomoć, ali problem je u pitanju.

 

Slažem se s tobom da forum je mjesto gdje se može sve i svašta pitat u okviru domene, ali opet pitanje mora bit na mjestu barem donekle, a i onaj tko postavlja pitanje mora barem doneke znat što pita i što ga zanima, tada rasprava ima smisla.

 

Nemoj me krivo shvatit ovo je nije provokacija isl. nego jednostavno kažem kako sam ja shvatio tvoje pitanje, ne možeš oekivat da netko dođe s pitanjem :

pozdrav ekipa kako da napravim novi OS , danas sam vidio Windowse?

i onda očekivat da ljudi uđu u raspravu.

 

Kažem ovdje ima ljudi sa znanjem, gotovo za svaki segment IT-a, ali drži se okvira i sve će bit OK.

 

 

"I've seen things you people wouldnt believe. Attack ships on fire off the shoulder of Orion. I watched C-beams glitter in the dark near the Tannhauser Gate"
17 godina
offline
Re: C++ - Korištenje velikih datoteka
mbaksa kaže...
noob007 kaže...

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

Malo si bezobrazan. Postaviš besmisleno i preopćenito pitanje na koje ti se ne može konkretno odgovoriti i onda kvocaš što ti nitko ne odgovara na nešto na što ti ni ne može odgovoriti. Malo više se potrudi u sastavljanju pitanja pa ćeš dobiti i odgovarajući odgovor. Kakvo pitanje, takav i odgovor.

Nisam ja bezobrazan već je tvoj nastup bahat

/y OOM
17 godina
moderator
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...
mbaksa kaže...
noob007 kaže...

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

Malo si bezobrazan. Postaviš besmisleno i preopćenito pitanje na koje ti se ne može konkretno odgovoriti i onda kvocaš što ti nitko ne odgovara na nešto na što ti ni ne može odgovoriti. Malo više se potrudi u sastavljanju pitanja pa ćeš dobiti i odgovarajući odgovor. Kakvo pitanje, takav i odgovor.

Nisam ja bezobrazan već je tvoj nastup bahat

Jel je bahat bezveze? Lijepo te upozorim da ti je pitanje besmisleno i tražim te da ga pojasniš. Nisi ga pojasnio. Pa te opet upozorim da nije jasno što pitaš. Pa onda opet ne pojasniš pitanje, nego počneš o tome kako ne znaš programirati, pa ideš kontrirat ekipi koja ti konkretno i točno kaže što i kako se radi, tj. ne radi s videodatotekama pa ih ti, totalna neznalica u tom pogledu, ideš pobijat (!), pa kad te upozorim na to, onda spammaš temu komentarima o nadmudrivanju, nego da konačno formiraš konkretno pitanje na koje ti ekipa s foruma može odgovoriti.

 

E pa upravo to čekamo. Ako misliš na ovoj temi dalje raspravljati o nadmudrivanju, načinu komunikcija i sličnim nebulozama, onda ću je odmah zaključati, jer je sve to off-topic.

17 godina
offline
Re: C++ - Korištenje velikih datoteka
woodgamesfx kaže...
noob007 kaže...

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

 

 

 

Nije nadmudrivanje, prvo pitanje je bilo nejasno , a da ne kažem preširoko, drugo koliko sam ja shvatio iz prvog pitanja tebe je zanimalo kako se to napravi, kasnije se ispostavilod a se samo informiraš , sve u svem ovdje ima dobrih ljudi koji raspolažu sa jako puno znanja i večina njih je spremna pomoć, ali problem je u pitanju.

 

Slažem se s tobom da forum je mjesto gdje se može sve i svašta pitat u okviru domene, ali opet pitanje mora bit na mjestu barem donekle, a i onaj tko postavlja pitanje mora barem doneke znat što pita i što ga zanima, tada rasprava ima smisla.

 

Nemoj me krivo shvatit ovo je nije provokacija isl. nego jednostavno kažem kako sam ja shvatio tvoje pitanje, ne možeš oekivat da netko dođe s pitanjem :

pozdrav ekipa kako da napravim novi OS , danas sam vidio Windowse?

i onda očekivat da ljudi uđu u raspravu.

 

Kažem ovdje ima ljudi sa znanjem, gotovo za svaki segment IT-a, ali drži se okvira i sve će bit OK.

 

 

Znam da ima ljudi sa znanjem koji se ovdje muvaju, al je teško razlučit takve od usputnih komentatora koji eto tako samo žele nešto za reći.

Čest slučaj  na bug forumu

http://www.bug.hr/forum/topic/internet/facebook-nab/100360.aspx

http://www.bug.hr/forum/topic/ostalo/kupovina-informaticke-opreme/95045.aspx

ima ih još od prije...al nekako sam dobio dojam da svako konkretno pitanje postavljeno tu je tema za nadobudne komentatore da si pune broj postova

pa pomalo izgubiš volju za ozbiljnim pristupom

 

 

/y OOM
17 godina
offline
Re: C++ - Korištenje velikih datoteka
mbaksa kaže...
noob007 kaže...
mbaksa kaže...
noob007 kaže...

hvala na savijetima

nisam ni očekivao drugačije

 

.....prepotentno nadmudrivanje

Malo si bezobrazan. Postaviš besmisleno i preopćenito pitanje na koje ti se ne može konkretno odgovoriti i onda kvocaš što ti nitko ne odgovara na nešto na što ti ni ne može odgovoriti. Malo više se potrudi u sastavljanju pitanja pa ćeš dobiti i odgovarajući odgovor. Kakvo pitanje, takav i odgovor.

Nisam ja bezobrazan već je tvoj nastup bahat

Jel je bahat bezveze? Lijepo te upozorim da ti je pitanje besmisleno i tražim te da ga pojasniš. Nisi ga pojasnio. Pa te opet upozorim da nije jasno što pitaš. Pa onda opet ne pojasniš pitanje, nego počneš o tome kako ne znaš programirati, pa ideš kontrirat ekipi koja ti konkretno i točno kaže što i kako se radi, tj. ne radi s videodatotekama pa ih ti, totalna neznalica u tom pogledu, ideš pobijat (!), pa kad te upozorim na to, onda spammaš temu komentarima o nadmudrivanju, nego da konačno formiraš konkretno pitanje na koje ti ekipa s foruma može odgovoriti.

 

E pa upravo to čekamo. Ako misliš na ovoj temi dalje raspravljati o nadmudrivanju, načinu komunikcija i sličnim nebulozama, onda ću je odmah zaključati, jer je sve to off-topic.

Maki, poplavio si {#}

 

valjda zato što si postao dak sam ja pisao drugi post. chill

 

 

edit....or not

/y OOM
Poruka je uređivana zadnji put pon 6.6.2011 22:11 (noob007).
15 godina
neaktivan
offline
Re: C++ - Korištenje velikih datoteka
noob007 kaže...

Znam da ima ljudi sa znanjem koji se ovdje muvaju, al je teško razlučit takve od usputnih komentatora koji eto tako samo žele nešto za reći.

Čest slučaj  na bug forumu

http://www.bug.hr/forum/topic/internet/facebook-nab/100360.aspx

http://www.bug.hr/forum/topic/ostalo/kupovina-informaticke-opreme/95045.aspx

ima ih još od prije...al nekako sam dobio dojam da svako konkretno pitanje postavljeno tu je tema za nadobudne komentatore da si pune broj postova

pa pomalo izgubiš volju za ozbiljnim pristupom

 

 

 

CodeProject :)

 

"I've seen things you people wouldnt believe. Attack ships on fire off the shoulder of Orion. I watched C-beams glitter in the dark near the Tannhauser Gate"
14 godina
neaktivan
offline
C++ - Korištenje velikih datoteka

Spomenuo si divx kao primjer.  Da bi izmjenio sadžraj divx fajla trebaš poznavati mpeg4 kodek u "dušu". Da bi poznavao mpeg 4 kodek u "dušu" trebaš doći do specifikacija, a specifikacija je knjiga od 1000+ stranica, a da bi dobio specifikacije trebaš platit lovu. Skontaj jednu stvar; Mpeg 4 od ulaza, npr. nekomprimirani video od 60 min koji je brutalno velik fajl (494 Giga Bytea na 720p rezoluciji http://en.wikipedia.org/wiki/Uncompressed_video), napravi izlaz od cca 1GB pa ti skontaj šta on uradi i kako kodira sve te informacije.

Poruka je uređivana zadnji put pon 6.6.2011 22:14 (BassMan).
 
1 0 hvala 1
17 godina
moderator
offline
C++ - Korištenje velikih datoteka

Očito je da ova tema nikamo ne vodi, stoga ide pod ključić. {#} Trojica mu pokušavamo pomoći, a on nije sposoban sročiti normalno pitanje i onda off-topičari i trola po svojoj temi!

 
0 0 hvala 0
1
Nova poruka
E-mail:
Lozinka:
 
vrh stranice