Zašto disk rošta kad započne skidanje torenta?

poruka: 92
|
čitano: 17.343
|
moderatori: vincimus
+/- sve poruke
ravni prikaz
starije poruke gore
Ovo je tema za komentiranje sadržaja Bug.hr portala. U nastavku se nalaze komentari na "Zašto disk rošta kad započne skidanje torenta?".
4 godine
protjeran
offline
Zašto disk rošta kad započne skidanje torenta?

Da torent programi rezerviraju prostor na disku to je jasno, pa to rade i svi drugi programi i stvaraju strukturu datoteka u particijskoj tablici (GPT, MBR, APM ili BSD). Ali da "ispune datoteke nekim sadržajem" i "da bi bilo očekivano da ih ispuni nulama"?!?? Zašto bi zaboga ispunjavao "nekim sadržajem" i tko bi zaboga "očekivao da to budu nule" i koja bi bila svrha tog bespotrebnog upisivanja nula prije samog upisivanja stvarnog sadržaja (u ovom slučaju filmova)??? To ne radi niti jedan program, osim onih specijalnih za potpuno brisanje sadržaja diska ukoliko se radi o povjerljivim podacima a npr. prodaješ disk, pa čisto sumnjam da to rade torenti.

 
7 0 hvala 0
16 godina
odjavljen
offline
Re: Zašto disk rošta kad započne skidanje torenta?

Točno tako. Ispunjavanje par GB nulama bi trajalo dulje nego traje inicijalizacija, a nema nikakve potrebe za tim. Program evidentira što je skinuo, a što nije, te on-fly prepisuje skinute dijelove. Ako se torrent ukloni, pa ponovno doda ili nastane neka greška u evidenciji skinutih dijelova, radi se provjera checksuma, pri čemu je šansa da stari sadržaj na disku ima isti checksum kao i dio filea koji treba biti skinut je u praksi potpuno zanemariva.

 

 

Većina torrenata je danas u arhivi podijeljenoj na male fileove, pa inicijalizacija puno malih fileova dugo traje, dok se jedan veliki file inicijalizira praktički odmah. Isto se primijeti i pri brisanju torrent + data, kad je puno malih fileova.

Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
16 godina
offline
Zašto disk rošta kad započne skidanje torenta?

Postoji još jedna stvar za utišavanje HDD-a a zove se Automatic acoustic management odnosno AAM. Obično se AAM vrijednost može podesiti u SW proizvođača HDD-a ili sa programom tipa HD Tune.

Moj PC  
2 0 hvala 1
14 godina
offline
Re: Zašto disk rošta kad započne skidanje torenta?
A kod mene opet prenosi nekakve vibracije na kučište, kao mlažnjak kad poljeće cim se izgasi sve tišina.Zdravlje diska je ok 100% nisam ga mogao više slušati, pa sam ga skroz iskljucio i izvadio iz kućišta. Ubacio 500gb od laptopa jest da je sporiji, radi na 5400 rpm ali brate tišina.
Moj PC  
0 0 hvala 0
15 godina
offline
Zašto disk rošta kad započne skidanje torenta?

Postoji još jedna stvar za utišavanje HDD-a, a zove se SSD :)

Ako baš morate koristiti rotirajuću hrđu (jer je još uvijek mrvicu jeftinija od 200x bržih SSD-ova),

onda si barem napravite Storage Spaces "tiers". Dovoljan je jedan SSD za cache i 1 HDD za pohranu, kao minimalni setup.

Tako će vam "vruće" stvari (one kojima češće pristupate) biti na SSD-u, brže dostupne, a HDD će rjeđe "roštati".

Da ne spominjem cijeli svijet fleksibilnosti, brzine i redundancije storage-a koji dobijete sa Storage Spaces, ako dodate još koji disk ili SSD, čuda možete složiti.

Ako hoćete vidjeti što se trentuno na disku čita/piše, u windowsima otvorite "Resource Monitor" (počnite tipkati u Start meniju), tab "Disk",

odjeljak u sredini "Disk Activity". Sortirate po "Total" od najvećeg i gledate latenciju skroze desno - kolona "Response (ms)", i koju datoteku trenutno čita/piše.

Otkriva vam jako puno o tome što mašian trenutno radi, na kojim datotekama, i koji procesi/aplikacije. Nekad se možete i iznenaditi što vam rošta po disku i ukloniti tu nepoćudnu beštiju.

Idi i radi nešto korisno!
 
0 0 hvala 0
13 godina
online
Re: Zašto disk rošta kad započne skidanje torenta?
dreadmoore kaže...
A kod mene opet prenosi nekakve vibracije na kučište, kao mlažnjak kad poljeće cim se izgasi sve tišina.Zdravlje diska je ok 100% nisam ga mogao više slušati, pa sam ga skroz iskljucio i izvadio iz kućišta. Ubacio 500gb od laptopa jest da je sporiji, radi na 5400 rpm ali brate tišina.

 I ja sam bas uzeo 1 TB SSD umjesto harda jer ne mogu vise podnositi te vibracije i iritantnu zvrndajucu buku. S tim da je priserafljen s gumicama i gumice ispod, al svejedno zvrnda ko lud. Od danas nikad vise HDD za mene unutar kompa :D

~beware the beast, but enjoy the feast he offers~
14 godina
offline
Re: Zašto disk rošta kad započne skidanje torenta?
Ma hocu reci da diskovi od 2.5 su stvarno necujni naspram 3.5.
5 godina
neaktivan
offline
Zašto disk rošta kad započne skidanje torenta?

Baš ste čudni. Meni kompjuter čudan ako ne čujem povremeno onaj klasični klick, klick kad mehanički disk radi. Bez toga ko da se ništa ne događa i kao da PC uopće ne radi. Mislim da ću uvijek imat jedan HDD unutra, ako ništa bar da radi klik, klik, brrrrr...

 

Nekad sam po zvuku rada disk znao je li nešto zapelo, ili još radi, samo mu dugo treba. Sad s ovim SSDovima nemam pojma kad šta radi i kako radi, ona lampica je nepouzdana za shvatiti.

 

 

 

Live long and prosper.
Moj PC  
10 2 hvala 1
11 godina
neaktivan
offline
Zašto disk rošta kad započne skidanje torenta?

Zvuk dobrog diska je kao zvuk dobrog motora auta..

Znalci odmah primjete ako nešto ne radi kako treba..

 

 
24 1 hvala 1
15 godina
offline
Re: Zašto disk rošta kad započne skidanje torenta?
tiki kaže...

Postoji još jedna stvar za utišavanje HDD-a a zove se Automatic acoustic management odnosno AAM. Obično se AAM vrijednost može podesiti u SW proizvođača HDD-a ili sa programom tipa HD Tune.

 -da, naziv je akustični, tj brzina rada je direktno povezana s bukom, i koristi se za podešavanje brzine što rezultira manjom-većom potrošnjom ili brži-sporiji rad akutatora-ruke tj tog dijela koji čujemo u seeku (dok je spin zvuk diska same rotacije čujan u paljenju tj spinupu..).

-naziv je aam, ali je stvar čiste fizike, brzine, kao rezultat. Uz to još ide i termalna (re)kalibracija koja ovisno o postavljenoj granici prije prekine rad-transfer recimo kao pauza ili kasnije što rezultira višom temeperaturom i time većim šansama za grešku-crc.. + sama geometrija diska prema rubu medija gdje se vibracije povećavaju i time pad performansi.

-proizvođači tako imaju podešeno brže-sporije tj disk koji reklamiraju kao tih je npr 5.400-5.900 dok onaj koji reklamiraju kao brz 7.200 (ili 10k ili 15k..).. pri čemu je black serija ona gdje su važne performanse, ne potrošnja-tišina.. direktno usporedivo s automobilima i potrošnjom-bukom/turiranjem. Ljubičasti i sl. su podešeni na nižu brzinu ali time trajnije-duže izdrživo za kalibraciju itd. dok je green najgori što se tiče brzine-spor, ali snižen napon pa troši koji miliwat manje što je dovoljno za reklamu itd..

-kupac kupuje 'isti' disk a po boji (u slujčaju wd-a) bira brzinu-sporost ovisno što želi, tj ako želi tiši disk tad u ovom primjeru ne koristi balck nego npr purple.. može i green jer nije problem performanse. Drugi tip oznaka je ent.gold.. tj to su recimo black + atest kao bolja serija, jamstvo, robustnost a time i cijena x2..

-fičer postoji iz davnih vremena, kao dio IBMove serije diskova, koji uobičajeno drži patente, kao i wd.. i praktički svi diskovi rade na isti način, isti soft-mogućnosti osim što to nisu dozvoljavale licence koje danas nisu problem jer su sad samo dva proizvođača wd-st. .. soft-util ibm disk tool, dozvoljava npr podešavanje-isključivanje npr keša ili npr podešavanje tresholda za termalnu rekalibraciju, lowlevel format itd. dok je wd-util pandan.

-upravo tako danas wd proizvodi isti disk u nekoliko boja po potrebama korisnika.. a problem je što korisnik tad treba prije kupnje znati koji disk mu treba tj ako piše za video-multimediju tako izabrati :) .. dok su alati za pristup tim mogućnostima nedostupni juzerima i time recimo manje mogućeg kemijanja i stvaranja problema.

 

Keso kaže...

Postoji još jedna stvar za utišavanje HDD-a, a zove se SSD :)

Ako baš morate koristiti rotirajuću hrđu (jer je još uvijek mrvicu jeftinija od 200x bržih SSD-ova),

onda si barem napravite Storage Spaces "tiers". Dovoljan je jedan SSD za cache i 1 HDD za pohranu, kao minimalni setup.

Tako će vam "vruće" stvari (one kojima češće pristupate) biti na SSD-u, brže dostupne, a HDD će rjeđe "roštati".

..

 -nepotrebno kemijanje, tj kao svako kemijanje, može, no treba imati 'dobar razlog' (potreba-cilj..) .. tj kako se sve mijenja tako i evoluira pa sad ssd nije skup kao prije + kapacitet i tad rješenje od prije recimo 5-više godina jednostavno nema smisla tj besmisleno tj kontraproduktivno tj što je cilj-kriterij.

-pa tako, bez kemijanja, ssd može biti za rad, hdd za storage-backup i to može biti ručno, skineš-radiš na ssdu, muvneš na storage, radi, po KISSu 'najbolje'.

-kad se to želi automatizirati tad imaš npr STov ssdh koji umjesto benefita obju diskova ima obje mane tj služi samo kao veći keš no keš koji se ciklusima kvari-TRIM, kao i to da je jednostavno dodatna logika koja time gubi dio performansi pa nije ni ssd-brzina jer dio gubi na konstantno sinkroniziranje keša tj interni copy-move samog firmwarea-internog kontrolera-logike. To se radilo u vrijeme npr 30gb ssda, jer je malo za normalan os-win-rad a ipak više od normalne količine keša koji ima svaki disk npr 64-128-256mb.. tj red veličina mb-gb razlike. .. a sad su ssd veći od 30gb i time jednostavno nema smisla-potrebe to raditi, 120 je dovoljno 240 i više poželjno, sad već jeftinjie od prosječnog hdd osim što je hdd većeg kapaciteta, no iduće godine ni te razlike neće biti u istoj klasi cijene..

 

-zašto KISS umjesto automatike za opisan primjer ili 'roštanje'..? pa zato jer u scenariju gdje se downloada nešto, ako keširaš tad opet roštaš + keširanje kešira svašta, potrebno ali i nepotrebno-višak=smeće.. tj time je roštanje barem za byte veće-više od downloada na ssd i kad je gotovo copy-move na hdd, tj tek tad će hdd roštati i to je to.

-zbog načina rada ssda, trajnosti tj promjene kontrolera i uvođenja TRIMa tj čuvanja čelija tj ravnomjernog trošenja ... to se ne koristi tj izbjegava, jednako kao što se u pravilu ako se pazi na trajnost diska muvne npr swap + ne radi se defrag itd.. a diskovi koji su služili kao optidrive su malog kapaciteta u odnosu na danas normlane pa čak i u odnosu na količinu dostupnog rama jačih-zvjer računala tj lako je složiti s recimo 32-64gb rama što je recimo kao kapacitet ssda s početka priče o ssdu koji su se koristili u hybrid kombinaciji kao keš. Pa do tog da ovisno o kriteriju-želji to sve može biti ramdisk itd.

 

-jednostavno, blesavo je koristiti disk-a za keširanje diska-b ako je a brži i DOVOLJNOG kapaciteta, tj to se radi samo kad nije dovoljan kapacitet tj prošlo (svršeno) vrijeme diskova.... vidljivo 'popularnošću' STovog hibridnog diska, dok normalan recimo 2tb ima recimo 256mb keša + ostalo agresivno koristi os tj kešira u ram potrebno i time eliminira nepotreban dodatni međukorak + logiku i gubljene ciklusa-resursa za takav među-keš-disk. Tj sve ovisi o potrebi, konkretnom radu, raspoloživim resursima itd.. i sve se mijenja, pa ako je do jučer bilo optimum, danas ne mora biti (i nije, nego ni vrit ni mimo..) :)

C64/TurboModul-OpenSourceProject.org.cn.部分作品为网上收集整理,供开源爱好者学习使用
16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?

Korigirao sam članak. Očekivao sam da će program datoteke ispuniti nulama, no očito je da postoji metoda stvaranja prazne datoteke (tj. datoteke u kojoj se nalaze samo nule) specifične veličine pa je tako i stvaranje prilično velike prazne datoteke praktički trenutačno, barem na NTFS-u.

 

nekinik kaže...

Da torent programi rezerviraju prostor na disku to je jasno, pa to rade i svi drugi programi i stvaraju strukturu datoteka u particijskoj tablici (GPT, MBR, APM ili BSD). Ali da "ispune datoteke nekim sadržajem" i "da bi bilo očekivano da ih ispuni nulama"?!?? Zašto bi zaboga ispunjavao "nekim sadržajem" i tko bi zaboga "očekivao da to budu nule" i koja bi bila svrha tog bespotrebnog upisivanja nula prije samog upisivanja stvarnog sadržaja (u ovom slučaju filmova)???

Baš sam provjerio hex editorom - prealocirane datoteke jesu ispunjene nulama - s obzirom na brzinu stvaranja, reklo bi se da su virtualno ispunjene nulama, no iz perspektive programa (uTorrenta u slučaju pitanja, odnosno HxD-a u slučaju donjeg screenshota), on vidi datoteku ispunjenu nulama.

A zašto bi morale biti ispunjene nulama ili nečim? Ako je datoteka određene veličine, onda se random može pristupiti svakom bajtu unutar te datoteke - može se sa svakog bajta iščitati sadržaj i na svaki bajt zapisati sadržaj. To je bitno jer se torenti ne skidaju sekvencijalno pa da datoteka s vremenom raste, nego se skidaju random dijelovi datoteke i zapisuju se na odgovarajuća mjesta u datoteci.

 

MrBlc kaže...

Točno tako. Ispunjavanje par GB nulama bi trajalo dulje nego traje inicijalizacija, a nema nikakve potrebe za tim.

Poanta je da se "inicijalizira" čitava datoteka, znači da datoteka bude veličine one koje će biti kad se preuzme i da se random može pristupiti svakom njenom bajtu, a ne da se kreira datoteka veličine 0 bajtova.

 

Znači, efektivno je datoteka inicijalizirana na konačnu veličinu i (virtualno) ispunjena nulama, samo što se "fizički" nije obavilo zapisivanje nula, što sam pogrešno pretpostavio.

 

MrBlc kaže...

Većina torrenata je danas u arhivi podijeljenoj na male fileove, pa inicijalizacija puno malih fileova dugo traje, dok se jedan veliki file inicijalizira praktički odmah. Isto se primijeti i pri brisanju torrent + data, kad je puno malih fileova.

Da, vjerojatno je to uzrok - hrpa malih datoteteka. Plus što mi je naknadno palo na pamet, a to je da, ako netko skida datoteke koje bi mogle prenositi viruse, za očekivati je da će proaktivni antivirusni program u nekom trenutku proći po njima.

Poruka je uređivana zadnji put pon 12.10.2020 11:53 (mbaksa).
4 godine
protjeran
offline
Re: Zašto disk rošta kad započne skidanje torenta?
Pa ispunjene su nulama, jer je slučajno disk bio prazan na toj lokaciji. Da je disk kojim slučajem stariji i upisivan do kraja par puta, ne bi bile nule zar ne?
 
0 0 hvala 0
16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?
nekinik kaže...
Pa ispunjene su nulama, jer je slučajno disk bio prazan na toj lokaciji. Da je disk kojim slučajem stariji i upisivan do kraja par puta, ne bi bile nule zar ne?

Totalno si u krivu. Kad bi to bilo tako kako pišeš, onda odbrisivanje datoteka praktički ne bi bilo moguće, zar ne? Jer bi ih Windowsi prije ili poslije potamanili, tj. prepisali nulama, a znamo da to ne rade, nego samo njihove klastere proglašavaju "praznima", tj. nekorištenima.

 

Stvar je u ovome: NTFS podržava sparse files (Microsoft, wiki, usporedba datotečnih sustava), no exFAT i FAT32 ih ne podržavaju. Sparse files su datoteke kod kojih se blokovi ispunjeni nulama ne zapisuju na disk (znači ono što sam u prethodnoj poruci okarakterizirao "virtualnim nulama"), nego samo datotečni sustav označi da je konkretni blok cijeli ispunjen nulama. Zato na NTFS-u možeš kreirati datoteku veličine 2 GB na mehaničkom disku dok trepneš okom, a na FAT32 ili exFAT-u ne možeš.

 

Tako da sam u konačnici vrlo vjerojatno bio u pravu s odgovorom iz članka, samo što nisam znao da se to odnosi samo na exFAT i FAT32, a ne i na NTFS, jer NTFS podržava sparse files.

4 godine
protjeran
offline
Re: Zašto disk rošta kad započne skidanje torenta?
Ne mogu se nule "virtualno" upisati, ili su upisane ili nisu. Nema apsolutno nikakve potrebe da se upisuju nule na bilo koji način pa ni "virtualno". Torent program prati koje bajtove je on upisao, a za one koje nije sasvim je svejedno jesu ti preostali bajtovi nule ili jedinice. Bit će ono što je prije toga bilo na toj lokaciji na još neupisanom dijelu datoteke (u tvom slučaju nule). Informacija o veličini datoteke i njenom položaju na disku nemaju veze s nulama niti sa tim jel se nešto upisuje sekvencijalno ili na drugi način, nego se upisuje u particijsku tablicu.
 
1 0 hvala 0
15 godina
offline
Re: Zašto disk rošta kad započne skidanje torenta?
mbaksa kaže...

Korigirao sam članak. Očekivao sam da će program datoteke ispuniti nulama, no očito je da postoji metoda stvaranja prazne datoteke (tj. datoteke u kojoj se nalaze samo nule) specifične veličine pa je tako i stvaranje prilično velike prazne datoteke praktički trenutačno, barem na NTFS-u.

 

nekinik kaže...

Da torent programi rezerviraju prostor na disku to je jasno, pa to rade i svi drugi programi i stvaraju strukturu datoteka u particijskoj tablici (GPT, MBR, APM ili BSD). Ali da "ispune datoteke nekim sadržajem" i "da bi bilo očekivano da ih ispuni nulama"?!?? Zašto bi zaboga ispunjavao "nekim sadržajem" i tko bi zaboga "očekivao da to budu nule" i koja bi bila svrha tog bespotrebnog upisivanja nula prije samog upisivanja stvarnog sadržaja (u ovom slučaju filmova)???

Baš sam provjerio hex editorom - prealocirane datoteke jesu ispunjene nulama - s obzirom na brzinu stvaranja, reklo bi se da su virtualno ispunjene nulama, no iz perspektive programa (uTorrenta u slučaju pitanja, odnosno HxD-a u slučaju donjeg screenshota), on vidi datoteku ispunjenu nulama.

A zašto bi morale biti ispunjene nulama ili nečim? Ako je datoteka određene veličine, onda se random može pristupiti svakom bajtu unutar te datoteke - može se sa svakog bajta iščitati sadržaj i na svaki bajt zapisati sadržaj. To je bitno jer se torenti ne skidaju sekvencijalno pa da datoteka s vremenom raste, nego se skidaju random dijelovi datoteke i zapisuju se na odgovarajuća mjesta u datoteci.

 

MrBlc kaže...

Točno tako. Ispunjavanje par GB nulama bi trajalo dulje nego traje inicijalizacija, a nema nikakve potrebe za tim.

Poanta je da se "inicijalizira" čitava datoteka, znači da datoteka bude veličine one koje će biti kad se preuzme i da se random može pristupiti svakom njenom bajtu, a ne da se kreira datoteka veličine 0 bajtova.

 

Znači, efektivno je datoteka inicijalizirana na konačnu veličinu i (virtualno) ispunjena nulama, samo što se "fizički" nije obavilo zapisivanje nula, što sam pogrešno pretpostavio.

 

MrBlc kaže...

Većina torrenata je danas u arhivi podijeljenoj na male fileove, pa inicijalizacija puno malih fileova dugo traje, dok se jedan veliki file inicijalizira praktički odmah. Isto se primijeti i pri brisanju torrent + data, kad je puno malih fileova.

Da, vjerojatno je to uzrok - hrpa malih datoteteka. Plus što mi je naknadno palo na pamet, a to je da, ako netko skida datoteke koje bi mogle prenositi viruse, za očekivati je da će proaktivni antivirusni program u nekom trenutku proći po njima.

 -objašnjenje :)

 

-ne stvara se file, nego se samo alocira-rezervira mjesto, u katalogu sadržaja-tocu.. dok su nule koje vidiš zapravo 'ništa' kao null .. tj kad nema podatka tad je null dok se kao razlika zato u programiranju korsiti nonnull tj -1. .. kao što je video vrpca (kaseta) prazna.. tj nemagnetizirana, recimo stanje nula, dok se snimanjem frame prije 'briše' tj negativno magnetizira i postaje nrp -1 tj tek tad ide zapisivanje sadržaja. Lakše razumljivo nego binarno file-nule/zero i null. Da isti sektor pogledaš nekim disk-part alatom (za spašavanje podataka.. getmydataback.. edit:ubačeno, ne gledaš ga takvim alatom cluster nego 'vjeurješ' onom što javi FS, jer to je 'sadržaj' koji će tek postati pravi sadržaj bez navodnika) tad bi vidio ekšli byteove koji su još uvjek tamo, prošli sadržaj, no svaki blok-cluster je za sebe dok za rekonstrukciju trebaš adresni porstor-popis koji je u tocu.. i upravo to radi soft za spašavanje kad se npr formatira disk pa podataka nema, traži kao puzzle cigle-blokove koji mogu odgovarati kao prvi-drugi-idući paket-blok podatka do kraja filea..

 

-da ostatak je točno opisan, alocira se file-prostor i tad se svaka 'ciglica' kako stigne stavi na svoje mjesto po adresi.. tad file postane file i sadržaj, ne prije.

 

.. i opet objašnjenje, ne pristupa nekom byteu u fileu, nego clusteru-sektoru, tj to radi FS, to je FS. .. dok os-korisnik-app podatke vidi kako ih FS prikaže nama. Sve je file *nix, dok su samo oznake ono što razlikuje sadržaj, podatak, app, folder, particiju.. a sve su to kombinacije nulla-jedinica tj FS pa do RAWa. Disk i FS nisu npr databaza nrp accessa u kojoj pristupiš polju i sadržaju, mada je osnova i način rada isti (zato velike baze ne koriste osov fs nego raw, jer je nepotreban overhead tj adresar.. kojeg baza ima kao index-id.. tj baza-soft može raditi na FSu ili na RAWu.. to bi bilo slično onome što si pomislio u opisu bytea-podatka ali FS nije baza kao ms-access/sql kao što to nije npr word-text ili notepad-text mada su slični i ponekad isti).

-zato je prva stvar koja se radi nakon particioniranja upravo FS, dok ntfs ima svoje fičere koje npr fat32 nema, kao permisioni, mt$ itd. tj FS je baza, kao i baze podataka, adresar indexa, kao što su pointeri za memoruju u cpu-kompajleru a sadržaj registra je nešto drugo i vidiš ga tek kad ga pročitaš, do tad je null odnosno ono što nam fs prikaže kao prazno tj vidimo npr iso-zip-folder veličine x-gb mada je možda prazan s nula baytova sadržaja tj vidimo ono što je alokacija rekla FSu koji to tako 'zapiše' .. ali to nije još postalo stanje-činjenica nego će tek postati kad se transfer obavi, neće ako se prekine itd.. i tad idući korak, brisanje-nestanak filea ili ostanak oštećenog-neispravnog-nepotpunog, koji su dva moguća i potrebna stanja ovisno što želimo, spašavati ili imati točan podatak, pa tako u slučaju banke-transakcije biva odbačeno, dok u slučaju spašavanja diska-podataka želiš barem dio pročitati npr hexeditorom itd. itd.. :)

 

-ili ne.. ovo i nije baš objašnjenje, tj ne vidim da je sad objašnjeno na human readible način :))

 

C64/TurboModul-OpenSourceProject.org.cn.部分作品为网上收集整理,供开源爱好者学习使用
Poruka je uređivana zadnji put pon 12.10.2020 12:34 (ihush).
16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?
nekinik kaže...
Ne mogu se nule "virtualno" upisati, ili su upisane ili nisu.

Molio bih da ponovno pročitaš moje poruke jer se čini da ne razumiješ što sam napisao. Također bih molio da pročitaš stranice za koje sam dao linkove, jer će ti one pomoći u razumijevanju ovog što sam napisao.

 

nekinik kaže...
Nema apsolutno nikakve potrebe da se upisuju nule na bilo koji način pa ni "virtualno".

Program za skidanje torenta mora "alocirati" čitavu datoteku, je li tako? U suprotnom ne bi mogao obavljati random čitanje/zapisivanje.

 

Program za skidanje torenta alocira čitavu datoteku određene veličine (1,28 GB u slučaju sporne datoteke) i još k tome tu datoteku ispuni nulama. Zašto? Pa kako će program "kreirati" datoteku veličine X bajtova? Tako da u datoteku zapiše X bajtova, ne? A iz perspektive praktičnosti i sigurnosti logično je da zapiše nule.

 

Gle - to su činjenice - to je neosporno. Kad kreneš skidati torent, dobiš datoteku veličine X ispunjenu nulama. To su "fizičke" nule kod FAT32 i exFAT, a "virtualne" nule kod NTFS-a.

 

nekinik kaže...
Torent program prati koje bajtove je on upisao, a za one koje nije sasvim je svejedno jesu ti preostali bajtovi nule ili jedinice.

Upisao kamo? Upisao na specifično mjesto unutar unaprijed kreirane datoteke koja je u začetku bila ispunjena nulama. I ne prati bajtove nego "komade" datoteke. Kad bi pratio bajtove, to bi bilo suludo - onda bi pored odredišne datoteke u posebnoj "bazi podataka" pratio što će sve na koje mjesto u toj odredišnoj datoteci zapisati. To tako ne funkcionira.

 

nekinik kaže...
Bit će ono što je prije toga bilo na toj lokaciji na još neupisanom dijelu datoteke (u tvom slučaju nule).

To jednostavno nije istina. Zar će program, možda mimo operacijskog sustava, manipulirati datotečnim sustavom za zapisivanje datoteka torenta?!

 

Objasnio sam u čemu je stvar. Možeš se educirati, možeš prihvatiti činjenice ili možeš ostati u zabludi.

 

nekinik kaže...
Informacija o veličini datoteke i njenom položaju na disku nemaju veze s nulama niti sa tim jel se nešto upisuje sekvencijalno ili na drugi način, nego se upisuje u particijsku tablicu.

Molim te da objasniš kako se to kreira datoteka specifične veličine bez upisivanja sadržaja u nju. Kojim se to funkcijama Windowsovog API-ja radi?

4 godine
protjeran
offline
Re: Zašto disk rošta kad započne skidanje torenta?
Naravno da je moguće brisati datoteku. Obrisati datoteku znači da si samo promjenio par podataka i particijskoj tablici. Datoteka je ostala ista kao i ranije na svojoj lokaciji (nema nikakvog upisivanja nula), sve dok ne bude alocirana za nešto drugo. Naravno da možeš i imati datoteku veličine 2GB (do 4 GB) na FAT32 i čak do 16EB na exFAT.

" Molim te da objasniš kako se to kreira datoteka specifične veličine bez upisivanja sadržaja u nju."

Vrlo jednostavno upisivanjem informacija u particijskoj tablici, što sam i sam radio koristeći mikrokontroler bez upotrebe računala - i kada disk stavim u računalo vidi se stvorena datoteka. Zato vrlo dobro znam što govorim.
 
3 0 hvala 0
16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?
ihush kaže...
-ne stvara se file, nego se samo alocira-rezervira mjesto, u katalogu sadržaja-tocu.. 

To je sad već "navlačenje kožice".  Iz perspektive programa, to je fajl. Iz perspektive operacijskog i datotečnog sustava to je zapis u MFT-u (tj. MFT-ovima) kod NTFS-a, odnosno zapis u FAT-u (tj. FAT-ovima) i zapisane nule u klastere na disku kod FAT32 i exFAT-a.

 

ihush kaže...
.. i opet objašnjenje, ne pristupa nekom byteu u fileu, nego clusteru-sektoru, tj to radi FS, to je FS. .. 

Još jedno navlačenje kožice. Iz perspektive softvera, pristupa se bajtu u fajlu. Iz perspektive uTorrenta, pristupa se komadićima na koje si je podijelio fajl. Iz perspektive datotečnog sustava, pristupa se klasterima ili blokovima. Iz perspektive diska, pristupa se sektorima. Iz perspektive SSD-a pristupa se blokovima ćelija.

 

Toliko perspektiva...  Nije čudno da informatičari moraju biti sposobni apstraktno razmišljati...

 

16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?
nekinik kaže...
Naravno da je moguće brisati datoteku. Obrisati datoteku znači da si samo promjenio par podataka i particijskoj tablici. Datoteka je ostala ista kao i ranije na svojoj lokaciji (nema nikakvog upisivanja nula), sve dok ne bude alocirana za nešto drugo.

Ne moraš ti meni natrag objašnjavati što sam ja tebi objasnio. Stvar je u tome da tvoja filozofija o funkcioniranju programa za torente počiva na tome da disk nakon brisanja datoteka njih pregazi nulama. Jer kako bi se inače svaki put baš potrefilo da su prealoirane datoteke u potpunosti ispunjene nulama?!

 

nekinik kaže...
" Molim te da objasniš kako se to kreira datoteka specifične veličine bez upisivanja sadržaja u nju." 

Vrlo jednostavno upisivanjem informacija u particijskoj tablici, što sam i sam radio koristeći mikrokontroler bez upotrebe računala - i kada disk stavim u računalo vidi se stvorena datoteka. Zato vrlo dobro znam što govorim.

Razumiješ da mikrokontroler sa softverom/firmwareom nije isto što mikroprocesor s operacijskim sustavom? Jel shvaćaš da ti kad razvijaš softver za Windowse ili koji drugi OS ne diraš datotečne strukture (osim, naravno, ako nije riječ o sistemskom softveru kojem je to namjena)? U Windowsima za stvaranje jednog pišivog fajla nećeš dirati FAT ili MFT. Nego ćeš kreirati novi fajl i zapisati u njega onoliko bajtoav koliko želiš da fajl bude velik, ako ti je cilj prealocirati datoteku.

 

Čak i da diraš FAT ili MFT, tako definiran fajl ti neće nužno biti ispunjen nulama. A datoteke koje inicijaliziraju programi za torent - jesu ispunjene nulama.

15 godina
offline
Re: Zašto disk rošta kad započne skidanje torenta?

to ti je objašnjenje zašto 'vidiš' nule hexeditorom, jer ti FS kaže da su nule, a nisu nego će postati nešto kad se sadržaj fizički zapiše na alocirane adrese.

-odnosno kao višetruko prebrisavanje (sec.erase) tad zapisuješ proizvoljnu vrijednost npr x kako bi osigurao prebrisavanje tj to ti konkretno govori o razlici jer DODanje traje koliko je potrebno disku da zapiše sve byteove neovisno kako ih FS vidi, jer tad ne koristiš FS nego ga zaobilaziš-forsiraš kao i mft .. tj ne koristiš tad fičere osa, kao hardilnkove ili prebrojavanje filea-veličine u sekundi.. tako da nije to navlačenje kožice nego mak na konac :) .. koliko je i nevažno.

 

-razni kontroleri imaju dodatne razne fičere, upravo jedan od njih je i npr brisanje stanja, npr ram, eprom.. može i hdd, može ssd, interno može imati svoj fičer, no externo to juzer ne vidi, čak ni fs nego je to interpretacija onog što nam posrednik prikaže i zato vidiš nule tamo gdje ih nema, tj sve dok se fizički nešto ne snimi imaš stari sadržaj clustera koji može poslužit spašavanju... odnosno, da nije tako tad bi i torrent mogao korsititi za sec.erase a to nitko ne radi :) pa banalno i sam copypaste.. (jednako zatraži alokaciju i ako nemaš dovoljno mjesta odbije te) tj možda ti je sad već jasnija nijansa-razlika kad se što zapisuje i što vidimo, tj ovisi čime gledamo ili rakurs kao za optičku varku mađioničara.

C64/TurboModul-OpenSourceProject.org.cn.部分作品为网上收集整理,供开源爱好者学习使用
16 godina
odjavljen
offline
Re: Zašto disk rošta kad započne skidanje torenta?
mbaksa kaže...
nekinik kaže...
Pa ispunjene su nulama, jer je slučajno disk bio prazan na toj lokaciji. Da je disk kojim slučajem stariji i upisivan do kraja par puta, ne bi bile nule zar ne?

Totalno si u krivu. Kad bi to bilo tako kako pišeš, onda odbrisivanje datoteka praktički ne bi bilo moguće, zar ne? Jer bi ih Windowsi prije ili poslije potamanili, tj. prepisali nulama, a znamo da to ne rade, nego samo njihove klastere proglašavaju "praznima", tj. nekorištenima.

 

Stvar je u ovome: NTFS podržava sparse files (Microsoft, wiki, usporedba datotečnih sustava), no exFAT i FAT32 ih ne podržavaju. Sparse files su datoteke kod kojih se blokovi ispunjeni nulama ne zapisuju na disk (znači ono što sam u prethodnoj poruci okarakterizirao "virtualnim nulama"), nego samo datotečni sustav označi da je konkretni blok cijeli ispunjen nulama. Zato na NTFS-u možeš kreirati datoteku veličine 2 GB na mehaničkom disku dok trepneš okom, a na FAT32 ili exFAT-u ne možeš.

 

Tako da sam u konačnici vrlo vjerojatno bio u pravu s odgovorom iz članka, samo što nisam znao da se to odnosi samo na exFAT i FAT32, a ne i na NTFS, jer NTFS podržava sparse files.

Koliko sam čitao o sparse fileu, on ipak ne zauzima mjesto na disku (size on disk bude manji), te ne može allocirati unaprijed veličinu, a za fizičko pisanje nula u pravilu treba više vremena nego je potrebno za allocirati torrent s jednim velikim fileom. Moguće da je NTFS u novim verzijama od one za koju sam čitao omogućio ipak punu alokaciju za sparse file.

Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
4 godine
protjeran
offline
Re: Zašto disk rošta kad započne skidanje torenta?
mbaksa kaže...
nekinik kaže...
Naravno da je moguće brisati datoteku. Obrisati datoteku znači da si samo promjenio par podataka i particijskoj tablici. Datoteka je ostala ista kao i ranije na svojoj lokaciji (nema nikakvog upisivanja nula), sve dok ne bude alocirana za nešto drugo.

Ne moraš ti meni natrag objašnjavati što sam ja tebi objasnio. Stvar je u tome da tvoja filozofija o funkcioniranju programa za torente počiva na tome da disk nakon brisanja datoteka njih pregazi nulama. Jer kako bi se inače svaki put baš potrefilo da su prealoirane datoteke u potpunosti ispunjene nulama?!

 

nekinik kaže...
" Molim te da objasniš kako se to kreira datoteka specifične veličine bez upisivanja sadržaja u nju." 

Vrlo jednostavno upisivanjem informacija u particijskoj tablici, što sam i sam radio koristeći mikrokontroler bez upotrebe računala - i kada disk stavim u računalo vidi se stvorena datoteka. Zato vrlo dobro znam što govorim.

Razumiješ da mikrokontroler sa softverom/firmwareom nije isto što mikroprocesor s operacijskim sustavom? Jel shvaćaš da ti kad razvijaš softver za Windowse ili koji drugi OS ne diraš datotečne strukture (osim, naravno, ako nije riječ o sistemskom softveru kojem je to namjena)? U Windowsima za stvaranje jednog pišivog fajla nećeš dirati FAT ili MFT. Nego ćeš kreirati novi fajl i zapisati u njega onoliko bajtoav koliko želiš da fajl bude velik, ako ti je cilj prealocirati datoteku.

 

Čak i da diraš FAT ili MFT, tako definiran fajl ti neće nužno biti ispunjen nulama. A datoteke koje inicijaliziraju programi za torent - jesu ispunjene nulama.

 Glupost, ako čitaš šta pišem onda vidiš da to baš nije moja filozofija da se nakon brisanja nešto "pregazi nulama". Promjeni se informacija u particijskoj tablici i to je sve što brisanje radi. Nule su tu bile igrom slučaja.

 

Mikrokontroler je bio sa softwareom koji sam sam pisao. Ne moraš ti dirati datotečni sustav, obavljaju se to automatski a da ti nisi ni svjestan i to se radi uvijek na isti način. File možeš kreirati i da ništa ne upišeš u njega, dovoljno je upisati informacije u particijsku tablicu, a sadržaj će biti ono što je slučajno bilo tu ukoliko još ništa ne upišeš. Nikakve nule se ne upisuju.

16 godina
offline
Zašto disk rošta kad započne skidanje torenta?

Torrent programi prealociraju podatke doslovce zbog smanjenja fragmentacije; obzirom da se datoteke ne skidaju jedna za drugom kao što je to slučaj kod FTP ili HTTP downloada, nego randomly ovisno o količini seedera i dostupnosti seedova određenih datoteka, te dostupnosti određenih dijelova pojedinačne datoteke; uvijek se prvo skidaju dijelovi čijih seedova ima najmanje, pa tek onda oni čijih seedova ima više, time se omogućava veća dostupnost, a ukoliko ne bi bilo prealokacije, torrent bi skidao i spremao datoteke A, B i C na disk (nasumice) slijedećim redoslijedom: A1 B1 A2 C1 B2 B3 C2 A3 C3 C4 B4 A4...

 

Torrent protokol 101 :)

So if God has existed forever, you know, what did he do in his spare time? Like, before he made the Earth and everything?
Moj PC  
0 0 hvala 0
15 godina
offline
Re: Zašto disk rošta kad započne skidanje torenta?
Father_Dougal kaže...

Torrent programi prealociraju podatke doslovce zbog smanjenja fragmentacije;..

 -ne, nego primarno zato da rezervira prostor, jer inače se može desiti da nešto drugo zauzme slobodan kapacitet i tad je dl nemoguć jer nema mjesta, fragmentacija je samo sideefekt-posljedica (dok na nivou filea, osa, juzera ili torrenta file nije svjestan svoje pozicije na fizičkom mediju pa tako ni fragmentacije, particije, bilo čega.. tj njemu je svaka memorija-ista, ram, disk, floppy-- ima ili nema mjesta, ostalo je fs i ostatak dok je brzina nešto treće itd.

-pa tako SSD namjerno 'fragmentira' svaki podatak, tj razbacuje ga po disku-memoriji ko đubre po njivi tj trim-trajnost ćelije.. a to radi interno kontroler tj možemo reći da fragmentira file ali mu time produžuje vijek i nije važno jer je seek time identičan dok na hddu nije i tad bi gubio vrijeme na roštanje i skakanje sa sektora na sektor da pročita podatak.. hdd-ssd za korisnika ili torrent je isto, dok interno sasvim suprotno pravilo i poveznica s fragmentacijom.

C64/TurboModul-OpenSourceProject.org.cn.部分作品为网上收集整理,供开源爱好者学习使用
16 godina
neaktivan
offline
Zašto disk rošta kad započne skidanje torenta?

ugradi ssd pa se neće ništa čuti, odn. možeš se žaliti na buku, primjerice, ventilatora, urlanje susjede koju tuče suprug, mjaukanje noću i tak. 

I know that you believe you understand what you think I said, but I am not sure you realize that what you heard is not what I meant.
Moj PC  
2 0 hvala 0
16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?
MrBlc kaže...
Koliko sam čitao o sparse fileu, on ipak ne zauzima mjesto na disku (size on disk bude manji), te ne može allocirati unaprijed veličinu,

Nisam siguran da si pokopčao što je sparse file. Na primjeru torenta, odnosno ISO datoteke Linuxa Mint koju sam otvorio hex editorom - ta ISO datoteka je sparse fajl, zato jer sam je krenuo skidati na NTFS particiju. Da sam je krenuo skidati na FAT32 ili exFAT particiju, onda ne bi bila sparse fajl, jer te vrste particija ne podržavaju sparse fajlove. Znači, na exFAT ili FAT32 program za skidanje torenta bi sve klastere koji pripadaju tom fajlu pregazio nulama i to bi onda trajalo neko vrijeme - možda oko desetak sekundi. Kad uhvatim priliku, baš ću isprobati.

 

Što se tiče zauzeća na disku - ovisi kako gledaš (opet te perspektive! ). Znači, taj friški ISO na disku zauzima 1,28 GB, u smislu da je taj prostor rezerviran za njega, da su ti klasteri ili blokovi rezervirani za njega. On je za "all intents and purposes" fajl na disku - točno se zna koji blokovi njemu pripadaju i ne može se u te blokove zapisati sadržaj iz drugih datoteka, odnosno ti blokovi nisu "nekorišteni" pa da ih zauzme neka druga datoteka. Stvar je samo u tome što blokovi koji su kompletno nule nisu fizički (magnetski) zapisani na disk. Čim se prvi put pokuša u neki od njegovih blokova zapisati neki sadržaj koji nije "samo nule", onda se taj sadržaj fizički zapisuje na disk.

 

To je spars fajl pod Windowsima na NTFS-u. Ništa više i ništa manje od toga.

 

Ne možeš ti nikako unaprijed alocirati veličinu fajla bez da u njega ne zapišeš onoliko bajtova koliko želiš da fajl bude velik. (osim, naravno, direktnim manipuiliranjem datotečnim strukturama, što je suludo za ovakve stvari)

 

Na MS-ovoj stranici spominju i kompresiju - ignoriraj to prije nego li si pokupčao ovo što sam iznad napisao.

 

MrBlc kaže...
a za fizičko pisanje nula u pravilu treba više vremena nego je potrebno za allocirati torrent s jednim velikim fileom.

Treba to prevesti pa je odmah sve jasno.

 

Alociranje torenta s jednim velikim fajlom nije ništa drugo do li otvaranje fajla i zapisivanje u njega onoliko nula koliko fajl treba biti velik. Na NTFS-u do se događa gotovo trenutno, jer NTFS te nule fizički ne zapisuje u blokove na disku, dočim kod edFAT-a i FAT32 to traje neko vrijeme, jer oni fizički ispunjavaju klastere nulama.

 

Tako sam ja to shvatio. Koliko vidim, postoji i atribute datoteka Sparse, no nisam siguran da ga Windowsi 10 koriste. Međutim, evidentno je riječ o sparse fajlu ili nečem ekvivalentnom, jer je na mehaničkom disku kreiran dok trepneš, a ako odeš u postavke, vidiš da na disku "zauzima" 1,28 GB.

 

 

 

EDIT:

 

Evo, upravo sam obavio testiranje, na jednom SanDiskovom USB sticku.

 

Odeš u naredbeni redak, prebaciš se na disk/medij/mapu koju želiš testirati i zadaš naredbu:

fsutil file createnew datoteka.txt 500000000

 

Ovo će kreirati datoteku veličine skoro 500 MB ispunjenu nulama.

 

Kad je stick formatiran u NTFS formatu, ovo se obavlja prije nego li stigneš trepnuti.

 

Kad je stick formatiran u FAT32, ovo traje 30 sekundi.

 

 

I rest my case. 

Poruka je uređivana zadnji put pon 12.10.2020 14:01 (mbaksa).
16 godina
moderator
offline
Re: Zašto disk rošta kad započne skidanje torenta?
nekinik kaže...
Glupost, ako čitaš šta pišem onda vidiš da to baš nije moja filozofija da se nakon brisanja nešto "pregazi nulama". Promjeni se informacija u particijskoj tablici i to je sve što brisanje radi. Nule su tu bile igrom slučaja.

Nule tu nisu igrom slučaja, to i jest cijela poanta! I s obzirom da nule tu nisu igrom slučaja, onda da bi tvoja filozofija funkcionirala, prealocirani se fajlovi moraju pregaziti nulama.

 

I eto, kako sam dokazao u svom zadnjem postu, kad kreiraš datoteku punu nula to se na NTFS-u odrati trenutačno (jer je taj falj onda sparse fajl i on će za svaki bajt vratiti nulu - kao da je čitav ispunjen nulama), a na NTFS particiju se isti fajl fizički zapisuje, znači svaka nula, svaki bajt od 500 MB koje sam zapisao fizički se zapisuju na medij.

 

U krivu si. Simple as that.

4 godine
protjeran
offline
Re: Zašto disk rošta kad započne skidanje torenta?

Alocirati neku datoteku u particijskoj tablici traje uvijek "dok trepneš" svejedno je jel to minimalno mogući file ili 1,28GB ili 4GB. Jednako traje jer se samo upišu podaci u tablicu i ništa više. I da, vidjet ćeš file od 1,28GB ili 4GB. Nikakve nule se ne upisuju na dotičnu fizičku lokaciju na disku prilikom alokacije ili brisanja - niti kod torenta, niti ima potrebe. Izuzetak je specilalizirani software koji puni disk nulama da netko ne bi gledao osjetljive podatke s tvog diska, nakon što ga prodaš. Jer kad si ga formatirao, svi ti podaci su i dalje tu i lako se pročitaju, nisu pobrisani nego si smo izmjenio tablicu. Čak postoji višestruko zapisivanje nula ako radiš za FBI da si siguran 100%, razne naponske razine kod poluvodičkih memorija i sl...ali to nema veze s ovim.

16 godina
odjavljen
offline
Re: Zašto disk rošta kad započne skidanje torenta?

Evo što kaže MS:

 

Use the GetCompressedFileSize function to obtain the actual size allocated on disk for a sparse file. This total does not include the size of the regions which were deallocated because they were filled with zeros.

 

Taj dio je missleading. Testirao sam, u pravu si, ne alocira, ali ipak rezervira, što nigdje nije izričito istaknuto, osim po pitanju user quote-a.

Privatne poruke su za privatne razgovore. Ne odgovaram na općenita pitanja vezana uz neku temu.
4 godine
protjeran
offline
Re: Zašto disk rošta kad započne skidanje torenta?
mbaksa kaže...
nekinik kaže...
Glupost, ako čitaš šta pišem onda vidiš da to baš nije moja filozofija da se nakon brisanja nešto "pregazi nulama". Promjeni se informacija u particijskoj tablici i to je sve što brisanje radi. Nule su tu bile igrom slučaja.

Nule tu nisu igrom slučaja, to i jest cijela poanta! I s obzirom da nule tu nisu igrom slučaja, onda da bi tvoja filozofija funkcionirala, prealocirani se fajlovi moraju pregaziti nulama.

 

I eto, kako sam dokazao u svom zadnjem postu, kad kreiraš datoteku punu nula to se na NTFS-u odrati trenutačno (jer je taj falj onda sparse fajl i on će za svaki bajt vratiti nulu - kao da je čitav ispunjen nulama), a na NTFS particiju se isti fajl fizički zapisuje, znači svaka nula, svaki bajt od 500 MB koje sam zapisao fizički se zapisuju na medij.

 

U krivu si. Simple as that.

 Kao što sam objasnio nisam u krivu. Tvoje uporno spominjenje sparse datoteka, koje usput nisu podržane niti u NTFS jednako kao niti u FAT32 (nego SAMO u NTFS5), nema nikakve veze s temom. To je samo vid kompresije kako bi se uštedio fizički prostor na disku.

Nova poruka
E-mail:
Lozinka:
 
vrh stranice