Ako imaš 77 tb i više podataka , nešto radiš krivo.
Pogreška u sigurnosnom kopiranju: Sveučilište Kyot
- poruka: 22
- |
- čitano: 12.830
- |
- moderatori:
vincimus
- +/- sve poruke
- ravni prikaz
- starije poruke gore
Zašto je čudno da je tolika količina podataka u RAM-u? Ako se želi najbrže izvođenje, naravno da se medurezultati neće čuvati na diskovima. Osobito ako pričamo o analizi masovnih podataka (npr klimatski modeli). Tome dodas više projekata koji se paralelno izvode i vrlo brzo iscrpis sve dostupne resurse. Ovdje nije riječ o igranju igrica već o toliko naprednim scenarijima da svi mi skupa na ovom forumu ne bi bili u stanju niti formulirati business case, a kamo li preticiti to u kod.
Svugdje piše sigurnosno kopiranje, dakle backup ali nigdje nije pojašnjeno kako je točno došlo do incidenta tako da niti Bugovci ne znaju što se točno dogodilo.Nagađam da je greška u adresiranju, dakle podaci su možda nakon obrade bili ispravni ali su zapisani na krivom mjestu, a ako su problemi s adresiranjem postojali i ranije storage server je možda na isti način uništio i backup. Prepisao jedan set podataka preko drugog.
Svugdje piše sigurnosno kopiranje, dakle backup ali nigdje nije pojašnjeno kako je točno došlo do incidenta tako da niti Bugovci ne znaju što se točno dogodilo.Nagađam da je greška u adresiranju, dakle podaci su možda nakon obrade bili ispravni ali su zapisani na krivom mjestu, a ako su problemi s adresiranjem postojali i ranije storage server je možda na isti način uništio i backup. Prepisao jedan set podataka preko drugog.
HPE pushed an update that caused a script that deletes log files that are more than ten days old to malfunction. However, instead of deleting old log files stored along with backups in a high-capacity storage system, it wiped out all files from the backup instead, erasing 77TB of critical research data.
Cause: -- The backup script uses the find command to delete log files that are older than 10 days. A variable name is passed to the delete process of the find command. A new improved version of the script was applied on the system. However, during deployment, there was a lack of consideration as the periodical script was not disabled. The modified shell script was reloaded from the middle. As a result, the find command containing undefined variables was executed and deleted the files. [...]
Zašto je čudno da je tolika količina podataka u RAM-u? Ako se želi najbrže izvođenje, naravno da se medurezultati neće čuvati na diskovima. Osobito ako pričamo o analizi masovnih podataka (npr klimatski modeli). Tome dodas više projekata koji se paralelno izvode i vrlo brzo iscrpis sve dostupne resurse. Ovdje nije riječ o igranju igrica već o toliko naprednim scenarijima da svi mi skupa na ovom forumu ne bi bili u stanju niti formulirati business case, a kamo li preticiti to u kod.
vrlo lako se moze u linuxu :
obicno se koristi dd naredba za kloniranje diskova i ako se zamijene parametri fi i fo ili sda1 i sda2 npr dobivamo 2 prazna umjesto 2 puna diska...
desilo se mnogima, jer linux nije za neupucene ili lakomislene bas...
Volim kad netko kopi/pejsta tekst, steta sto nije tekst na turskom ili svahiliju.
Dakle netko nije provjerio skriptu koju je pustao u rad pod 1 jer da je tada ne bi doslo do brisanja podataka pod 2. Ne shvacam da netko osim na recimo lokaciji 1 na storage sustavu nema jos 1 rezervnu kopiju na lokaciji 2 na storage sustavu jer barem danas je jeftina memorijska ili diskovna pohrana. Dakle kod mene se osim sto se kopira cijeli stroj jos extra na 2 lokacije kopira kompletan disk sa podacima s time da na 2-oj lokaciji se iskljucivo kopira bez brisanja te se svi fajlovi koji su mjenjani jednostavno automatikom samo preimenuju a stari ostaju i dalje zapisani na 1-oj se sinhroniziraju sa 0-om i identicni su.
Do sada sam nebrojeno puta azurirao skipte i uvijek sam iste ispisao i usporedjivao sa starima da ne bi napravio upravo to sto su oni napravili jer je netko umjesto *.odredjene_extenzije+datum stavio *.*+datum i sve sprckao u vjetar, ovo je vise laicki receno.
Cause: -- The b..... A new improved version of the script was applied on the system.
Dobri stari backup to null, kada su praznici i ne da ti se čekati da se terabajti nasnime na tape drive.

to će se jednostavno i tradicionalno riješti. četiri beznadežne skupine će počiniti seppuku a ostali dobiti po 100 udaraca bičem + godina prisilnog rada za svaki nestali tjerabajat i možemo dalje. bolje da nestane selo nego običaji.
.. žalibože potrošene 'tinte' za 'vijest'. Činjenice? što-kako itd. (srž ''novinarstva''?) su 'nepotrebne'? ili ovako, čemu vijest ako nema 'ono-nešto'? Greške se dešavaju, svima, istina amaterima češće, iskusnima rijeđe, pa i slučajnosti ali i banalnosti. Tko je kriv ako je neka banalna greška? admin, koji to neće priznati, juzer ili nešto deseto kao crypt ili ransom? .. prvi reflex svih je 'nisam ja' i pokazivanje prstom na druge. Što bi bila vijest? Što bi bilo novinarstvo? gubitak gige-tere-pentabajta? sporedna je količina, važnost-sigurnost, tolerancija i sustav koji mora biti takav da sve moguće predvidivo eliminira ako je to važno, ako nije.. čemu vijest? itd itd.
-izgubili podatke, nemaju backup.. juzer 'bijeli pojas prvi dan' ili naprdedni admini, nešto deseto.. nemaš backup? čak i smiješno-tužno, vijest je što da i japanci griješe ili ako je nešto 'deseto' da je to samo službena izjava..

a kaj, nemaju bekap od prije ?
Ako imaš 77 tb i više podataka , nešto radiš krivo.
Prosvjetli nas, koliko je max gigabajta prihvatljivo za dobar znanstveni rad?
Evo što se desi kad se USB stick samo iščupa umjesto da se sigurno izbaci
Sigurno ne 77 terabajta.
Einstein je trebao daleko manje.
Sigurno ne 77 terabajta.
Einstein je trebao daleko manje.
Einstein nije radio simulacije na računalu, a nije ni imao zapisane grafičke i video datoteke. Ovi vjerojatno jesu.
A možda je netko imao gore kopije Blu ray filmova :D
Suočen s nedostatkom računala, i AI programa, Einstein se odlučio koristiti mozak.
Suočen s nedostatkom računala, i AI programa, Einstein se odlučio koristiti mozak.
I sto je napravio, bio nekakav profesor kojeg je hype marketing masinerija, kao i Newtona. U kuloarima se zna da je Einsteinova zena odradila dobar dio posla koje je on predstavio pod svoj.
Suočen s nedostatkom računala, i AI programa, Einstein se odlučio koristiti mozak.
I sto je napravio, bio nekakav profesor kojeg je hype marketing masinerija, kao i Newtona. U kuloarima se zna da je Einsteinova zena odradila dobar dio posla koje je on predstavio pod svoj.
Da, a ona je koristila super računalo?
Danas se takva računala koriste za simulaciju sirenja korone i eleltrokemijske reakcije., nekad za meteorologiju, razbijanje sifri,...
Sve uzaludni failovi.
I onda je čekao 70tak godina u grobnici da netko a 77tb podataka stvarno dokaže da su neke njegove teorije ispravne ili neispravne