Vlákno názorů k článku
Jádro 5.10 bude mít rychlejší /dev/zero od martinpoljak - Ptám se z čiré neznalost: jaký je typický...

Ptám se z čiré neznalost: jaký je typický use-case pro čtení z /dev/zero?

Treba kdyz chcete "vynulovat" nejaky soubor nebo kus pameti.

Všude kde potřebujete hodně nul a máte k dispozici souborové rozhraní nebo mmap. Např. děláte image disku a potřebujete 16 giga nul (aby to šlo lépe zkomprimovat), nebo chcete přepsat disk, atd.

Nevim, jestli jsem typicky, ale treba flash a sd s partition table pred navratem do windows standardne opravuji pomoci:

dd if=/dev/zero of=/dev/sdx bs=512 count=10

kvůli přepisům a taky kvůli kontrole (bez -a vypíše, co tam je za FS) se na stejný účel hodí wipefs -a /dev/sdc1 a pak wipefs -a /dev/sdc

Ten bs pro ssd máš blbě.

7. 9. 2020, 14:31 editováno autorem komentáře

Ten bs je na buffered block device naprosto irelevantní, prostě po tolika bytech to volá write(), ale kernel to na device pouští až když se mu chce. Kdyby tam bylo navíc conv=sync, tak je ta pravděpodobnost větší (volá se sync po každém zápise bs), ale pořád to bude bufferovat firmware disku.

Ano, to je přesně ten use case, kvůli kterému potřebujeme efektivnější /dev/zero :-)

Precist muze i potom, akorat s tim obsahem asi nebude spokojenej. Ja bych mu to radsi prepsal s /dev/random. At si treba mysli, ze je tam neco zasifrovano...

U modernich rotacnich disků stačí jeden, pro business tak 2 přepisy. Vzhledem k množství dat a principu záznamu není schopna data z takového disků obnovit ani tripismenkova agentura v rozumném čase.

Záleží na tom jak moc budete chtít být secure, ale tradičně se používá kombinace několika postupů a opakování. (Přepis různými vzorci, nulami, 0xff, náhodné data, atd).

Jinak před časem jsem četl nějakou statistiku a vycházelo tam, že snad 80% disků se prodává s triviálně obnovitelnými daty, takže je otázka, kdo tohle opravdu dělá...

Víc přepisu než 2 je nesmysl. Maximálně 2 a je to pro paranoiky bezpecne a nulami stačí. Nejsme v éře 100MB disku kdy se z nich dalo dost vymlatit i po přepisech.
Reálný únik může nastat při oznaceni sektoru jako vadných diskem a premapovanim na zalozni.Původní sektor je nedostupný pro OS ale na disku tam stále citlivá data jsou.
Zpřístupnit lze jen přístupy přes servisní rozhrani( většinou rs232 ttl a speciální prikazy) a u některých SAS/SCSI disků speciálními SCSI příkazy získat a modifikovat defect listy.

Pro tom jak to funguje zejména v českých firmách bych se nedivil, kdyby ještě při 2000 realokovanych sektorech na takový disk servis kaslal( pokud není za nějakým raid controllerem nebo v SAN/NAS kde je většinou vykopnut dávno před tim). Obvykle je kolem 5% skryte kapacity disků na náhradní sektory.
Tam už člověk muze pri tech kapacitach ziskat zsjimavejsi info.
Ssd to samé pokud člověk neudělá secure erase a naivne veri firmware.

Pro ostatní případy demagnetizace ( benderova smrt) a drticka ( crushinator:)).
Většinou v datacentrech už demagnetizacni box je k dispozici zakosum, takže netřeba pořizovat vlastni.

7. 9. 2020, 15:30 editováno autorem komentáře

Nastesti to u FDE je jednodussi - staci smazat/zapomenout heslo ;-)

/dev/uradom je rychlejsi a neblokuje a myslim, ze dostacuje, i kdyz nema tak kvalitni data jako /dev/random.

https://www.2uo.de/myths-about-urandom/

Obvykle část souboru nebo zařízení přepsat nulama, nebo případně otestovat jestli je obsah vynulovaný, typicky pomocí dd s parametry seek=... skip=... bs=...

třeba proto, aby nově vytvořený filesystém neležel zbytečně na původních datech. (Pro ssd je někdy lepší trim, ale jak kdy.)

Např. test obsahu diskového oddílu, dříve vynulovaného (kdysi se mi to hodilo): pv -s 20G -S /dev/zero | diff -s - /dev/sdb5

Často k vytvoření souboru definované velikosti, obsahujícího jen nuly, pokud chci aby ten soubor byl na disku opravdu alokovaný. dd if=/dev/zero bs=1M count=300 > testfile300 ; sync ;

Když chci "děravý" soubor (parametr seek=...), taky tomu dd musím něco podstrčit, přesto že to nepoužije. /dev/zero je nejvhodnější (tady efektivnost nic neovlivní).

Prostě všude kde chci začít s definovaným čistým stavem nebo ho chci ověřit. Je to jen nekonečný soubor plný nul, vycpávka k použití, fantazii se meze nekladou. Ta efektivnost je důležitá hlavně proto, že u dobrého systému se předpokládá.

Hodí se i pro změření maximální přenosové rychlosti, u zatíženého systému může nečekaně prudce klesnout (disk, paměťová karta, síť, operační paměť, komprimační program, komplikovanější pipeline na příkazové řádce - než ji v pátek pustím tak chci odhadnout že v neděli skončí, ...)

Typický use-case tedy je: jakkoliv mě zrovna napadne.