Kernel 4.14 LTS přináší kompresi zstd

13. 11. 2017

Včera Linus Torvalds vydal jádro 4.14 Fearless Coyote, které bude mít prodlouženou podporu. Mezi novinky patří na x86_64 přechod ze čtyřúrovňového stránkování paměti na pětiúrovňové. To přinese zvětšení adresovatelné paměti z 256 TiB virtuální a 64 TiB fyzické na 128 PiB a 4 PiB, což „by mělo stačit každému“.

Dále btrfs a squashfs podporují kompresi zstd, kterou vyvinul a používá Facebook. Zstd dosahuje rychlosti lzo/lz4 a kompresního poměru zlib. Nový ORC Unwinder zrychlí debugování. Začleněno bylo také šifrování paměti SME u procesorů AMD Zen a novějších. Více detailů například na kernelnewbies.

(zdroj: slashdot)

Našli jste v článku chybu?

Zasílat nově přidané názory e-mailem

Aktualita je stará, nové názory již nelze přidávat.

13. 11. 2017 8:35

Krteček (neregistrovaný)

„by mělo stačit každému“
To je ale velmi nepěkné si dělat srandu z vynálezce internetu.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 9:10

8B3CE273 (neregistrovaný)

Gates vynalezl internet?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 10:59

meda beda (neregistrovaný)

Tak uplne ho asi nevynalezl ale povazuje se za "otce Internetu" - https://www.lupa.cz/clanky/dalsi-vynalezce-internetu/

> Když byl koncem roku 2001 v ČR na návštěvě Bill Gates, Česká televize o tom natočila reportáž, a v ní neváhala označit Billa Gatese za otce Internetu.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 12:27

Jarda_P

Tak jako otce Internetu ho snad privital nejaky nas vymatlany politik. Pocitam, ze se z toho Gatesovi udelaly pupinky.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 22:03

nobody (neregistrovaný)

to byl prerek, chtel rict "Prznitel Internetu"... navic v praxi Win3/95 meli 10x POMALEJSI tcp/ip stack nez GNU/Linux ;-)
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 22:04

nobody (neregistrovaný)

*Win311
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 11:25

Karel (neregistrovaný)

Byly doby, kdy si to někteří místní reportéři mysleli. Přitom opak byl pravdou - Microsoft se roky snažil vybudovat vlastní konurenční síť na vlastních technologiích. Boj vzdali až s vydáním MS Windows 95, do kterých se TCP/IP stack už dal stáhnout. Od service packu 2 je to pak už součástí OS. Před tím jste museli instalovat SW třetí strany, poupulární býval například Trumpet Winsock.

https://legacy.blisty.cz/art/9440.html
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 12:43

Jarda_P

To mate blbe. Trumpet Winsock se musel instalovat do Widli 3.1 a starsich. TCP/IP stack byl uz ve Widlich 3.11. Widle 95 ho tedy mely take, akorat ponekud zhovadily - W95 odpovidaly na ping i po te, co uvolnily z DHCP lease adresy, takze v kazde siti s W95 drive nebo pozdeji doslo k vycerpani poolu.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 15:22

Milan Keršláger (neregistrovaný)

Trumpet Winsock se používal na Windows verze 3.x, protože byl extrémně malý. TCP/IP od Microsoftu bylo obrovské a nepoužitelné (šlo doinstalovat). Jestli si dobře pamatuji, musel jste na MS TC/IP mít 4 MB RAM, což tehdy bylo asi jako kdybyste dneska požadoval na stanici kvůli Internetu 32 GB RAM. S Trumpetkou to tehdy fungovalo i na 1 MB RAM (a navíc to umělo BOOTP!).
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
14. 11. 2017 7:06

klokan

To je blbost. Každý ví, že internet přece vynalezl Al Gore.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 9:27

Grumpa (neregistrovaný)

Není nad to se po ránu od srdce zasmát. Díky :-D
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 12:23

AlYoSHA (neregistrovaný)

Som myslel ze Gates je duchovnym otcom internetu.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 8:39

Roman (neregistrovaný)

"Zstd dosahuje rychlosti lzo/lz4 a kompresního poměru zlib. "

Na odkazovane zpravicce je komprese zstd 3x a dekomprese 4x pomalejsi nez lz4
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 9:16

Fík

Zlatý podporovatel

Záleží na stupni komprese. V btrfs bude zstd 1, podle následujícího benchmarku je komprese 1,5x pomalejší než lzo a dekomprese 1.2x pomalejší. Oproti zlib je naopak 4x a 1,6x rychlejší.

https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/commit/?id=5c1aab1dd5445ed8bdcdbb575abc1b0d7ee5b2e7
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 10:27

Jarda_P

A uz se nekde prihodilo, ze nekomu nestacilo 64 TiB pameti? Existuji stroje s tolik RAM?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 10:41

Fík

Zlatý podporovatel

tady mají 160 TiB: https://www.forbes.com/sites/aarontilley/2017/05/16/hpe-160-terabytes-memory
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 13:25

The Machine (neregistrovaný)

jo bohuzel pouzivaji dost jinej pristup k ty pameti..:

https://lwn.net/Articles/655437/
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 10:45

. . (neregistrovaný)

tohle je jádro s dlouhou podporou, myslí i na budoucnost. 8 socketová xeon monstra už dnes je možné mít s 48 TiB RAM. Podobná či vyšší čísla budou i na platformách mimo Intel (nemám tyhle maxima v hlavě).

Používají to hodně drahé stroje na vědecké účely, na modelování či nějaké ty databáze. Běžně takové mašiny se dávají třeba pod Sapí Hanu. Setkat se s tím dá i v telekomunikacích, řada brokerů, ústředen a dalších klíčových uzlů mají blackboxy, kde takovéhle extrémny lze potkat.

Osobně jsem se zatím potkal nejvýše s 2 TiB paměti, holt jsme malá země.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 12:48

Jarda_P

@Jan Fikar, @ Tomáš2: Toz to jsou asi hezke stroje, takovy si asi hned tak domu nekoupim. Ale zajimalo by mne, jak takove kvantum RAM udrzi funkcni. Specialni RAM s obzvlaste vypasenym ECC? Hotswap postizenych pameti?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 15:04

dmetsys (neregistrovaný)

Uz nejaky ten patek Xeony i desky umi RAM mirroring a ano je mozny hotswap postizeneho modulu.
V linuxu potrebujes na takovou spravu systemd. Ale nepotrebujes, jen si z tebe utahuji :-D
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 15:06

. . (neregistrovaný)

ceny za tyhle stroje jdou do milionů, desítek milionů. Ano, hotswap pamětí i cpu se používá, bez ECC to není možné provozovat.

Problém je, že tyhle systémy startují sami o sobě několik hodin poté je nutné do nich dostat data, nic na 5 minutový restart. Pokud to někdo provozuje realtime, má zálohu, v opačném případě se musí vyjednat odstávka.

Je to ale dost drahé vzhledem k tomu, že málo lidí má dostatečné zkušenosti tohle udržovat. I s menšími monstry máme problémy s interním IT.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 18:34

j (neregistrovaný)

Uz se nekdy nekomu stalo, ze by potreboval vic nez 640kB RAM ... on shit ...

Spis teda takhle, uz se nekdy nekomu povedlo NEnarazit ve widlich na maximalni limit pouzitelny RAM jeste v dobe kdy se dana verze widli bezne prodavala ci pouzivala? Me tedy jeste ne, a to ani nepotrebuju delat s nejakejma hyperkhull strojema.

Trebas .... takovy widle ... verze 7 (tedy jeste nejaky 3 roky supportu) verze ... home "premium" (tedy prej presne to, co je urceno napriklad hracum her) ... 16GB ... lol. Jednak si uz peknych par patku muze kdokoli do desktopu napichat 64+ a druhak kdo si chce otestovat, necht vyzkousi "Gold Rush The Game" (je to teda technicky naprota hruza) ... ale skoro me vomylo kdyz sem videl 24GB zabrany ramky ... (a kazdejch 100m zasek protoze to neco nacita z pci-e SSDcka ....)
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 14:56

vlado

Kompresia zstd je super, ale nikto neupozorňuje na to, že btrfs s touto kompresiou sa nedá primontovať na staršom jadre a ani grub si s ňou neporadí. Kolega skúšal túto kompresiu na notebooku s btrfs ako / a grub ho poslal niekam, po reštarte neprečítal ani grub.cfg
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 15:54

Fík

Zlatý podporovatel

Tak starší jádro chápu že nebude fungovat a grub se bude muset zstd naučit. Nestačí nekompresovat /boot, nebo samozřejmě dát /boot zvlášť?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 16:01

Kate

Stříbrný podporovatel

Tak pokud už načítám /boot z btrfs, je docela rozumné mít ho jako nekomprimovaný subvolume :)
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 18:34

vlado

1. linux montuje všetky BTRFS subvolumes rovnakou kompresiou (asi podľa prvého riadku v /etc/fstab)
2. dekomprimácia celého filesystému nepomohla, starší kernel ju i potom vôbec nevidí, nenamontuje z nej nič, ani nekomprimovanú subvolumes.

Vyriešil som to takto:
- na USB s live Xubuntu som pridal práve ten kernel, ktorý mal ako aktuálny - získal som ho z vytvoreného image namontovaného do virtuálneho Xubuntu s kernelom 4.14 (loop).
- nabootoval som z USB
- upravil som bootovaciu sekvenciu aby nabootoval pridaný kernel a root partícia bola rovnaká ako pri normálnom boote (vrátane subvolume)
- zmenšil som partíciu BTRFS a vytvoril malú ext4 (som lenivým takže už online namontovanú btrfs cez Gparted)
- presunul /boot na vytvorenú ext4 partíciu
- preinštaloval grub, nastavil /boot/grub/grub.cfg, upravil /etc/fstab
Systém normálne nabehol a funguje aj s zstd kompresiou nad btrfs. Podľa mňa to ide celkom fajn. Benchmarky som nerobil.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 19:30

Kate

Stříbrný podporovatel

1. Uff, to mě docela překvapilo, ale mělo by to snad jít obejít
„You can simulate this by enabling compression on the subvolume directory and the files/directories will inherit the compression flag.“
https://btrfs.wiki.kernel.org/index.php/Compression#Can_I_set_compression_per-subvolume.3F
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 19:39

Fík

Zlatý podporovatel

soubory na brtfs můžou mít různou kompresi, tu se kterou je to přimountováno při jeho zápisu

není tedy triviální tu kompresi měnit, btrfs wiki říká btrfs defrag -c komprese
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 20:41

vlado

Samozrejme komprimáciu partície som zmenil nielen zmenou nastavenia v fstab, ale aj defragmentáciou s parametrom -c.
Btrfs som nikdy podrobne neskúmal, ale podľa mňa btrfs obsahuje nejaké flags, podobne ako zfs. Ak sa raz nastaví že používa zstd, zmeniť sa to dá (možno) nejakými systémovými príkazmi, prípadne sa nedá vôbec (rovnako ako nieje cesta späť pri upgrade zfs).
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
13. 11. 2017 21:06

Fík

Zlatý podporovatel

já měl takový pocit, že defrag -c ne vždy kompresi změnil, už kontinuální soubory prostě nechal v původním znění

navíc na SSD defrag není žádoucí, asi je potřeba cp --reflink=auto a smazat původní soubor

flag BTRFS_FEATURE_INCOMPAT_COMPRESS_ZST to samozřejmě má, aby to starší jádro nerozhodilo
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
14. 11. 2017 0:05

kdave (neregistrovaný)

To je dobra poznamka, napsal jsem k tomu neco do mailinglistu. Grub2 zatim zstd nema, ani jsem nevidel zadny patch v jejich mailinglistu.
Pokud je root se zstd (a je stale namountovany), je v tuhle chvili nutne po zmene souboru v /boot udelat rekompresi se zlib nebo lzo. Jinak je nutne nabootovat 4.14 (live/usb), namountovat root a opravit.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
14. 11. 2017 8:01

Fík

Zlatý podporovatel

druhá možnost je používat už komprimované jádra a intramsf (pomocí třebas xz), potom btrfs to už nebude chtít komprimovat, jedině by bylo zapnuté compress-force
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
14. 11. 2017 8:20

vlado

To je síce pravda, ale grub.cfg je obyčajný texťák, takže ten sa skomprimuje. Zadávať pri každom štarte systému konfiguráciu cez grub rescue je minimálne nepohodlné.
Samozrejme kernel bol komprimovaný gzipom a initramfs bol xz.
Boot partícia na BTRFS bola preto, lebo to rok bez problémov fungovalo a na 32 GB eMMC disku nie je až tak veľa zbytočného miesta, aby sa neoplatilo ho šetriť.
Kolega bol proste príliš iniciatívny, skompiloval si kernel z gentoo-sources-4.14.0 hneď ako vyšiel a hneď upravil komprimáciu v fstab a spustil defragment s paramatrom -czstd.
Problém je nateraz vyriešený, osobitná boot partícia má 256MB, zmestia sa naň 3 kernely aj s initramfs. Keď upravia grub tak, aby vedel čítať aj súbory komprimované zstd, pravdepodobne dá všetko späť.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
16. 11. 2017 12:59

Fík

Zlatý podporovatel

asi je dobré mít /boot oddělený, se mi zdá, že grub blbne i s kompresí lzo/gzip minimálně na jednom stroji s Ubuntu, tam jsou initramfs nekomprimované a často se přebalují při různých updatech. Občas některý (zpravidla ten nejnovější) nenaběhne, grub říká, že initramfs obsahuje garbage a pak nenajde rootfs...

namountovat bez komprese a cp -r /boot /boot2; rm -rf /boot;mv /boot2 /boot to dočasně opravilo
- Zobrazit celé vlákno