Facebook BOLT: zrychlení linuxových binárek

26. 11. 2018

Autor: Depositphotos

Facebook zveřejnil projekt BOLT (Binary Optimization and Layout Tool), který má zrychlovat X86–64 a AArch64 ELF spustitelné soubory. Měly by fungovat soubory kompilované GCC a Clang. BOLT používá LLVM a nejprve se analyzuje výkon aplikace pomocí perf. Podle výsledku je pak spustitelný soubor optimalizován.

Zrychlení dosahuje až 20 %, pokud je použito při překladu PGO (profile-guided optimization) a LTO (link time optimization) a až 50 % bez jejich použití. Zdrojové kódy jsou na GitHubu. Více informací v článku.

(zdroj: phoronix)

Našli jste v článku chybu?

Zasílat nově přidané názory e-mailem

Aktualita je stará, nové názory již nelze přidávat.

26. 11. 2018 11:40

martin1397

Nerozumiem rozdielu medzi kompilátorom a týmto programom. Nemá tieto optimaĺizácie vykonavať už kompilátor?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 12:34

Fík

Zlatý podporovatel

PGO a LTO dělá kompilátor, BOLT jsou optimalizace navíc
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 12:41

martin1397

Takžeee... prečo sa tieto optimalizácie neimplementujú priamo do kompilátorov? Resp v čom sú tie typy optimalizácií tak odlišné?
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 13:14

654 (neregistrovaný)

Já bych to nazval spíš úklidem nebo reorganizací binárky za účelem lepší stravitelnosti pro CPU.

Citace z článku na sdtimes.com [1]:
"Highly complex services, such as those here at Facebook, have large source code bases in order to deliver a wide range of features and functionality. Even after the machine code for one of these services is compiled, it can range from 10s to 100s of megabytes in size, which is often too large to fit in any modern CPU instruction cache. As a result, the hardware spends a considerable amount of processing time — nearly 30 percent, in many cases — getting an instruction stream from memory to the CPU,...

BOLT rearranges code inside functions based on their execution profile, the company explained. The body of the function is split based on how frequently the code is executed, and then it performs and optimal layout of hot chunks of code depending on the call graph profile."

[1] https://sdtimes.com/os/facebook-open-sources-its-binary-optimization-and-layout-tool-for-large-scale-apps/
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 17:05

j (neregistrovaný)

Jenze jestli neco "vi", co bude pro CPu stravitelny, tak je to prave kompilator, protoze prave a pouze ten vidi, co programator kodem zamyslel, kdezto cokoli potom uz ma informacni deficit danej prave tim, jak se rozhod kompilator.

A protoze i kompilator ti klidne muze nektery kusy kodu preorganizaovat tak, ze nebudou fungovat, tak prevazne existujou moznosti, jak jeho optimalizacim zabranit. Coz je opet informace v kodu pro kompilator, kterou ale optimalizator binarky ... nema.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 15:20

Zdeno Sekerák

Tohle je optimalizace na zaklade pouziti. To kompilator nemuze predvidat.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 20:03

vlk (neregistrovaný)

LTO su optimalizacie na urovni statickej analyzy po skompilovani, BOLT pusti kod a robi urcite statistiky nad beziacim kodom a z toho sa pokusi inak optimalizovat binarku
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 7:53

Peter Fodrek

Zlatý podporovatel

A optimalizovať na ktorý procesor

AMD vs. Intel
The Compiler as Referee

test
444 namd optimalizovaný na Intel P7 bežal na Opterone na úrovni 89% výkonu kódu aptimalizovaného pre Opteron
a

test
454 calculix optimaliyovaný pre Opteron bežal na Pč-kovom Xeone s výkonom 50% výkonu kódu optimalizoavného pre P4-ku
https://www.pgroup.com/lit/presentations/pgisc06.pdf
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 13:27

libcha (neregistrovaný)

Wow, tak jestli už mají všechno vyoptimalizované natolik, že se jim vyplatí jít až sem, tak klobouk dolů.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 16:54

Samuel Kupka

Velke firmy riesia optimalizacie na vsetkych vsetkych urovniach. Od aplikacnej "vysokej" urovne az smerom k zelezu. Tu je napriklad talk o ich implementacii std::string, ktory priniesol 1% zrychlenie: https://www.youtube.com/watch?v=kPR8h4-qZdk Odporucam si to pozriet, aby si clovek uvedomil, ake extremne veci sa musia riesit.

Google ma tiez svoje pristupy. Napriklad nepouzivaju exceptions, aby dosiahli rychly kod. A samozrejme, tiez maju vlastny string :)
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 17:08

j (neregistrovaný)

To jiste ... a pak trva spusteni textovyho editoru 10 minut a potrebuje 300MB ram.

Jedinej zpusob jak nekoho donutit k jakykoli optimalizaci, je posadit ho k HW, kterej ma 1MHz a 30kB ram.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 17:11

Samuel Kupka

Ono hlavne treba rozlisovat to, ci niekto vytvara softver, ktory bezi na cudzom zeleze alebo na vlastnom. Ked uz musi firma sama znasat naklady na beh (priklad toho facebooku alebo google, ktore prevadzkuje vlastne servre), tak sa sakra posnazi, aby ich musela pouzit co najmenej. Takemu Microsoftu to naozaj moze byt u prdele, ako dlho sa u zakaznika pusta Office alebo Windows.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 19:36

Jan Forman

Spíš jde hlavně o prachy, za elektřinu a chlazení... prostor, železo. Mimochodem, tyhle velké optimalizace začínalo Yahoo už kdysi. Prostě ušetřit 10% výkonu na tisících serverech se celkem rychle vrátí.
Na klienta na konci kašlou, to je jeho problém.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
26. 11. 2018 22:02

eeeee (neregistrovaný)

Detail: v Googli sa oplati aj usetrit 0.1%. Z verejnych zdrojov boli davnejsie rocne vydavky 10.9mld USD. Usetrenie 0.1% znamena usporu 10.9 mil USD a to uz zaplati aky-taky vyvoj.
- Zobrazit celé vlákno
- Skok na další nový názor. K navigaci lze použít i klávesy N pro následující a P pro předchozí nový názor
27. 11. 2018 18:44

/dev/ka (neregistrovaný)

... to zaplati vianocne premie pre manazerov ze dokopali lopaty k optimalizaciam...
- Zobrazit celé vlákno