Názor k článku Kompilujeme ze zdrojového kódu - optimalizace, výstup configure od Stanislav Brabec - Tak to jste asi dělal špatně. Rozhodně funguje...

Tak to jste asi dělal špatně. Rozhodně funguje -O3. S jistými omezeními i -fomit-frame-pointer. Dále lze zmenšit knihovnu vyhozením informací o verzích, ale pak bude knihovna binárně nekompatibilní.
Je však třeba dávat pozor na verzi glibc a kompilátoru. Obecně platí - verze glibc musí být novější než verze gcc.
Pro kompilaci glibc s gcc-3.2 potřebujete patch.