Vlákno názorů k článku Matematické koprocesory na 80×86 pro výpočty s plovoucí řádovou čárkou od jdobry - Tak dlouho jsme zlepsovali matematicke vypocty na pocitacich,...
-
Tak dlouho jsme zlepsovali matematicke vypocty na pocitacich, az jsme se "vratili" na 8 bit float. FP8 jako E4M3 (4-bit exponent, 3-bit mantisa), nebo
E5M2 (5-bit exponent, 2-bit mantisa)
To se dnes hodi na AI, protoze je to mene narocne na vsechno (energie, pocet tranzistoru, ulozeni, prenos) a na AI to staci.
A FP8 neni v IEEE 754, zatim. -
Pavel TišnovskýZlatý podporovatelDiky za informaci. Ja mel za to, ze se pouziva bug bfloat16 a tam, kde se boji soudu (NVidia), tak se pouziva fp16. Takze se uz jde jeste niz?
* zase pekny, tady ty kratky FP se hodi na vyuku. jsou i sestibitovy FP, kde se daji vsechny hodnoty krasne vynest a vsechno na tom pochopit.
-
Pavel TišnovskýZlatý podporovatel
tyjo zajímavý, že to (zdá se) ještě není podporovaný v PyTorchi, pokud to CUDA fakt podporuje. zjistím...
-
Nuz bezne FPGA maji 6-vstupove LUT, takze pokud bude ALU hardcoded (2-bit operace, 2x 4bit data), tak by tech 10 bitu slo namapovat na vystupni data snad i v 1 cyklu pres 1 GHz, i kdyz na bezne aplikace si lze dovolit to rozsekat na vicetaktovou pipeline.
Nemusi to byt nutne ROM ve fyzicke realizaci, viz treba ta zabugovana PLA v pentiu, z nedavneho koumani jeho kremiku od Kena, kdy oprava dokonce prinesla zrychleni protoze byla vystupni entropie mensi.
Mozna nekdo z ASIC navrharu nam sdeli jake jsou prakticky frekvence u urciteho poctu levels of logic, nebo tedy hodnevstupe funkce :)
