Odpověď na názor
Odpovídáte na názor k článku Zpracování hodnot typu half float (fp16) na platformě AArch64. Názory mohou přidávat pouze registrovaní uživatelé. Nově přidané názory se na webu objeví až po schválení redakcí.
-
Pavel TišnovskýZlatý podporovatelPro embeddings. Tam je AArch64 úplně super. Samozřejmě ne tak rychlý jako GPU, jenže GPU jsou v čmoudu drahé/nejsou k dispozici, takže si na to beru vždycky mašinu s AArch64 a pomalejší x86-64 nechám pro ostatní (asi s Windows :-). Taky se s tím dají přežít SW-only LLM s half-float (tedy záleží na tom, na co, ale někdy fakt není GPU k dispozici).
