Vlákno názorů k článku
Refactoring ovladače NPU Intel pro lepší práci CPU a NPU od peci1 - Myslim, ze by byl hezky clanek na Roota,...

Myslim, ze by byl hezky clanek na Roota, kdyby nekdo rozebral, co se tedy uvnitr vsech tech NPU (pocinaje Movidiem :) ) ukryva.

Kdyz většina Čechů si myslí, že to není "skutečná AI", ale jen nějaké lepší doplňování textů ;-)

A co že je to ta "skutečná AI"?

Popřípadě porovnání i s jinou technologií. Třeba Apple má v CPU taky akcelerátor co umí zpracovávat dlouhé vektory a to přímo v instrukční sadě (není potřeba driver popř. DMA přenos těch dat do jiné paměti).

Ne, nemá to v instrukční sadě. Ani Apple nemůže porušit licenci ARM ISA. Tedy když nepočítám, že do své verze architektury přidal instrukci(e) z vyšší verze. Ale furt jde o legální instrukce ARM ISA, které může mít každý. I ten strong memory model je vlastnost ARM ISA a má ji i Fugaku a měly ji velká jádra NVidia Denver.

Má to přes koprocesor - vše uvnitř SoC. Všechny sdílí L2 cache, takže zero copy komunikace (předání dat), proto není potřeba "driver" a DMA:

AMX: The Secret Apple M1 Coprocessor

Tady máš celý reverse engineering té technologie:

https://github.com/corsix/amx/blob/main/aarch64.md

Apple využil reservovanou oblast v instrukční sadě a použil si ji podle sebe. Je to porušení licence ARM ISA? Podle mě ne, ale je to tam a CPU dekóduje operace, které ARM nezná...