Otázka laika - lze na těch NPU provozovat již natrénované LLM? Nebo to slouží vyloženě jen pro trénink a provoz vlastního modelu? Díky!
Určitě na tom pořádně nenatrénuješ.
A většinou se spíš než na LLM hodí na takové ty věci jako manipulace s obrazem, zpracování zvuku...
Díky. A má to v linuxu nějaké standardní rozhraní, aby jednou natrénovaný model šlo provozovat na NPU různých ARM SoCů (např. Rockchip atd.)? Dneska už lepší SoCy NPU mají, ale nevím, jaká je mezi nimi kompatibilita. Díky!
Je to ten stejný SoC jako Radxa O6 nebo O6N
https://www.root.cz/zpravicky/radxa-orion-o6-mini-itx-s-12-jadry-arm-v9/
https://www.root.cz/zpravicky/radxa-orion-o6n-nano-itx-s-12-jadry-arm-v9/
To jsem chtěl hned napsat, poznávám tsm Radxa orion
(A pochvala za smysluplné náhledové obrázky k člànkům než ai patlanice)
Proto se ptám, jestli člověk po takto "výhodné" koupi musí ještě "výhodně" kupovat nějakou originální škatuli. To pak jeden nechápe, proč to prostě neprodávají jako "mini-pc", ale to by asi nebylo dost cool.
Chtělo by to alespoň formát mini ITX, nebo ještě lépe *ATX, (mini)PCIe a (SO-)DIMM sloty, prostě obdobu běžných x86 desek. Ideálně i s procesorem v patici, ale to bych asi pro začátek chtěl moc :-). A pak rozumnou kontinuitu výroby, aby to neskončilo po jednom modelu od jednoho výrobce. Zkrátka ta modularita tu chybí.
Nevím, zda je reálné, aby se ta hromada výrobců dohodla na nějakém standardu. Navíc každá deska má jinou sadu konektorů (což je dobře, tím se liší), jiné schopnosti. x68 svět je standardizovaný, ale zase kromě PCI-e a USB nemá žádné periferie. Na PC super, na automatizaci až tak ne.
Navíc to nemá standardní bios, jiný HW = minimálně překonfigurace DTS, spíše rebuild kernelu, často změny v bootloaderu. Není to navržené pro laika jako PC, ale pro vestavění do nějakého systému.
Nevím, zda je reálné, aby se ta hromada výrobců dohodla na nějakém standardu. Navíc každá deska má jinou sadu konektorů (což je dobře, tím se liší), jiné schopnosti.
Vždyť není nutně třeba něco vymýšlet, máme tu ITX, ATX. Možná by bylo vhodné standardizovat ty menší formáty, ale možná už i pro ně standardy existují (v tom se neorientuji).
x68 svět je standardizovaný, ale zase kromě PCI-e a USB nemá žádné periferie. Na PC super, na automatizaci až tak ne.
Pochopitelně, jde o to, kam to chci nasadit. Na automatizaci asi nevhodné, na nenáročný server, NAS, router, případně klidně to PC, by bylo super mít to víc modulární. Možná by byly zajímavé i desky čistě s miniPCIe sloty, aby se to celé dalo postavit kompaktnější.
Navíc to nemá standardní bios, jiný HW = minimálně překonfigurace DTS, spíše rebuild kernelu, často změny v bootloaderu. Není to navržené pro laika jako PC, ale pro vestavění do nějakého systému.
Určitě, vůbec se o tom nechci hádat. Jen jsem zmínil něco, co mi přijde jako zajímavá možnost (a věřím, že technicky řešitelná) - ne jako náhrada toho Orange Pi z článku, ale jako další, paralelní možnost, která by byla flexibilní a rozšiřitelná. Trochu zjednodušeně - to samé řešení, na které jsme zvyklí ze světa x86_64, jen s jiným procesorem.
Pro spoustu využití je skříň pokaždé jiná. Zrovna ARMovou desku bych jako PC nechtěl, nevidím v tom žádnou výhodu oproti x64.
Specializovaná skříň se dnes snadno a levně vyrobí třeba na 3D tiskárně, pokud nemusí být kovová.
Chápu správně ty NPU že jsou dobré na zpracování vstupů dat?
Například pokud bych chtěl modernizovat výrobu a místo výstupní kontroly (člověk) by chtěl výstupní kontrolu AI?
Tedy že výrobek bude snímán ze všech stran a pomocí NPU dojde k porovnání s daty (obrázky/videem) a pokud bude výrobek špatný, dojde k jeho vyřazení.
Ono to vyzera pekne, clanok ma zaujal - hned by som si kupil. Len ..
Mam OrangePi 5 max. Kebyze tvrdo Joshua Riek nezapracoval na svojom projekte: https://github.com/Joshua-Riek/ubuntu-rockchip tak by to bolo takmer nanic. Ale kvoli hadkam je ten projekt opusteny.
Pouzivam to ako NAS pre moj proxmox cluster. Sice to ma len jeden 2.5Gbps port ale tak sluzi dobre. Nastastie ma netrapia veci okolo grafiiky/npu.
To, co dodava ako support OrangePi je na zaplakanie. A tie ich fora? Plne spamu. Ale ak sa toho chyti nieto vacsi (armbian) tak v 64GB verzii to moze byt zaujimave.
Mamv tom zapichnutu 128GB mmc kartu a nvme WD Blue SN580 2TB. V idle to ma cca 4W.
Pri kopirovani (write na nmve) pri rychlosti ~235MB/s to skakalo medzi 7-9W.
Pravdupovediac nehral som sa s tymi idle stavmi, asi by sa to dalo vylepsit.
Bezi mi na tom ubuntu s Joshuovymi patchmi na 6.1.0-1027-rockchip.
To zmiňované orange je arm ? I na tom jde proxmox?
Mě intel n100 v extrémním idle žere 1.3W (DC vstup smyslupné idle 3W)
Ano, je to arm, rk3588. Mne to robi NAS pre proxmox, nie je samotna noda v proxmoxe clustri. Ale na nete su rozne navody aj na rozchodenie arm clustra (tj neoficialne).
Joshua pred 4 dnami prejavil zaujem o Opi6 ( https://github.com/Joshua-Riek/ubuntu-rockchip/issues/1306#issuecomment-3434115144 ), otazne je ako sa opat zachova samotne OrangePi.
Mna to zaujalo kvoli moznosti setupu dvoj-nodoveho aarch64 proxmox clustra v labe.