Vlákno názorů k článku
Orange Pi 6 Plus má 12jádrový procesor, dva 5Gb ethernety a až 64 GB RAM od dustin - Otázka laika - lze na těch NPU provozovat...

Otázka laika - lze na těch NPU provozovat již natrénované LLM? Nebo to slouží vyloženě jen pro trénink a provoz vlastního modelu? Díky!

Určitě na tom pořádně nenatrénuješ.

A většinou se spíš než na LLM hodí na takové ty věci jako manipulace s obrazem, zpracování zvuku...

Díky. A má to v linuxu nějaké standardní rozhraní, aby jednou natrénovaný model šlo provozovat na NPU různých ARM SoCů (např. Rockchip atd.)? Dneska už lepší SoCy NPU mají, ale nevím, jaká je mezi nimi kompatibilita. Díky!