Názory k článku
Raspberry Pi AI HAT+ 2: generativní AI přímo na Raspberry Pi 5

Deepseek - pred nima vydal NUKIB varovani:
https://nukib.gov.cz/cs/infoservis/aktuality/2279-nukib-vydal-varovani-pred-nekterymi-produkty-spolecnosti-deepseek/

To je jen o jejich public API, dál navíc doslova píšou

> Toto varování se nevztahuje na bezpečnostní testování, výzkum a analýzu dotčených produktů ani open-source velké jazykové modely společnosti DeepSeek, jejichž zdrojový kód je veřejně přístupný a který je provozován lokálně, bez možnosti komunikace se servery využívanými společností DeepSeek ani s jejími předchůdkyněmi, nástupnickými, mateřskými, dceřinými či přidruženými společnostmi.

DeepSeek a Llama3.2 na 8GB RAM? To znie trochu príliš dobre na to, aby v tom nebol háčik.

DeepSeek som bežal na MacBooku s 8GB RAM. Samozrejme "osekaný", zdá sa mi, že mal 6B parametrov. Podpora slovenčiny bola mizerná, ale v angličtine fungoval obstojne.

Těch háčků tam bude samozřejmě mraky, všechno je osekané na kost, včetně kvantizace na co nejméně bitů.
Na některé úlohy to stačí, na jiné je to naprosto k ničemu (třeba u integrace do hry to vede k tomu, že NPC začne kecat úplně z cesty mimo roli apod.) Každopádně ano, pohybujeme se hodně kolem hranice "good enough", spíč na té temné straně.

Ja som tieto veci veľmi nepúšťal, ale 16 GB RAM v Raspberry pi 5 sa nejak nevyužije tiež? 8 GB má ten akcelerátor.

Původní HAT jsem kupoval kvůli samotnému akcelerátoru v M.2 formátu. Tohle je celé integrované pro RPi5, takže jinde nepoužitelné.

Cena ale jinak není špatná.

Jestli se dobře dívám, tak je to stejně připojené přes PCIe, takže s vhodnou redukcí to použiješ i jinde... Jen to nebude tak úhledné/pohodlné. Nezapomeň, že tam museli narvat i RAM.

Prakticky je to nesmysl. To, že tam je navíc jeden ram čip není argument, to má i kdejaké SSD.

Máš pravdu. Však si můžeš koupit i v M.2 balení: https://hailo.ai/products/ai-accelerators/hailo-10h-m-2-ai-acceleration-module/#hailo10m2-overview

To by me zajimalo, o kolik je to pomalejsi nez MacMini_M4pro(ten nejsilnejsi co na pro maji) s 64GB ;-) ;-)

pomalejsi na co? porad myslim ze tohle primarne cili na zpracovani obrazu z kamery, ne obecne LLM, mac je samozreme cenove, spotrebou i vykonem uplne jinde

mimochodem kdyby spotreba nebyla problem, tak jeste loni bylo okno kdy byla velmi zajimava Asrock BC-250 'mining' deska, coz je AMD Zen2 s 24CU RDNA2 GPU a 16GB sdilene GDDR6 RAM a byla ve vyprodeji kolem 50 dolaru. Nekteri meli cely puvodni rack 12 kusu prakticky za pakatel protoze na mining uz to nebylo. V poslednich mesicich ale cena hodne stoupla (cca 150-200USD za kus) protoze na tom uz velice slusne jede Steam v Linuxu a moderni hry v 1080p - takova levna nahrazka Steam Machine. 16GB na tom GPU asi taky zvladne relativne vetsi LLM. I dnes, kdyz lezou pameti nahoru tak to za tech 150-200 USD muze porad byt dobra volba (16GB DDR5 typicky stoji jak cela tahle deska) ale zlate levne casy jsou pryc, leda by ten hype kolem toho rychle opadl. Vic info treba https://elektricm.github.io/amd-bc250-docs/hardware/specifications/

Osobně by mě docela zajímalo jak na tom běhá Whisper, pokud by to pomohlo v Home Assistant STT, bylo by to super.

16. 1. 2026, 14:06 editováno autorem komentáře