Názory k článku
Raspberry Pi AI HAT+ 2: generativní AI přímo na Raspberry Pi 5

Deepseek - pred nima vydal NUKIB varovani:
https://nukib.gov.cz/cs/infoservis/aktuality/2279-nukib-vydal-varovani-pred-nekterymi-produkty-spolecnosti-deepseek/

To je jen o jejich public API, dál navíc doslova píšou

> Toto varování se nevztahuje na bezpečnostní testování, výzkum a analýzu dotčených produktů ani open-source velké jazykové modely společnosti DeepSeek, jejichž zdrojový kód je veřejně přístupný a který je provozován lokálně, bez možnosti komunikace se servery využívanými společností DeepSeek ani s jejími předchůdkyněmi, nástupnickými, mateřskými, dceřinými či přidruženými společnostmi.

DeepSeek a Llama3.2 na 8GB RAM? To znie trochu príliš dobre na to, aby v tom nebol háčik.

DeepSeek som bežal na MacBooku s 8GB RAM. Samozrejme "osekaný", zdá sa mi, že mal 6B parametrov. Podpora slovenčiny bola mizerná, ale v angličtine fungoval obstojne.

Těch háčků tam bude samozřejmě mraky, všechno je osekané na kost, včetně kvantizace na co nejméně bitů.
Na některé úlohy to stačí, na jiné je to naprosto k ničemu (třeba u integrace do hry to vede k tomu, že NPC začne kecat úplně z cesty mimo roli apod.) Každopádně ano, pohybujeme se hodně kolem hranice "good enough", spíč na té temné straně.

Původní HAT jsem kupoval kvůli samotnému akcelerátoru v M.2 formátu. Tohle je celé integrované pro RPi5, takže jinde nepoužitelné.

Cena ale jinak není špatná.

Jestli se dobře dívám, tak je to stejně připojené přes PCIe, takže s vhodnou redukcí to použiješ i jinde... Jen to nebude tak úhledné/pohodlné. Nezapomeň, že tam museli narvat i RAM.

Prakticky je to nesmysl. To, že tam je navíc jeden ram čip není argument, to má i kdejaké SSD.