Vlákno názorů k článku
Raspberry Pi AI HAT+ 2: generativní AI přímo na Raspberry Pi 5 od tom111 - DeepSeek a Llama3.2 na 8GB RAM? To znie...

DeepSeek a Llama3.2 na 8GB RAM? To znie trochu príliš dobre na to, aby v tom nebol háčik.

DeepSeek som bežal na MacBooku s 8GB RAM. Samozrejme "osekaný", zdá sa mi, že mal 6B parametrov. Podpora slovenčiny bola mizerná, ale v angličtine fungoval obstojne.

Těch háčků tam bude samozřejmě mraky, všechno je osekané na kost, včetně kvantizace na co nejméně bitů.
Na některé úlohy to stačí, na jiné je to naprosto k ničemu (třeba u integrace do hry to vede k tomu, že NPC začne kecat úplně z cesty mimo roli apod.) Každopádně ano, pohybujeme se hodně kolem hranice "good enough", spíč na té temné straně.