Vlákno názorů k článku
Chrome potichu do počítače stahuje 4GB model pro Gemini Nano od My name: - Google by musel vsetky data posielať do Google...

Google by musel vsetky data posielať do Google Cloudu na extrahovanie cez AI, tak si stiahne AI lokálny model a extrahuje VASE data na VAŠOM HW za VAŠU ELEKTRINU a už si len pošle do Google Cloudu vyextrahované dáta.

Samozřejmě na tom zařízení které to dostečně podporuje. A vzhledem k průměrnému stáří desktopu v domácnostech přes 7let to nebude vysoké procento HW které se věcmi jako RAMagedon rozhodně nevypadá že by měl zlepšovat.

Takže jen z části Google ušetří, protže většina lidí HW s Ai akcelerací nemá.,

Mám přes 7 let starý desktop a naprosto bez problému spouštím bez gpu i 10x větší modely. Na druhém desktopu se 128GB ram a novějším ryzenu (12c/24t) také bez GPU spouštím běžně i 80B modely. Spustím tam i 120B GPT-OSS, ale to už není stabilní.
Tayhle malé modely se dnes spouští lokálně i na levných androidech, žádný "HW s AI akcelerací" není potřeba.

> Na druhém desktopu se 128GB ram a novějším ryzenu (12c/24t) také bez GPU spouštím běžně i 80B modely.

Ale ako rychlo. GPU na AMD Strix Helo 395+ so 128GB RAM sroti 70B modely zavratnou rychlostou cca 4 tokeny za sekundu.

O to tady ale vůbec nejde. On si myslí, že na 4B model krutopřísně optimalizovaný pro edge devices potřebuje "speciální hardware". Nepotřebuje. (a ano, 120B běží tak 5tps. Ale ten 4B poběží tak 1 A4 per second :D )