Vlákno názorů k článku
Zpráva OpenAI ukazuje, že ChatGPT používá desetina dospělé populace od radekm - Lepší by bylo, kdyby modely běžely u každého...

Lepší by bylo, kdyby modely běžely u každého uživatele lokálně. Aspoň bychom nebyli závislí na nějaké cizí společnosti.

IMO jedním z důvodů je, že na klasické vyhledávače dávají horší výsledky než dřív. Možná za to může množství nekvalitního obsahu generovaného LLM. Takže LLM řeší problém, který samy vytváří.

Problém je, že i kdyby takové modely byly k dispozici, na provoz frontier-level LLM by byl potřeba o dost dražší a méně dostupný hardware, než si většina jednotlivců může dovolit. (Taky to není moc efektivní, protože pak máte HW, který je vytížený 0.1% času a zbytek odpočívá, kdežto service provideři dokážou svá GPU vytížit víceméně kontinuálně). Nevím, jestli toto má dobré řešení. Možná nějaká community-managed inference ala vpsfree?

ChatGPT 5 poskytl následující odhad:

If you want “ChatGPT‑5‑like” quality entirely offline: plan a multi‑GPU server with ≥8× 80 GB data‑center GPUs (or more), 512 GB–1 TB RAM, 2–4 TB NVMe, high‑speed interconnect, and serious power/cooling.

Odhadnutá přibližná cena:
- Low end (minimal headroom, doing cost‑saving where possible): around US $270,000–400,000

- Mid/high end (ample cooling, redundancy, high‑bandwidth interconnect, quality parts): US $400,000–600,000 or more

Věřím, že se brzy cena HW sníží nebo se vyvinou kompaktnější modely, kde např. neuronová síť používá nějakou externí db znalostí, takže samotná síť je menší.

Spíš mi překvapuje jak snadno se lidé vzdají nezávislosti.

Menší jazykové modely existují, ale stejně potřebujete výkonný hardware. Existují ještě menší jazykové modely, které lze provozovat na dostupném HW, ale nejsou tak univerzální a hodí se pro jednoduché úlohy, například kontrola textu nebo překlad. Záleží co člověk potřebuje a jestli je zhýčkaný těmi nejlepšími.

Lepší, ale ne pro ně :)

No čo mám skúsenosť s tým ako vyhľadávače sa sprznili tak to začalo už pred vznikom LLM, aj keď áno, teraz je to už taká katastrofa že dnes nenájdem už fakt skoro nič.

Pamätám si 10 rokov dozadu keď som s rovnakým textom našiel bez problémov stovky výsledkov presne k tomu čo som potreboval, dnes nenájdem ani jeden výsledok ani keď hodinu sa trápim s vyhľadávanou frázou, minule sa mi až po 2 hodinách podarilo nájsť len jeden jediný výsledok ako tak blízko k tomu čo som hľadal.

O YouTube už ani nehovorím, tam vyhľadávanie snáď nikdy nefungovalo, hľadám jednu pesničku a nikdy ju nenájde vyhľadávač aj keď od znaku do znaku skopírujem názov. Mám len priamy link a uložené to v playliste, inak by som sa k tomu už nedostal. A to ani keby že použijem úvodzovky alebo "intitle:" prefix ako search parameter.

Já zase nedávno zjistil že na obrázky je asi lepší Bing. Hledal jsem obrázek na googlu, dal jsem tomu snad 10 minut, několik kombinací klíčových slov, všechno jen AI odpad a nic ani vzdáleně neodpovídalo. Tak jsem to ze srandy zadal do Bingu a bum, hned první výsledek rovnou na originální post na stránce autora. Čuměl jsem jak puk.