Lepší by bylo, kdyby modely běžely u každého uživatele lokálně. Aspoň bychom nebyli závislí na nějaké cizí společnosti.
IMO jedním z důvodů je, že na klasické vyhledávače dávají horší výsledky než dřív. Možná za to může množství nekvalitního obsahu generovaného LLM. Takže LLM řeší problém, který samy vytváří.
Problém je, že i kdyby takové modely byly k dispozici, na provoz frontier-level LLM by byl potřeba o dost dražší a méně dostupný hardware, než si většina jednotlivců může dovolit. (Taky to není moc efektivní, protože pak máte HW, který je vytížený 0.1% času a zbytek odpočívá, kdežto service provideři dokážou svá GPU vytížit víceméně kontinuálně). Nevím, jestli toto má dobré řešení. Možná nějaká community-managed inference ala vpsfree?
ChatGPT 5 poskytl následující odhad:
If you want “ChatGPT‑5‑like” quality entirely offline: plan a multi‑GPU server with ≥8× 80 GB data‑center GPUs (or more), 512 GB–1 TB RAM, 2–4 TB NVMe, high‑speed interconnect, and serious power/cooling.
Odhadnutá přibližná cena:
- Low end (minimal headroom, doing cost‑saving where possible): around US $270,000–400,000
- Mid/high end (ample cooling, redundancy, high‑bandwidth interconnect, quality parts): US $400,000–600,000 or more
Věřím, že se brzy cena HW sníží nebo se vyvinou kompaktnější modely, kde např. neuronová síť používá nějakou externí db znalostí, takže samotná síť je menší.
Spíš mi překvapuje jak snadno se lidé vzdají nezávislosti.
Menší jazykové modely existují, ale stejně potřebujete výkonný hardware. Existují ještě menší jazykové modely, které lze provozovat na dostupném HW, ale nejsou tak univerzální a hodí se pro jednoduché úlohy, například kontrola textu nebo překlad. Záleží co člověk potřebuje a jestli je zhýčkaný těmi nejlepšími.
No čo mám skúsenosť s tým ako vyhľadávače sa sprznili tak to začalo už pred vznikom LLM, aj keď áno, teraz je to už taká katastrofa že dnes nenájdem už fakt skoro nič.
Pamätám si 10 rokov dozadu keď som s rovnakým textom našiel bez problémov stovky výsledkov presne k tomu čo som potreboval, dnes nenájdem ani jeden výsledok ani keď hodinu sa trápim s vyhľadávanou frázou, minule sa mi až po 2 hodinách podarilo nájsť len jeden jediný výsledok ako tak blízko k tomu čo som hľadal.
O YouTube už ani nehovorím, tam vyhľadávanie snáď nikdy nefungovalo, hľadám jednu pesničku a nikdy ju nenájde vyhľadávač aj keď od znaku do znaku skopírujem názov. Mám len priamy link a uložené to v playliste, inak by som sa k tomu už nedostal. A to ani keby že použijem úvodzovky alebo "intitle:" prefix ako search parameter.
Já zase nedávno zjistil že na obrázky je asi lepší Bing. Hledal jsem obrázek na googlu, dal jsem tomu snad 10 minut, několik kombinací klíčových slov, všechno jen AI odpad a nic ani vzdáleně neodpovídalo. Tak jsem to ze srandy zadal do Bingu a bum, hned první výsledek rovnou na originální post na stránce autora. Čuměl jsem jak puk.
Myslím, že podstatnější je číslo, kterým už se OpenAI tak nechlubí: že z těch 700 milionů je ochotno platit jen 20 milionů a z nich je drtivá většina na tom nejlevnějším předplatném, které je pro OpenAI těžce ztrátové.
Otázka zní, jestli u toho ale ještě bude OpenAI. Jsou zde další hráči, zejména Google, který má výhodu propojení se zbytkem ekosystému a Musk, který může také využívat synergii (dnes propojení s X, příště klidně s nějakou robotikou atd.). Že je dnes "de facto" ChatGPT synonymem pro LLM (u široké veřejnosti), nemusí budoucnost OpenAI zajistit.
Tak ona taky jedna věc je provozovatel a druhou technologie. Třeba Gemini je oproti ChatGPT dost tragédie. Takže OpenAI u toho být nemusí ale ChatGPT najednou bude Gemini ani nebudeme vědět jak a pojede se dál.
No na tohle se názory dost liší. Já třeba Gemini používám (2.5 Pro a Deep Research, trochu v produktech) a raději dám peníze za tohle, než za ChatGPT (úplně mě naštvali, když zrušili o1). A dost lidí také preferuje Gemini. Nezmiňoval jsem Anthropic, což je další hráč, který má své silné stránky. DeepSeek zmiňuju pod čarou, protože soudruhy z Číny moc podporovat nechci.
Nevím jak v produktech ale když jsem něco chtěl jako koncový uživatel, Gemini jsem vzdal protože setrvale působilo jako někdo, kdo se usilovně snaží neodpovědět, to bylo jednoduše strašné :-D
Ale to už jsme poněkud off-topic.
16. 9. 2025, 14:57 editováno autorem komentáře
Jedna věc je technologie, druhá uživatelské rozhraní, třetí api a čtvrtá dlouhodobá podpora. Google vetšinu svých pfoduktů po čase zařízne, takže já jeho AI nevěřím.
Ano, v téhle válce velkých AI poskytovatelů bych spíš vsadil na firmy, které mají zisky z něčeho jiného a jsou schopné AI dotovat dalších mnoho let. Rychlost, jakou ten AI vývoj pálí peníze, je astronomický a dlouho to OpenAI a Antrophic nebudou moct dělat tak, že budou dělat jen další a další kola financování od soukromých investorů. Takže spíš přežijí AI od Googlu, Mety nebo Microsoftu, protože zatím nejvíce životaschopný model je integrovat to do stávajících produktů a navýšit tím jejich cenu. Nevím, jestli bude mít smysl OpenAI odkupovat, rozhodně ne za současné ocenění. Třeba Gemini zase tak dramaticky pozadu není, aby stálo Googlu za to zaplatit stovky miliard dolarů za OpenAI.
Možná se mu povede zkrachovat OpenAI a shrábnout jejich...
Jinak zvěsti byly, že mimo malých modelů zkoušejí i vlastní frontier model.
Kdysi jsem to zjišťoval, ale ChatGPT to umí shrnout lépe:
Microsoft má:
- Exkluzivní obchodní práva k využívání a integraci modelů OpenAI
- Exkluzivní práva na cloudový hosting modelů OpenAI
- Nevlastní OpenAI ani její modely
To dává Microsoftu významnou strategickou výhodu, zejména v oblasti podnikové umělé inteligence, ale v mezích stanovených vedením OpenAI a jejími zásadami používání.
Muj komentář: Odhaduje se, že 10–30 % z mých plateb OpenAI připadne Microsoftu za využití jeho cloudové infrastruktury. Rozdíl mezi OpenAI a Microsoftem spočívá v tom, že ekonomika provozu cloudu je poměrně přímočará, a Microsoft na této spolupráci bezpochyby vydělává.
U OpenAI je situace mnohem složitější – pokud AI bublina splaskne, investoři mohou přijít o obrovské finanční částky.
Já jsem právě narážel na předřečníka, který kritizuje OpenAI za jejich financování z příspěvků a tvrdí, že "spíš přežijí AI od Googlu, Mety nebo Microsoftu".
To co dnes MS poskytuje je velmi vzdálené tomu, co poskytují ostatní (mluvím o Copilotu a o jeho silném provázání s dalšími službami a schopnost řešit bezpečnost a audit). Stejně tak síla Google není v Gemini samotném, ale v NotebookML a případně provázání s gmail, drive a dalšími službami (to proti čemu částečně Amazon postavil SageMaker). Vývoj modelu je drahý, jeho provoz ještě víc, ale přidaná hodnota je až v uceleném produktu a ingtegraci do nějakých procesů, tam se budou točit peníze a v tom mají velké společnosti výhodu (Copilot nenahradíš jinou službou, stejně tak ti Google výrazně omezuje api na ovládání jeho služeb atd.).
> Exkluzivní obchodní práva k využívání a integraci modelů OpenAI
Co je tím myšleno? OpenAI nabízí API široké veřejnosti.
Co se "Exkluzivních obchodních práv k využívání a integraci modelů OpenAI" týče:
Stručně: Microsoft má výhradní komerční právo využívat modely OpenAI v komerčních produktech a nabízet je zákazníkům přes Azure — žádná jiná firma to nesmí dělat tímto způsobem.
Podrobněji (ChatGPT 5):
"Exkluzivní obchodní práva" (v angličtině exclusive commercial rights) znamenají, že Microsoft má jako jediná firma na světě oprávnění komerčně využívat a integrovat modely OpenAI (např. GPT‑4, Codex, DALL·E) do svých vlastních produktů a služeb – a to na základě smlouvy s OpenAI.
Co to konkrétně obnáší:
Microsoft smí:
Zabudovat modely OpenAI do svých aplikací. Například:
- Copilot v Microsoft 365 (Word, Excel, Outlook…)
- Copilot v GitHubu (programování s pomocí AI)
Prodávat přístup k modelům skrze Azure OpenAI Service
Firmy a instituce mohou přes Azure volat API modelů jako GPT‑4, ale ne přímo přes OpenAI.
Vytvářet vlastní řešení postavená na těchto modelech
Např. bezpečnější, auditovatelné nasazení pro vlády, zdravotnictví, bankovnictví atd.
Ostatní firmy nesmí:
Získat přímá práva na integraci OpenAI modelů do svých platforem na stejné úrovni jako Microsoft.
Komerčně šířit modely OpenAI (např. nabízet je jako součást vlastního API), pokud to není přes Azure.
MS má menší jazykové modely, například Phi-4, který se dá spustit na PC s 16GB grafickou kartou. Zabývá se také převodem textu na řeč a rozpoznání mluvené řeči a převodem na text. Jinak využívá služeb OpenAI, jak už bylo uvedeno.
Taky myslim. Az AI bublima praskne, firmy, ktere nemaji portfolio dostatecne diverzifikovane, budou rozparcelovany a schlamstnuty velkymi predatory, nebo krachnou.
Ale o OpenAI bych se nebal. Jsou provazani s MS. Treba model Codex, co prave OpenAI oznamil, se uz dlouho pouziva v Copilotu pro kodovani. Nevim, co pouziva obecny Copilot v Edge, ale tipnul bych si taky neco od OpenAI. A prorokuju, ze zitra bude AI-ifikovany necim od OpenAI i Bing.
Ono muze byt v zajmu MS nechat openAI krachnout (zda to skutecne uvidime na zaklade toho, zda povoli transformaci pravni formy do konce letoska) a pak odejit s jejich IP.
> Nevím, jestli bude mít smysl OpenAI odkupovat, rozhodně ne za současné ocenění.
Celkem určitě ano. Nebo aspoň současné OpenAI. Mají jednak uživatelskou základnu (ta má svou hodnotu, i kdyby ty modely byly úplně k ničemu) a jednak jsou dobří minimálně v kreslení obrázků. A navíc mají zaměstnance a nějaké know-how.
Otázka je, za jakou cenu. Dokud je to fungující firma, tak přepálená* valuace může bránit zájemci v převzetí. Pokud ale firma krachne, pak to IIUC bude v podstatě hlavně o aukci, kdo dá víc.
*) Nechci tu teď hádat, jestli valuace OpenAI je přepálená. V podstatě každou valuaci lze obhajovat předpokladem budoucího růstu, a pak se můžeme hodiny hádat, jestli ty předpoklady jsou reálné. Já tu přepálenou valuaci beru jako předpoklad.
S placením je spousta problémů. Například evropské univerzity mají problém s tím, že data nejsou zpracovávána v EU, a proto se do nákupu site licencí nehrnou. Nechávají to na jednotlivých zaměstnancích. Pro ty není jednoduché zdůvodnit platbu 200 USD měsíčně, takže platí 20 USD za měsíc. Jde o ohromné peníze, takže na systematické řešení se bude ještě nějakou dobu čekat.
V EU dnes nejsou DC, který by to v té potřebné šířce dokázala tahat. Na lokálního poskytovatele si asi ještě musíme počkat.
A presto je AI uplne k nicemu.
Prvni dotaz na dioptricke skla - AI vygenerovalo dlouhy blabol bez uzitecne informacni hodnoty, tvarici se od "experta z alzy" zatimco jinej zivej uzivatel zodpovedel mnohem uzitecneji onen dotaz.
A tak je to totalne a uplne se vsim, co z AI vypadne.
Se me chce blejt, kdyz vidim ty formulace ktere z AI padaji.. takovej spoustec hnusu. A nejhorsi je, ze lidi se zacinaji podobne vyjadrovat :(
AI používám na kontrolu textu, výsledek beru jako upozornění, občas při čtení něco přehlédnu, takže se to hodí. Často to používám na přibližný překlad, když se mi něco nezdá, můžu se zeptat, což u běžných překladačů nejde.
No jo tak co ma ta AI delat. I kdyby treba mela vlastni vedomi, tak ty brejle nikdy v realu nekupovala. Muze maximalne dodat info z manualu a pod. pokud bude dobre nastavena. Me by to stacilo, at ten manual nemusim sam hledat a cist.
Problém je, že spousta lidí si myslí, že AI je nějaký děd vševěd a kdykoli narazí na to, že není, tak je to pro ně důkaz, že je všechno špatně. Je to ale prostě jenom nástroj, který je na některé věci lepší a na některé horší. A jako každý nástroj vyžaduje nějakou zkušenost, aby byl člověk schopen ho efektivně využívat. A nebo poznat, kdy se nehodí.
Kdybyste se zeptal Alberta Einsteina, jak se peče jablečný koláč, a on vám odpověděl, že netuší, asi se tam dává mouka, vajíčka a jablka, znamenalo by to, že je úplně blbej?
Odpovedel ze "netusi" ... je velice kriticka a lidska reakce.
Naproti tomu AI dela machra co vsechno vi a vsechno umi - bez nejakeho kritickeho hodnoceni zda lze nebo nelze. A sve chyby aktivne maskuje, zatimco kdyz je objevite a postezujete si do kontextu, tak se "opravi". Ale vse je jenom iluze, pro splneni vasich prani, pritom to inteligentni vubec neni.
Jak nemam rad lidi co delaj tohle (vymysli a lzou), tak proste nemam rad ani AI, protoze dela to same. Clovek by v civilizaci mel vest plodnou diskuzi a ne delat policajta na ne-myslenkove pochody patlogickeho lhare.
Ohledne nastroje - ten samej pocit mam s cinskym zbozim - taky toho nalzou ze je to takove a makove.. a skutek utek, nejcasteji v kvalitativni a spolehlivostni ose.
Problém je v překladu. V češtině termín umělá inteligence evokuje lidskou inteligenci – tedy schopnost myslet, chápat, rozhodovat se, být si vědom sám sebe atd. V angličtině je slovo intelligence širší; neodkazuje nutně na lidskou inteligenci, ale spíše na schopnost zpracovávat informace, učit se, plánovat nebo reagovat na okolí. Současná AI je nástroj, nic víc.
Podobný problém máme i s překladem slova stealth v kontextu „neviditelného“ letounu. V češtině je výraz neviditelný poměrně jednoznačný – a i malé dítě vnímá rozpor, když letadlo na obloze normálně vidí. V angličtině však stealth znamená spíše nenápadný nebo kradmý, což odkazuje na schopnost letounu vyhýbat se detekci, zejména radarem, nikoli na jeho skutečnou vizuální neviditelnost.
Kolik dukazu chcete? Ja s tim napravovanim zapasim posledni dobou nonstop.. viz tohle vlakno z FB (jsem ten co identifikoval obvod spravne.. ale nejaky pseudoodbornik vystrojenej AI to bude sahodlouhe rozporovat):
Nástroj... No ona ta interakce s AI občas nepřípomíná nástroj, ale nějakého čerstvě přijatého juniora. Do rozumného kolegy člověk ten čas rád investuje, protože příště tu chybu neudělá. Poučí se AI do budoucna? Nemám ten pocit.
Práce s AI je občas jako úkolovat nepostižitelného lempla. Když to na první dobrou neudělá (skoro) dobře, tak je to frustrující práce co nikam nevede.
Dokážete někdo porovnat, jak se liší kvalita odpovědí ChatGPT ve verzi za peníze od odpovědí verze zadarmo? Používám jenom verzi zadarmo a když vidím, jak občas blábolí, tak se mi vůbec nechce posílat jim peníze za to, že těch blábolů budu moci číst víc.
Pokud tam máte zdarma účet, tak byste měl používat stejnou verzi jako u placeného účtu, takže ChatGPT 5. Po dosažení nějakého limitu se to přepne na verzi ChatGPT 5 mini, takže menší a méně schopnou verzi, asi za 24h začne fungovat zase ta lepší verze. Takto mi to ještě nedávno fungovalo. Můžete také rovnou používat menší verze AI přes duck.ai.
@rmrf 19:58
Platil jsem si chatgpt (generování kódu ansible/bash/nápověda ke konfiguraci/možnosti různých technologií pro různé projekty) a někdy cca před půl rokem to začalo hrozně blábolit. Ale fakt hrozně. Zkusil jsem copilot a od té doby si jej platím. Je to o vesmír až dva napřed. MS není moje oblíbená firma, ale copilot prostě dává mnohem lepší odpovědi vč. lepšího kódu.
Jak jsem psal výše, Copilot od MS je licencovaná technologie od OpenAI založená na starším modelu. Že je v určitých úlohách lepší, souvisí spíš s tím, že Copilot byl na podobných úlohách více trénován, než že by byl technologicky napřed. Studenti, kteří používají AI jako studijní materiál (náhradu knih), jednoznačně upřednostňují odpovědi od ChatGPT před Copilotem.
> Copilot od MS je licencovaná technologie od OpenAI založená na starším modelu
GitHub Copilot (chat, ne code completion) má už od nejlevnějšího plánu Pro dostupné běžné současné bleeding-edge modely jako Gemini 2.5 Pro, GPT-5 nebo Claude 4 Sonnet (dražší tarif má i Opus). Navíc si tam můžeš nastavit vlastní modely skrze OpenRouter nebo Ollama.
MS Copilot je něco jiného, nějaká věc co ti radí ve Windows, předpokládám, že o té jsme se nebavili. Možná to vás zmátlo.
Dřív se to dalo snadno porovnat: Srovnal se třeba výstup placeného modelu 4o s modelem 3.5, který byl zadarmo. Po přechodu na ChatGPT 5 je to mnohem složitější, protože HODNĚ záleží na promptu - jsou o tom videa na YouTube (např. https://youtu.be/emV9Wo_UuGQ?si=S1izdCxc7moaG5n7).
Placená verze má nyní výhodu, když potřebujete složitější odpovědi, jejichž příprava trvá mnoho minut. Verze zdarma tam narazí na limit. Například nedávno jsem potřeboval vygenerovat simulační experimenty pro tréning Random Forests pro detekci radionuklidů v gamma-ray spektrometrii. ChatGPT 5 vygeneroval zip archív se skripty, konfiguračními soubory, a readme dokumenty. Vše podle moderních trendů v programování. K měmu překvapení tam byla jen jedna chyba - zapomněl vložit jeden Python modul. Po krátké konverzaci to opravil.
Na některé odpovědi se může čekat i desítky minut, protože to jsou náročné úlohy. Předpokládám, že free verze tam narazí na časový nebo jiný limit.
Co se blábolů týče: záleží na oboru. V některých oborech jsou odpovědi velmi kvalitní. (Trénovalo se z knih a vědeckých článků). V jiných, kde je odpověď poskládaná z útržků textu posbíraných na internetu od různých autorů, to může být velmi špatné.
U me se rapidne zvysila kvalita placeneho chatgpt kdyz jsem pozapinal v nastaveni vsecky mozne ty pameti, aby si zpetne pamatoval neco z toho co jsem mu rekl.
Já používám neplacené chat gpt a nemůžu si stěžovat. Všechny odpovědi směřují na co se ho ptám a vždy odpovídá správně. Když odpovídá špatně, tak je to spíše z mého obecného dotazu než že by si zbytečně vymýšlel. Mluvím s ním však kompletně v angličtině. I na to jsem se ho ptal jestli je rozdíl s ním komunikovat v češtině vs angličtině. Sám mi odpověděl že je pro něj angličtina pochopitelnější protože zdroje ze kterých se učil má v angličtině. Uvědomte si omezení naší češtiny a kolik kvalitních zdrojů ten ai má k dispozici vs kolik jich má k dispozici v angličtině... jsme malá země a konkrétně oblasti z it co s ním řeším se toho česky moc nenaučil.
Na korekci pravopisu je docela schopný ... ale popisovat mu jak chci aby mi nějaký process navrhnul a naprogramoval je prostě snazší v angličtině.
> Uvědomte si omezení naší češtiny a kolik kvalitních zdrojů ten ai má k dispozici vs kolik jich má k dispozici v angličtině... jsme malá země a konkrétně oblasti z it co s ním řeším se toho česky moc nenaučil.
Tohle je ale relevantní jen pro bezmyšlenkovité šprtání textu zpaměti. Pokud chápu význam textu, tak je jazyk jen reprezentace. Někdy je ta reprezentace trochu pohodlnější na použítí, ale furt je to jen reprezentace.