Vlákno názorů k článku
Model Grok Code Fast 1 od xAI zaujme rýchlosťou a nízkou cenou od Madmucho - A nebo mužeš použít kontejner který ti bude...

A nebo mužeš použít kontejner který ti bude dělat proxy s UI pro všechny ty možné AI API, při promtu si jen vybereš který chceš případně dva....Chystáme se todle nasadit u nás abychom daly uživatelům možnost AI použit a neplatily za to šilenosti a měly alespon přehled jak se to používá.

https://github.com/open-webui/open-webui

“ designed to operate entirely offline” si nejak protireci s tim ze je to napojeno na ty vsechnymozne api…

To je ale jen nepochopení, jak to funguje. To, že to může běžet offline znamená, že to může běžet offline, nic víc, nic méně.
Prostě tam máte nějakých 1 <= n serviců co to používá, kde vyplníte URL (připadně API key), a ono to s nima komunikuje.
To, jestli to nasměrujete přes Internet na ChatGPT, Openrouter, nebo na Groka, nebo doma na manželčině stroji na Ollama, případně na localhostu na KoboldCPP nebo třeba na NASce na text-generation-webui je už jen a jen na Vás.

Však tohle se začíná zabydlovat třeba i v gamesnickém světě, SkyrimNet nebo Mantella/Pantella jsou to samé, nějakej mezikus, co něco dělá a k tomu využívá další AI modely, které mohou být kdekoli.

Je to tak, muže to jet kompletně offline, připojit totiž mužete jednu nebo více lokálních Ollama instancí na kterých to pojede na grafických kartách nebo cpu.
Máme takhle na silnějším stroji model Gemma3.

Jak vaši uživatelé používají AI, že to stojí šílenosti? Mně přijde, že i blbý GitHub Copilot za $10 měsíčně stačí (a navíc teda v rámci firemního GSuite máme Gemini). Jasně, pak jsou nástroje jako Augment Code nebo Claude Max za $50 a $100, ale ty zase mají schopnosti, které lokální Gemmou a open-source softwarem bohužel nejspíš neodemuluješ.