Názory k článku Python a Ollama: pracujeme s lokálnymi jazykovými modelmi

Diky za clanek!
Věděl by někdo jak udělat aby se graunding delal z offline zdroje?

Konkretne mame “znalostni databazi” lokalne v paperless
https://docs.paperless-ngx.com/
Diky

Ak spravne chapem otazku, asi najpriamociarejsie bude pouzit: https://github.com/baruchiro/paperless-mcp

Zajimave diky.

Pekný článok. Krásne popísané postupy. Ďakujem. Vyskúšam.

A záver článku ma pekne pobavil "V prípade sumy a priemeru platov sa model pomýlil".
Toľko práce s nastavovaním a výsledok nulový. To by sa hodilo na pekný short comics.

S LLM moc aktivne nerobim, ale pokial viem, tak je zakladna chyba chciet od neho matematiku... A riesenie je jednoduche. Namiesto prompt-u: "Prosim spočítaj druhú mocninu 15 a k tomu pripičítaj číslo 20 a výsledok odmocni." mu stačí dať prompt "Prosim napíš python skript, ktorý spočíta druhú mocninu 15 a k tomu pripičíta číslo 20 a výsledok odmocní. Výsledok má vypísať do konzoly."... A pre istotu je možné v prompte spomenúť, nech to nakódi v dvoch jazykoch a porovná výsledky...

Proste LLM nieje na prácu s exaktnými číslami. Osobne by som zvolil iný príklad. Napríklad príklad, kedy mu podsuniem tri zmluvy a môj lokálny olama model (mistral 7B napríklad) mi má odpovedať, aké majú tie zmluvy trvanie, dokedy som nimi viazaný a aká je možnosť predčasnej výpovede v daných zmluvách. S tím, že keď sa zmluva odkazuje na zákon, tak nech si ho vyhľadá a skontroluje aj zákonné podmienky.

PS: "bc -l" mi povedal "15.65247584249­852787486". Duck.ai mi povedal: ".... čo je približne 15,65". Inak povedané, nieje zlé.

11. 2. 2026, 12:08 editováno autorem komentáře

Si nekdy zkus nejakou modernejsi AI nez 5 let starou. Pripadne si nekdy zkus trial nejake placene. Ani blba ChatGPT uz dneska nema problem odvodit rovnici obvodu, vyjadrit pro nejakou promennou, dosadit hodnoty a spocitat vysledek

11. 2. 2026, 13:53 editováno autorem komentáře

A zajímal jste se proč? LLM stále neumí počítat, ale naučilo se používat "tools". A ano, ollama také podporuje "tools", následně si může vygenerovat python kód, spustit ho a na základě výsledku pak podat správný výsledek (což je princip funkce komerčních LLM)

Ono to je ako s google (myslím ten vyhladávač). V istom čase bolo treba vedieť, ako zapísať query... Aktuaálne stačí napísať čokoľvek a aj tak ti dá výsledok, čo očakávaš...

Ale samotné LLM nemá k presným výpočtom podporu. Ako písal niekto v tejto diskuii, tak treba buď použiť "tools", alebo podobne. Ale nič to nemení, že ten príklad v závere je prinajmenšom nešťastný. Nyukazuje to silu tohoto nástroju. Proste použilo sa kladivo na samoreznú skrutku. Nič viac, nič menej. Neznižuje to hodnotu toho zvyšku článku a som rád za priblíženie od autora, ako to (lokálne LLM) využiť v aplikácii. Teda ako si do svojej aplikácie doplniť "AI asistenta", alebo využiť LLM priamo na prácu. Teda namiesto jedného for cyklu s výpočtom priemeru (alebo použitím knižnice, čo to robí za mňa, má k tomu špecku, dokumentáciu, testy A používateľov, čo to odtestovali na svojom projekte) použiť lokálne LLM, ktoré mi dá nejakú odpoveď (nikde nieje garantované z podstaty LLM, že čo to vráti).

PS: LLM Mám veľmi rád. Človek len povie, že chce aplikáciu, čo mu umožní zadať namerané hodnoty z nivelačného laseru z viacerých miest na pozemku a že chcem prepočty na nulu (vchod do domu, prah, podlaha) a on to dá a okrem toho, že to spraví python skript, tak mu stačí povedať, že to chcem ako web a do hodinky mám aj funkčný web. Ak by to niekto chcel vidieť, zavesím večer na github...

...neni uz QWEN3-coder? ...kde je Qwen3-vl?

Mam takovou predstavu ze nasypu od offline AI vsechny zdrojaky a pak budu nad nima delat dotazy.
Podminka je ze nic nesmi opustit firmu a ze to bude k necemu.

Priklad: najdu chybu, tak napisu do AI jakou a zeptam se jestli je nekde v jinem zdrojaku.
Nebo nemohu najit tak se zeptam kde nalezu zdroj.

Jo, mám něco podobného s emaily. "Psal jsem si s někým, teď nevím s kým, ale chtěl něco o A, nebo možná B?"

A přidám ještě dvě podmínky nebude to trvat desítky minut a nebude k tomu potřeba stroj který potřebuje vedle jadernou elektrárnu.

MCP server na Gitem pokud tam budou potřeba dotazy typu "kdo napsal toto" a "ktere změny udělal Zdeno v lednu 2026". Jinak by to šlo zapsat do RAGu, tuším jsem tady o tom maličko psal v článku o Llama Stacku (ale má to spoustu možností dolaďování, takže výsledek nebude napoprvé úplně nejlepší).

Pôjde to a aj svižne. Stačí tak 30GB ramky (ideálne viac) a slušnejší CPU. A hoooodne času na spravenie si RAG flowu/pipeliny, alebo doučenie nejakého oss modelu svojimi dátami.

O rád jednoduchšie je spustiť InteliJ Idea, prepnúť sa na codex agenta a spýtať sa ho, čo treba. Áno, zdrojáky, či ich časti, pôjdu do cloudu...

Tretia cesta, celkom lokálna, je nahodiť AnythingLLM a tomu dať git repo a on umožňuje spustiť rag nad dátami s ľubovolným llm modelom (mám drobnú skúsenosť s mistral a chatgpt oss). Ani toto ale nieje zázračné. Zázračne fungujú tie komerčné veci...

15. 2. 2026, 20:27 editováno autorem komentáře

Je to !statistickej model! aby ti to fungovalo, potrebujes idealne nekonecny mnoztvi dat.

Predpokladam, ze stejnej kus kodu s chybou umis najit mnohem efektivnejs bez "AI" a na to aby ti generovala statistickej model nemas dost dat. Proc myslis ze soudruzi vysavaj nejen verejnej internet ale prave i vsechno co kde u jakyho touby kterej si to zapne najdou.

Navic ai neumi chyby hledat, umi je jen ve velkym mnoztvi a rychle generovat.

To je samozrejme blbost, co nam tu sdelujete. A realny dukaz mate o nekolik zpravicek vedle. Vase tvrzeni, ze to jen generuje chyby je lzive a nicim nepodlozene.

Parádní článek, díky moc! Na rootu mám nejradši tyhle how-to články...

Ďakujem za super článok, online AI služby využívam celkom dosť (ChatGPT a Gemini - free verzie) a Ollamu určite vyskúšam.

Môžem zopár otázok k behu offline modelov ak viete niekto porovnať s free Chatgpt/ Gemini? Ollama bude bežať na CPU: Ryzen 7900x + RAM: 64GB + GPU: GTX 1060 6GB

- vo free bežím na začiatku s GPT 5, po prečerpaní limitu GPT 5 mini. Dá sa nejak odhadnúť približne ktorý offline model a v akej veľkosti kvalitou odpovedí cca odpovedá týmto dvom?
- Pokiaľ bude bežať na mojom PC, je rýchlosť odpovedí tohto modelu porovnateľná s chatGPT? (polovičná rýchlosť je v poho, no 5x pomalšie by som už asi nedával :))
- máte skúsenosti s behom na Radeonoch? Do kompu sa mi nová GPU už dávno nedostala a tipnem že 1060 už bude riadne lapať po dychu. Čo som pozeral nové GPU s aspoň 12-16GB VRAM a rozumnou cenou, tak sú jedine 9060xt alebo o cca 100eur drahšia 5600ti

Ešte raz Dik.

20. 2. 2026, 14:55 editováno autorem komentáře

Má aktuální zkušenost je na Mac M4 16GB RAM, což má inferenční výkon 38 TOPS (8bit).

Provozuju modely
Llama 3.1 8B = 8miliard parametrů, na zpracování textu
QWEN 3-Vision Thinking - 4B, pro takové univerzální zpracovávání různých dokumentů.

Reálně to má rychlost tak 25-30 tokenů/sekundu.
To znamená, že když položím komplexnější dotaz nad databází cca tisíce stran v .pdf tak to odpovídá klidně 5 minut, než to vypotí strukturovanou odpověď v rozsahu cca jedné A4.

Rychlost nic moc, přesnost slušná ale když se nechceš dělit úplně o vše s velkým bratrem, tak je to super.

Pro srovnání GPT 3.5 má 175B parametrů, ale to se nedá úplně srovnávat, protože tyhle lokální modely jsou extrémně zhuštěné na efektivitu.

GTX 1060 zvládne do RAM dostat odhadem max 8B model, výkon (dle chatGPT) bude cca poloviční než ten MAC...1060-> 15-18TOPS, protože nemá tensor jádra.