Vlákno názorů k článku Python a Ollama: pracujeme s lokálnymi jazykovými modelmi od Jaroslav K. - Pekný článok. Krásne popísané postupy. Ďakujem. Vyskúšam. A záver...
-
S LLM moc aktivne nerobim, ale pokial viem, tak je zakladna chyba chciet od neho matematiku... A riesenie je jednoduche. Namiesto prompt-u: "Prosim spočítaj druhú mocninu 15 a k tomu pripičítaj číslo 20 a výsledok odmocni." mu stačí dať prompt "Prosim napíš python skript, ktorý spočíta druhú mocninu 15 a k tomu pripičíta číslo 20 a výsledok odmocní. Výsledok má vypísať do konzoly."... A pre istotu je možné v prompte spomenúť, nech to nakódi v dvoch jazykoch a porovná výsledky...
Proste LLM nieje na prácu s exaktnými číslami. Osobne by som zvolil iný príklad. Napríklad príklad, kedy mu podsuniem tri zmluvy a môj lokálny olama model (mistral 7B napríklad) mi má odpovedať, aké majú tie zmluvy trvanie, dokedy som nimi viazaný a aká je možnosť predčasnej výpovede v daných zmluvách. S tím, že keď sa zmluva odkazuje na zákon, tak nech si ho vyhľadá a skontroluje aj zákonné podmienky.
PS: "bc -l" mi povedal "15.65247584249852787486". Duck.ai mi povedal: ".... čo je približne 15,65". Inak povedané, nieje zlé.
11. 2. 2026, 12:08 editováno autorem komentáře
-
Ono to je ako s google (myslím ten vyhladávač). V istom čase bolo treba vedieť, ako zapísať query... Aktuaálne stačí napísať čokoľvek a aj tak ti dá výsledok, čo očakávaš...
Ale samotné LLM nemá k presným výpočtom podporu. Ako písal niekto v tejto diskuii, tak treba buď použiť "tools", alebo podobne. Ale nič to nemení, že ten príklad v závere je prinajmenšom nešťastný. Nyukazuje to silu tohoto nástroju. Proste použilo sa kladivo na samoreznú skrutku. Nič viac, nič menej. Neznižuje to hodnotu toho zvyšku článku a som rád za priblíženie od autora, ako to (lokálne LLM) využiť v aplikácii. Teda ako si do svojej aplikácie doplniť "AI asistenta", alebo využiť LLM priamo na prácu. Teda namiesto jedného for cyklu s výpočtom priemeru (alebo použitím knižnice, čo to robí za mňa, má k tomu špecku, dokumentáciu, testy A používateľov, čo to odtestovali na svojom projekte) použiť lokálne LLM, ktoré mi dá nejakú odpoveď (nikde nieje garantované z podstaty LLM, že čo to vráti).
PS: LLM Mám veľmi rád. Človek len povie, že chce aplikáciu, čo mu umožní zadať namerané hodnoty z nivelačného laseru z viacerých miest na pozemku a že chcem prepočty na nulu (vchod do domu, prah, podlaha) a on to dá a okrem toho, že to spraví python skript, tak mu stačí povedať, že to chcem ako web a do hodinky mám aj funkčný web. Ak by to niekto chcel vidieť, zavesím večer na github...