Bodejť by vlažné nebyly. Protože Claude Sonnet tak možná dohnali a ani to není úplně jisté (mně Sonnet pořád dává podstatně lepší výsledky a i ty mají k dokonalosti daleko) a toho čtyřnásobného snížení halucinování jsem si ani nevšiml. Halucinuje pořád stejně, tedy pořád každou chvíli a o kdečem.
Vlastně jediné čeho jsem si všiml je méně osobní tón, což jsem ale měl stejně v rámci možností vypnuté instrukcí, aby vždy odpovídal věcně a stručně.
bylo by vhodne zminit tve pouziti, treba kdyz chci napsat neco lehkeho v java na prvni dobrou tak je claude skvela volba. Jakmile chci treba nahrat zip ve kterem jsou pdf ktera ma claude zpracovat tak to padne na tom ze zip neni podporovan... zatimco chatgpt nema s timhle problem a udela presne co po nem chci. Podle me psani kodu se stane jenom okrajovou zalezitosti pro AI, ja vidim spoustu moznosti mimo programovani...
16. 8. 2025, 02:21 editováno autorem komentáře
Když LLM instruujete, aby vždy odpovídala stručně, a nepoužijete reasoning model, zvyšuje se šance k halucinacím (např. méně šancí na autokorekci). Pokud je v rozptylu několik z jeho pohledu pravděpodobných možností, musí hned tipnout jednu. To proto, že předchozí vygenerované tokeny jsou součástí inference dalšího. Reasoning modely tím netrpí, pokud tedy skryté chain-of-thought odpovědi stručné nejsou.
Příklad přímé inference (trochu přitažený za uši):
Prompt: Chemická značka sodíku? Odpověz velmi stručně.
Odpověď: N
(protože Na i N budou mít blízkou pravděpodobnost)
Prompt: Chemická značka sodíku? Odpověz stručně a trochu vysvětli.
Odpověď: N je značka pro dusík. Značka pro sodík je Na.