Nejde ani tak o programování UI s tím AI nemá problém, problém je testování (verifikace toho co bylo napsáno). AI to vytvoří, ale naseká v tom x chyb stejně jako programátor, nicméně programátor je schopen si to poměrně dobře proklikat napsat si testy atd. (btw. také to je pain), ale AI to umí hůře. Sice máme playwright, kterým se dá UI testovat, ale je to stále velmi pomalé a nepříliš efektivní. Na testu se spálí hodně času ať už na jeho tvorbě, na samotném testování ale i na úpravách testů v průběhu vývoje. Zkrátka programovat UI přes AI není tak efektivní, jak by mohlo být. On je celkově problém s tím, jak je HTML, CSS, JS ve finále komplikované. Otázka zda tento projekt je schopen to nějak vyřešit…
Ťažko sa testuje niečo, ak neviem presne akú komponentu sa LLM rozhodne vytvoriť. To je jedna z vecí, ktoré json-render rieši; dáva tomu rámec a obmedzenia.
Druhou stránkou je efektivita. LLM tvorí JSON z ktorého knižnica renderuje konečnú komponentu. Tu sa tam spáli nepomerne menej tokenov a je to tiež menej náchylné na chyby.
Já Claude (*), používám prakticky denně. Chápu, že na méně znalé lidi to může udělat dojem, ale já s uvozovkami plně souhlasím. Stále je to stále jen stochastický papoušek a je dost vidět, že problému ve skutečnosti nerozumí jako opravdu inteligentní člověk.
*) Opus 4.6 spotřebovává oproti 4.5 o dost víc tokenů, takže používám často i "jen" Sonnet 4.6.
"Stochastický papoušek" je zavádějící a nekongruentí argument. Viz např.: https://www.verysane.ai/p/polly-wants-a-better-argument
O tom, že to, co LLM dělají, je kvalitativně (byť ne kvantitativně) srovnatelné s tím, co dělají lidi, když přemýšlí, dnes už naprosto nemůže být pochyb.
O tom kvantitativním aspektu můžou mít různí lidé různý dojem. V mé zkušenosti odvádí Opus rozhodně lepší práci než dolních 50% programátorů, co jsem potkal, ale ne lepší než "hvězdy".
To není argument, to je poměrně přiléhavý popis mojí zkušenosti s AI (Claude). (Samozřejmě se můžeme nimrat v podrobnostech jako ten článek, ale to na tom nic nezmění.)
Ne, srovnatelné to není. LLM dělají něco trochu jiného. Třeba nedávno jsem dal Claude převést svoji obstarožní Java/Swing aplikaci na zadávání dat a nějaké výpočty nad tím do Electronu. A dopadlo to hodně pod očekávání. Dost se do toho zamotal, část funkcionality prostě zahodil a nahradil "obvyklým" UI/UX - to by člověk prostě neudělal, protože by mu došlo, že je to tam z nějakého důlvodu. Nakonec jsem to nějak dotlačil, ale stálo mě to o hodně víc úsilí, než jsem čekal od prostého úkolu "Tady máš aplikaci a převeď ji do jiného jazyka/frameworku". Lepší práci by odvedl I hodně průměrný lidský programátor.
O případu, kdy jsem tomu zadal úlohu "Tady jsou unit testy na funkci, testují problematícké corner cases, oprav funkci aby testy procházely" a on po několika neúspěšných pokusech nechal funkci jak je a upravil testy, aby netestovaly cornercasy ale to, co fungovalo i předtím ani nemluvím. Udělat to lidský programátor, letí na hodinu.
> "Tady jsou unit testy na funkci, testují problematícké corner cases, oprav funkci aby testy procházely" a on po několika neúspěšných pokusech nechal funkci jak je a upravil testy, aby netestovaly cornercasy ale to, co fungovalo i předtím ani nemluvím
Ano, toto je známý problém, ale není to problém inteligence, nýbrž alignmentu (nastavení hodnot, morálních zásad atp.). Pokud si skutečně představíte, že váš cíl je doslova "aby procházely testy", tak je to jistě ukázka kreativní schopnosti ho dosáhnout. Problém je, že ten cíl není shodný se záměrem uživatele. Ano, toto je velký problém. Někteří si myslí, že dokonce může způsobit globální katastrofu. Ale je to něco jiného než nedostatek (či dokonce absence, ať už to znamená cokoliv) inteligence.
A rozhodně nerozporuju, že toto je překážka pro praktické použití, i když se mohou různit názory na to jak velká a jak důkladný oversight je potřeba na podchycení takových věcí a jak těžké je je korigovat. Můj point je, že "stochastický papoušek" / "tato věc nepřemýšlí" není dobrá charakterizace toho problému a zakrývá užitečné naunce a reálné technické problémy, které bude třeba řešit.
Ale není to protože by model "nechápal", že to nemá dělat. Např. když se ho potom zeptáte, jestli to měl udělat, ochotně přizná, že ne. Problém je, že je těžké vyladit, aby jeho vnitřní "drive" byl ve shodě s jeho pochopením, co uživatel chce, aby chtěl dělat, co uživatel chce. Je to něco trochu jiného než nepochopení problému. A tento rozdíl je celkem podstatný pro to, co je potřeba, abychom takovéto problémy mohli do budoucna řešit...
A hlavně "chce uživatel ohackovat testy?" není složitá otázka. Stačí poměrně málo znalostí/inteligence na to, abyste znal správnou odpověď. Vzhledem k tomu, na o kolik složitější otázky vám stejný model dokáže odpovědět, je opravdu nepravděpodobné, že zrovna toto by nepochopil.
A když už jsme u toho, on nejspíš i ten pes ví, že dělá něco, co nemá. Ale udělá to stejně, protože převáží nějaká jiná vnitřní motivace.
Navíc zrovna toto nijak zvlášť nepodporuje "stochastic parrot" model, protože ohýbání testů asi nebude nejčastější pattern trénovacích dat.
Ale je to naprosto pochopitelné jako side efekt RL tréninku, zvlášť nedokonalého RL tréninku (který občas model odmění i za nechtěné "řešení"), či částečné misgeneralizace z RL tréninku.