Názory k článku
Vercel Labs vydal json-render: framework, ktorý dáva AI kontrolu nad UI
-
Nejde ani tak o programování UI s tím AI nemá problém, problém je testování (verifikace toho co bylo napsáno). AI to vytvoří, ale naseká v tom x chyb stejně jako programátor, nicméně programátor je schopen si to poměrně dobře proklikat napsat si testy atd. (btw. také to je pain), ale AI to umí hůře. Sice máme playwright, kterým se dá UI testovat, ale je to stále velmi pomalé a nepříliš efektivní. Na testu se spálí hodně času ať už na jeho tvorbě, na samotném testování ale i na úpravách testů v průběhu vývoje. Zkrátka programovat UI přes AI není tak efektivní, jak by mohlo být. On je celkově problém s tím, jak je HTML, CSS, JS ve finále komplikované. Otázka zda tento projekt je schopen to nějak vyřešit…
-
Ťažko sa testuje niečo, ak neviem presne akú komponentu sa LLM rozhodne vytvoriť. To je jedna z vecí, ktoré json-render rieši; dáva tomu rámec a obmedzenia.
Druhou stránkou je efektivita. LLM tvorí JSON z ktorého knižnica renderuje konečnú komponentu. Tu sa tam spáli nepomerne menej tokenov a je to tiež menej náchylné na chyby.
-
L.Stříbrný podporovatel
Já Claude (*), používám prakticky denně. Chápu, že na méně znalé lidi to může udělat dojem, ale já s uvozovkami plně souhlasím. Stále je to stále jen stochastický papoušek a je dost vidět, že problému ve skutečnosti nerozumí jako opravdu inteligentní člověk.
*) Opus 4.6 spotřebovává oproti 4.5 o dost víc tokenů, takže používám často i "jen" Sonnet 4.6.
-
"Stochastický papoušek" je zavádějící a nekongruentí argument. Viz např.: https://www.verysane.ai/p/polly-wants-a-better-argument
O tom, že to, co LLM dělají, je kvalitativně (byť ne kvantitativně) srovnatelné s tím, co dělají lidi, když přemýšlí, dnes už naprosto nemůže být pochyb.
O tom kvantitativním aspektu můžou mít různí lidé různý dojem. V mé zkušenosti odvádí Opus rozhodně lepší práci než dolních 50% programátorů, co jsem potkal, ale ne lepší než "hvězdy".
-
Ondra Satai NekolaZlatý podporovatelNo třebas ta cena je tak krásná, protože je dotovaná...
Mno hodně štěstí s údržbou ;-)
-
L.Stříbrný podporovatel
To není argument, to je poměrně přiléhavý popis mojí zkušenosti s AI (Claude). (Samozřejmě se můžeme nimrat v podrobnostech jako ten článek, ale to na tom nic nezmění.)
Ne, srovnatelné to není. LLM dělají něco trochu jiného. Třeba nedávno jsem dal Claude převést svoji obstarožní Java/Swing aplikaci na zadávání dat a nějaké výpočty nad tím do Electronu. A dopadlo to hodně pod očekávání. Dost se do toho zamotal, část funkcionality prostě zahodil a nahradil "obvyklým" UI/UX - to by člověk prostě neudělal, protože by mu došlo, že je to tam z nějakého důlvodu. Nakonec jsem to nějak dotlačil, ale stálo mě to o hodně víc úsilí, než jsem čekal od prostého úkolu "Tady máš aplikaci a převeď ji do jiného jazyka/frameworku". Lepší práci by odvedl I hodně průměrný lidský programátor.
O případu, kdy jsem tomu zadal úlohu "Tady jsou unit testy na funkci, testují problematícké corner cases, oprav funkci aby testy procházely" a on po několika neúspěšných pokusech nechal funkci jak je a upravil testy, aby netestovaly cornercasy ale to, co fungovalo i předtím ani nemluvím. Udělat to lidský programátor, letí na hodinu.
-
> "Tady jsou unit testy na funkci, testují problematícké corner cases, oprav funkci aby testy procházely" a on po několika neúspěšných pokusech nechal funkci jak je a upravil testy, aby netestovaly cornercasy ale to, co fungovalo i předtím ani nemluvím
Ano, toto je známý problém, ale není to problém inteligence, nýbrž alignmentu (nastavení hodnot, morálních zásad atp.). Pokud si skutečně představíte, že váš cíl je doslova "aby procházely testy", tak je to jistě ukázka kreativní schopnosti ho dosáhnout. Problém je, že ten cíl není shodný se záměrem uživatele. Ano, toto je velký problém. Někteří si myslí, že dokonce může způsobit globální katastrofu. Ale je to něco jiného než nedostatek (či dokonce absence, ať už to znamená cokoliv) inteligence.
-
A rozhodně nerozporuju, že toto je překážka pro praktické použití, i když se mohou různit názory na to jak velká a jak důkladný oversight je potřeba na podchycení takových věcí a jak těžké je je korigovat. Můj point je, že "stochastický papoušek" / "tato věc nepřemýšlí" není dobrá charakterizace toho problému a zakrývá užitečné naunce a reálné technické problémy, které bude třeba řešit.
-
Ale není to protože by model "nechápal", že to nemá dělat. Např. když se ho potom zeptáte, jestli to měl udělat, ochotně přizná, že ne. Problém je, že je těžké vyladit, aby jeho vnitřní "drive" byl ve shodě s jeho pochopením, co uživatel chce, aby chtěl dělat, co uživatel chce. Je to něco trochu jiného než nepochopení problému. A tento rozdíl je celkem podstatný pro to, co je potřeba, abychom takovéto problémy mohli do budoucna řešit...
-
Ondra Satai NekolaZlatý podporovatel
"Např. když se ho potom zeptáte, jestli to měl udělat, ochotně přizná, že ne."
Svatá prostoto...
-
A hlavně "chce uživatel ohackovat testy?" není složitá otázka. Stačí poměrně málo znalostí/inteligence na to, abyste znal správnou odpověď. Vzhledem k tomu, na o kolik složitější otázky vám stejný model dokáže odpovědět, je opravdu nepravděpodobné, že zrovna toto by nepochopil.
A když už jsme u toho, on nejspíš i ten pes ví, že dělá něco, co nemá. Ale udělá to stejně, protože převáží nějaká jiná vnitřní motivace. -
Navíc zrovna toto nijak zvlášť nepodporuje "stochastic parrot" model, protože ohýbání testů asi nebude nejčastější pattern trénovacích dat.
Ale je to naprosto pochopitelné jako side efekt RL tréninku, zvlášť nedokonalého RL tréninku (který občas model odmění i za nechtěné "řešení"), či částečné misgeneralizace z RL tréninku. -
Ondra Satai NekolaZlatý podporovatel
Nebo prostě neví, že to, co dělá, odporuje tomu, co ví, že nemá dělat...
-
Ondra Satai NekolaZlatý podporovatel
Já teda spíš po letech od toho, co jsem ho četl poprvé, ten článek doceňuji...
-
Ondra Satai NekolaZlatý podporovatel
Opus používám denně *), někdy i několik paralelních agentů nad vlastními worktrees.
Ty uvozovky nejsou edgy, prostě ti LLM prodávají jako něco, co to není.
*) pro pracovní dny
-
Tam framework, tu framework, tam nádstavba, tu nějaká tvz. "vychytávka", zde efektivni "vylepšení" a za pár let džungle celého ekosystému plná závislostí okolo AI která bude ještě horší než to co AI měla odstranit.
A pak po čase, zase někteří objeví "Ameriku" s tím, že když na to hodí bobek a budou celý ekosystém "vychytávek" okolo AI ignorovat a neřešit, že budou 3x-10x výkonější.
-
To je zajímavé, že pro AI se musí dělat extra framework pro UI. Pokud se v tom bude lépe dělat AI, tak by se v tom měli lépe dělat i člověku. Proč takový framework už dávno nevznikl pro lidi? LLM není nic jiného než token predictor a jediné v čem je dobrý je v předstírání lidské řeči. A nemalé množství lidí na to ochotně naletí. Jak se na něco nalepí AI nálepka tak ten bullshit davy slabomyslných ochotně zbaští.
-
panikaStříbrný podporovatelpokud by se ai bros vyradili generovanim slopu zase jen pro ai bros tak tam vidim cisty prinos
-
Filip JirsákStříbrný podporovatelTakové frameworky vznikly pro lidi už dávno a většina vývojářů se jim vyhýbá, protože přinášejí jen další vrstvu abstrakce, která ale velmi brzy začne být omezující. A stejný osud čeká i tohle.
ČLÁNKY DO MAILU