Názory k článku
ChatGPT časem odpovídá jinak
-
Tiez ho tak vnimam a pouzivam.
Pouzivam ho ako rychlejsi vyhladavac. Nemusim klikat na odkazy vo vyhladavaci a skusat, kde je to, co hladam.Je velmi dobry na vysvetlenie zakladnych veci. Pouzivam napriklad pri programovani a mne neznamom kode/jazyku. Je to rychlejsie ako to rucne hladat na internete. Zlozitejsie veci uz nedava. To by musel mat ine schopnosti. Aj to asi raz bude ale to est enejaky cas potrva.
Ja to beriem ako nieco co viem porovnat s clovekom, co ma nacitane vela/pozna teoriu ale bez praxe. Absolvent. Ten zlozite veci tiez nedava a az praxou sa nauci ako tu teoriu vyuzit a dostat sa hlbie v danej problematike. Vela veci nieje a je tazko zdokumentovatlenych a clovek sa ich len praxou ma sancu naucit.
-
Já ho používám běžně přesně opačně, ve chvíli, kdy klasický vyhledávač selže (např na otázku na nějaký technický detail sveřepě vrací hromadu odpovědí stylem indického L1 supportu, případně v něčem hodně novém pro mě neznám správný termín, kterým se zeptat).
Málokdy je odpověď správná, ale obvykle z ní vypadne pár pro mě nových výrazů, které pak když dám do kachny, tak už hledá správně. -
Hej, to som aj ja zistil, že ak je niečo veľmi ťažko dohľadatelné, vtedy chatboty proste klamú. Včera som napríklad hľadal svetlo na bicykel, ktoré by sa dalo použiť ako power banka. Miesto toho, aby chatbot povedal, že nemá také informácie, poradil mi samozrejme úplné blbosti :)
Alebo moja 72 ročná manka potrebovala nájsť originál do angličtiny preloženej básne. Napísalo jej to, že je to Mandragora od Františka Hrubína. Taká báseň samozrejme, že nie je, ale znelo to presvedčivo, chvíľu som ju jej pomáhal hľadať :) Odvtedy s mankou tieto halucinácie voláme Mandragora.
-
Na vyhladavanie v prikazovom riadku pouzivam oi... v spojeni s TTS je to bomba ... https://github.com/PureArtistry/oi
-
Nie je to vyhľadávač, tak to nefunguje, to je generatívna AI, ChatGPT to proste všetko "vie". A keď nevie, tak proste hovorí hlúposti, ako každý bežný človek.(Nebudem menovať)
Tu je paper o transformer modeli, na ktorom je ChatGPT založený:
VASWANI, Ashish, et al. Attention is all you need. Advances in neural information processing systems, 2017, 30. -
Neurónka, aj keď je schopná simulovať ľubovoľný algoritmus, občas trepe blbosti. Hento konkrétne prvočíslo pravdepodobne nie je v trénovacích dátach, trošku pomenia parametre siete, holt sa to prestane triafať. (Podľa mňa optimalizácie, aby žrala menej zdrojov)
Ja nič v tom také hrozné nevidím. Skôr vidím problém v tom, ak je to považované za ultimátny zdroj pravdy. Zdravá skepsa je vhodná pri všetkom.
-
S tym suhlasim, algebra nebude na internete zastupena tak ze by to vedelo najst vsetky odpovede hotove. Ide o to ze ak to ma byt pouzitelne tak nepotrebujeme "cistu" neuronku ale kombinaciu s Wolfram Alpha. V istom momente by sa to malo vediet interne "prepnut" do urovne exaktnej odpovede. Matematika je len jedna z viacerych veci kedy to je ziadane.
-
Osobná skúsenosť s týmito LLM je absolútne hrozná. Ak mi niekto povie že GPT nahradí programátorov, tak ho pošlem na Mars... GPT nevie nahradiť ani hentoho politika čo je náhodný generátor slov. Je asi tak 30% úspešnosť že to dá aspoň dajak "správnu" odpoveď s nejakými nepresnosťami. 70% sú odpovede čisto nezmysel. Ale však to vlastne tie grafy ukazujú. Ak sa jedná o logické úlohy, tak tam je to úplne nepoužiteľné. 2% úspešnosť pre zistenie či je číslo prvočíslom? To ani študenti, čo typujú v testoch odpovede nedajú tak špatne. To i náhodné typovanie je presnejšie, napríklad toto:
console.log(Math.random() > 0.5 ? "yes" : "no");Jediné na čo je GPT dobré je keď mu podvrhneš dlhý text a požiadaš ho o vytvorenie stručných bodov. To je jediné čo to zvláda na slušnej úrovni.
To že odpovede sa časom menia je úplne bežná vec.
Ešte bude trvať dlhé roky kým vznikne AI. Toto je len trochu chytrejší ML ktorý bol natrénovaný na obrovskom množstve dát, ale vlastne vo výsledku hlúpy natoľko že s matematickými a programovými problémami lepšie ti poradí upratovačka než GPT.23. 7. 2023, 13:40 editováno autorem komentáře
-
Nezlobte se, ale s tím prvočíslem je to hloupost, tohle jsou language modely, ne obecná AI. Chtít po tom matematické výpočty opravdu nedává smysl.
Lepší by bylo podle mě se ptát (během uvádění ChatGPT4 se jestli dobře pamatuji se o tom mluvilo celkem dost) - umí to dostatečně úspěšně detekovat matematickou úlohu a pokud ano, přesměrovat jí na WolframAlpha plugin?I s těmi lepiči bych si dovolil nesouhlasit, oni lidi tímhle už dávno programy celkem úspěšně patlají i releasují.
Ano, můžeme se tu dohadovat, co to úspěšně vlastně znamená a pevně doufat, že nikdo není dostatečně šílený, aby takhle patlal nějaký kritický kód, ale nic to nemění na tom, že na kvalitu běžnou ve světě IoT a startupů to dosáhne. -
Jan HrachStříbrný podporovatel> Lepší by bylo podle mě se ptát (během uvádění ChatGPT4 se jestli dobře pamatuji se o tom mluvilo celkem dost) - umí to dostatečně úspěšně detekovat matematickou úlohu a pokud ano, přesměrovat jí na WolframAlpha plugin?
Nebo ještě lepší: mělo by to umět detekovat, že na něco je vhodné napsat si program - v tomto případě program na testování prvočíselnosti (klidně to může zavolat nějakou knihovnu) - napsat si ho, spustit ho (udělá supervizor ve kterém to celé běží - GPT na výstup vypíše „chci spustit následující program: [zdrojový kód]“, supervisor vytvoří sandbox, spustí to, a plácne tam výsledek) a interpretovat z něj výsledek.
Čekal bych, že tohle bude v příští verzi GPT -- obecné programy, googlení atd.
-
Filip JirsákStříbrný podporovatelNa testování prvočíselnosti větších čísel je vhodnější podívat se do databáze známých prvočísel, než to počítat znova od začátku.
-
Filip JirsákStříbrný podporovatel
Za prvé si pletete ověření prvočíselnosti (jehož výsledek je 100%) a pravděpodobnostní test prvočíselnosti (kdy výsledek znáte s určitou předem zvolenou pravděpodobností, ale nikdy není 100%). Za druhé jste nepostřehl, že se bavíme o tom, co bylo napsáno ve zprávičce, kde bylo uvedeno prvočíslo 17 077, k jehož zápisu fakt nepotřebujete 1024 bitů.
Seznam prvočísel do 10 milionů vyšel kdysi knižně (https://openlibrary.org/books/OL16553580M/List_of_prime_numbers_from_1_to_10_006_721), různých seznamů prvočísel najdete na internetu spoustu.
-
A Vy si pletete use case. Bavíme se o chatbotu, který má ambice se stát nějak užitečným i v matematice, nikoli ale univerzálním matematikem.
Pro jeden, zcela úzce specializovaný problém mu dávat jako externí data řádově 100MB dat? Jen aby tech chatbot odpověděl přesně a ne "s pravděpodobností tak blízkou jistotě, že se na ní může spolehnout i zabezpečení dat v rámci kryptografie"? A budete tak pokračovat dál? Bylo by hezké, kdyby to umělo trochu víc. Co takhle mu natabelovat i Goodsteinovy sekvence, Ackermanovy funkce a dalsi ne?
Ostatně se můžeme vrátit o pár desítek let do minulosti, ještě někde mám tabulky s Beselovými funkcemi, Čebyševovy polynomy a spoustou dalšího, co bylo potřeba, než přišly počítače a začalo se to počítat poněkud efektivněji. -
Filip JirsákStříbrný podporovatel
Nikoli, ten chatbot nemá ambice stát se nějak užitečným i v matematice, má ambice být užitečný obecně.
Ten chatbot v sobě má dávno uloženu spoustu dat. Trénovací data mají 45 TB, natrénovaný model má 570 GB. 100 MB opravdu není něco, co by v tomto kontextu mělo smysl řešit. Kdyby se mu seznam prvočísel předhodil a trénoval se na tom, bude odpovídat daleko přesněji. A stejný postup se dá použít na jakékoli jiné údaje, třeba na seznam a funkční období prezidentů nebo na počty protonů v jádře jednotlivých prvků. Naproti tomu algoritmické testování pravděpodobnosti prvočíselnosti by byla specializovaná úloha, která by se nedala použít na nic jiného.
-
Zrovna na matematice (nebo na jakékoliv jiné exaktní vědě) se velmi dobře dá demonstrovat jak moc je ChatGPT nedokonalé. Když na jednoduchou přímočarou otázku "Kolik existuje prvočísel?" dostanu odpověď 1229, je to evidentně špatně. Ve zdůvodnění jsem dostal odkaz na stránku, kde je seznam 1229 prvočísel menších než 10000. Ale na to jsem se neptal. Možná pro nějaké okecávací obory by takový druh špatné odpovědi byl částečně použitelný (s tím že se z té špatné odpovědi pokusíte nějak vybruslit), ale z matematické zkoušky by mě za takovou odpověď okamžitě vyhodili, protože je tak evidentně špatná, že nemá cenu ztrácet čas dalším diskutováním.
-
OK, tak tam odpověď vypadá nadějně, hned druhá věta (nechápu, proč ne hned ta první) zní: "Počet prvočísel je nekonečný." ale pak se to (podle mě naprosto zbytečně) rozkecá a přijde tato perla: "existuje nekonečný počet různých způsobů, jak rozložit celé číslo na součin prvočísel" - evidentně se to nespokojí s jednoduchou odpovědí, přidává to spoustu souvisejících informací, čímž se to nejspíš snaží vyvolat dojem jak moc je to chytré, až to ukáže jak moc je to blbé.
-
A pro případ, že by se Bard rozhodnul měnit odpovědi, tady je co jsem dostal já (všimněte si, že i ten Euklidův důkaz je vysvětlený špatně: "je dělitelné alespoň jedním z prvočísel v našem seznamu" - mluviti stříbro, mlčeti zlato):
V matematice je prvočíslo celé číslo větší než 1, které má pouze dva dělitele: 1 a sám sebe.
Počet prvočísel je nekonečný. To bylo poprvé prokázáno řeckým matematikem Euklidem kolem roku 300 př. n. l. Euklidův důkaz je založen na myšlence, že pokud bychom mohli sestavit seznam všech prvočísel, můžeme je vynásobit a přidat 1. Výsledek je vždy číslo, které není prvočíslo, ale je dělitelné alespoň jedním z prvočísel v našem seznamu. To znamená, že musí existovat další prvočíslo, které není v našem seznamu.
Euklidův důkaz je matematicky elegantní a jednoduchý, ale není snadné ho pochopit. Existuje mnoho dalších důkazů nekonečnosti prvočísel, ale všechny jsou poněkud technické.
Nekonečnost prvočísel má mnoho důsledků v jiných oblastech matematiky. Například znamená, že existuje nekonečný počet různých způsobů, jak rozložit celé číslo na součin prvočísel. To je důležité pro oblast matematiky známou jako teorie čísel.
Nekonečnost prvočísel je také důležitá pro informatiku. Například znamená, že existuje nekonečný počet různých způsobů, jak kódovat informace. To je důležité pro oblast informatiky známou jako kryptografie.
-
Ono tu "inteligenci" chatu demonstruje mnohem líp primitivní úloha - "Kolik slov má tato věta." Nevím jak GPT-4, ale GPT-3.5 dává vždy zcela halucinogenní výsledek. Stejnětak naprostý nesmysl vrátí při požadavku "Z předchozí věty uber dvě slova."
Ukazuje to dle mého, že se vůbec nejedná o inteligenci, ale o tupého "šprta". Nadrtí se zpaměti hromadu textu, díky tomu dokáže spojovat věci, které jsou v zmíněné v různých textech. Ale naprosto chybí hlubší *pochopení*. Systém prostě *nechápe*, jak funguje aritmetika. Přečetl si, které číslo přichází po 1 a které po 2, ale pokud v textu nikde nenašel, které číslo následuje po milionu, už to prostě nedokáže zkonstruovat. Proto je potřeba integrace s CAS (WolframAlpha apod.), což ale ukazuje na to, že se opravdu nejedná o inteligenci, ale pouze a jen jazykový model.
31. 7. 2023, 09:58 editováno autorem komentáře
-
Presne tak, LLM vôbec nie je AI... "AI" je len buzz-word pre marketing, ale AI vôbec neexistuje a ešte dlho existovať nebude.
ChatGPT v podstate funguje spôsobom že bol trénovaný na napríklad textoch:
Ahoj, ako sa máš? Ja sa mám dobre.
Ahoj, ako sa máš? Totálne špatne.
Ahoj, ako sa máš? Celkom to ujde.
Ahoj, ako sa máš? Ja sa mám dobre.
Ahoj, ako sa máš? Ja sa mám dobre.
Ahoj, ako sa máš? Ja sa mám dobre.
Ahoj, ako sa máš? Celkom to ujde.A keď sa následne ChatGPT spýtaš:
Ahoj ako sa máš? Tak ono to odpovie "Ja sa mám dobre." s 57% pravdepodobnosťou, "Celkom to ujde" s 28% pravdepodobnosťou a "Totálne špatne." s 14% pravdepodobnosťou.
V podstate opakovaná opica... aj keď nie úplne je to tak, ono to netrénuje na celých vetách ale po tokenoch, ktoré sú len časti viet alebo slov. V podstate to má tabuľku s akou pravdepodobnosťou nasleduje ktoré slovo po predchádzajúcom, a to tam doplní. Ak je tých slov viacej, tak entropia sa zvyšuje práve tým, že po prvom môže vygenerovať 7 rôznych druhých slov, a po druhom trebárs 11 iných slov, ale pre každý z tých 7, teda 77 kombinácií a tak ďalej. Výsledkom je že sa to tvári že to formuje vety a že to vie dať jednu informáciu mnohými rôznymi spôsobmi. Ale je to len primitívny algoritmus, ktorý vlastne reálne nič nerobí, len to vyberá slová (alebo lepšie povedané časti textu, e.g. tokeny) z modelu a dajak to formuje do viet.
ChatGPT absolútne nemá žiadne ale vôbec žiadne tušenie čo vlastne je významom tých viet a čo vlastne sa pýtaš. Vôbec nevie rozmýšľať, nemá žiadnu logiku, žiadnu kreativitu, žiadne vedomie ani vôbec nerozumie kontextu.
AI neexistuje a ešte dlho nebude. ChatGPT je len "vymakanejšie prediktívne písanie", ktoré doplní texty a je tam vyššia entropia a dokáže doplniť odpoveď na takmer každú otázku len preto že to bolo natrénované na tak obrovskom množstve existujúceho textu. Ale ak sú trénovacie dáta chybné, tak by LLM vždy vrátilo stejné chybné odpovede, len inak zformulované. Proste to je len vyhľadávač v existujúcich textoch.
Language Modely existovali už dlhú dobu, akurát teraz je to Large Language Model, teda tých dát je tam omnoho viac, to je celé. Navyše čím väčší model, tým náchylnejší na chyby a nepresnosti. A to aj odpovedá výsledku ChatGPT, kde presnosť na mnoho rôznych otázok nedosahuje ani 2%.
> The todays "AI" is tool with 98% accuracy but 2% precision.
To že "zhruba" je odpoveď správna v 98% prípadoch aj keď s kopou nepresností, je nič. Ale to že len v 2% prípadoch je odpoveď úplne presná, to je čo by sme chceli mať vyššiu hodnotu. Pravdou ale je že i "zhruba" správana odpoveď u ChatGPT je na nízkych hodnotách a "presnosť" skutočne bližšie k 30%, a precíznosť v podstate desatinách percenta. To je čo je ChatGPT dnes. V podstate nepoužiteľný nástroj ak potrebujete presné informácie. A ak potrebuje len zhruba správnu odpoveď, od ktorej sa viete odkopnúť, tak je to občas použiteľné, ale vyžaduje si to overiť odpoveď po každom dotaze.
Je to fajn na také najbežnejšie vyskytujúce sa texty a otázky. Ale čokoľvek špecifickejšie a proste to nemá zmysel ani používať.
ČLÁNKY DO MAILU