Vlákno názorů k článku
ChatGPT časem odpovídá jinak
od Mlocik97 - Osobná skúsenosť s týmito LLM je absolútne hrozná....
-
Osobná skúsenosť s týmito LLM je absolútne hrozná. Ak mi niekto povie že GPT nahradí programátorov, tak ho pošlem na Mars... GPT nevie nahradiť ani hentoho politika čo je náhodný generátor slov. Je asi tak 30% úspešnosť že to dá aspoň dajak "správnu" odpoveď s nejakými nepresnosťami. 70% sú odpovede čisto nezmysel. Ale však to vlastne tie grafy ukazujú. Ak sa jedná o logické úlohy, tak tam je to úplne nepoužiteľné. 2% úspešnosť pre zistenie či je číslo prvočíslom? To ani študenti, čo typujú v testoch odpovede nedajú tak špatne. To i náhodné typovanie je presnejšie, napríklad toto:
console.log(Math.random() > 0.5 ? "yes" : "no");Jediné na čo je GPT dobré je keď mu podvrhneš dlhý text a požiadaš ho o vytvorenie stručných bodov. To je jediné čo to zvláda na slušnej úrovni.
To že odpovede sa časom menia je úplne bežná vec.
Ešte bude trvať dlhé roky kým vznikne AI. Toto je len trochu chytrejší ML ktorý bol natrénovaný na obrovskom množstve dát, ale vlastne vo výsledku hlúpy natoľko že s matematickými a programovými problémami lepšie ti poradí upratovačka než GPT.23. 7. 2023, 13:40 editováno autorem komentáře
-
Nezlobte se, ale s tím prvočíslem je to hloupost, tohle jsou language modely, ne obecná AI. Chtít po tom matematické výpočty opravdu nedává smysl.
Lepší by bylo podle mě se ptát (během uvádění ChatGPT4 se jestli dobře pamatuji se o tom mluvilo celkem dost) - umí to dostatečně úspěšně detekovat matematickou úlohu a pokud ano, přesměrovat jí na WolframAlpha plugin?I s těmi lepiči bych si dovolil nesouhlasit, oni lidi tímhle už dávno programy celkem úspěšně patlají i releasují.
Ano, můžeme se tu dohadovat, co to úspěšně vlastně znamená a pevně doufat, že nikdo není dostatečně šílený, aby takhle patlal nějaký kritický kód, ale nic to nemění na tom, že na kvalitu běžnou ve světě IoT a startupů to dosáhne. -
Jan HrachStříbrný podporovatel> Lepší by bylo podle mě se ptát (během uvádění ChatGPT4 se jestli dobře pamatuji se o tom mluvilo celkem dost) - umí to dostatečně úspěšně detekovat matematickou úlohu a pokud ano, přesměrovat jí na WolframAlpha plugin?
Nebo ještě lepší: mělo by to umět detekovat, že na něco je vhodné napsat si program - v tomto případě program na testování prvočíselnosti (klidně to může zavolat nějakou knihovnu) - napsat si ho, spustit ho (udělá supervizor ve kterém to celé běží - GPT na výstup vypíše „chci spustit následující program: [zdrojový kód]“, supervisor vytvoří sandbox, spustí to, a plácne tam výsledek) a interpretovat z něj výsledek.
Čekal bych, že tohle bude v příští verzi GPT -- obecné programy, googlení atd.
-
Filip JirsákStříbrný podporovatelNa testování prvočíselnosti větších čísel je vhodnější podívat se do databáze známých prvočísel, než to počítat znova od začátku.
-
Filip JirsákStříbrný podporovatel
Za prvé si pletete ověření prvočíselnosti (jehož výsledek je 100%) a pravděpodobnostní test prvočíselnosti (kdy výsledek znáte s určitou předem zvolenou pravděpodobností, ale nikdy není 100%). Za druhé jste nepostřehl, že se bavíme o tom, co bylo napsáno ve zprávičce, kde bylo uvedeno prvočíslo 17 077, k jehož zápisu fakt nepotřebujete 1024 bitů.
Seznam prvočísel do 10 milionů vyšel kdysi knižně (https://openlibrary.org/books/OL16553580M/List_of_prime_numbers_from_1_to_10_006_721), různých seznamů prvočísel najdete na internetu spoustu.
-
A Vy si pletete use case. Bavíme se o chatbotu, který má ambice se stát nějak užitečným i v matematice, nikoli ale univerzálním matematikem.
Pro jeden, zcela úzce specializovaný problém mu dávat jako externí data řádově 100MB dat? Jen aby tech chatbot odpověděl přesně a ne "s pravděpodobností tak blízkou jistotě, že se na ní může spolehnout i zabezpečení dat v rámci kryptografie"? A budete tak pokračovat dál? Bylo by hezké, kdyby to umělo trochu víc. Co takhle mu natabelovat i Goodsteinovy sekvence, Ackermanovy funkce a dalsi ne?
Ostatně se můžeme vrátit o pár desítek let do minulosti, ještě někde mám tabulky s Beselovými funkcemi, Čebyševovy polynomy a spoustou dalšího, co bylo potřeba, než přišly počítače a začalo se to počítat poněkud efektivněji. -
Filip JirsákStříbrný podporovatel
Nikoli, ten chatbot nemá ambice stát se nějak užitečným i v matematice, má ambice být užitečný obecně.
Ten chatbot v sobě má dávno uloženu spoustu dat. Trénovací data mají 45 TB, natrénovaný model má 570 GB. 100 MB opravdu není něco, co by v tomto kontextu mělo smysl řešit. Kdyby se mu seznam prvočísel předhodil a trénoval se na tom, bude odpovídat daleko přesněji. A stejný postup se dá použít na jakékoli jiné údaje, třeba na seznam a funkční období prezidentů nebo na počty protonů v jádře jednotlivých prvků. Naproti tomu algoritmické testování pravděpodobnosti prvočíselnosti by byla specializovaná úloha, která by se nedala použít na nic jiného.
-
Zrovna na matematice (nebo na jakékoliv jiné exaktní vědě) se velmi dobře dá demonstrovat jak moc je ChatGPT nedokonalé. Když na jednoduchou přímočarou otázku "Kolik existuje prvočísel?" dostanu odpověď 1229, je to evidentně špatně. Ve zdůvodnění jsem dostal odkaz na stránku, kde je seznam 1229 prvočísel menších než 10000. Ale na to jsem se neptal. Možná pro nějaké okecávací obory by takový druh špatné odpovědi byl částečně použitelný (s tím že se z té špatné odpovědi pokusíte nějak vybruslit), ale z matematické zkoušky by mě za takovou odpověď okamžitě vyhodili, protože je tak evidentně špatná, že nemá cenu ztrácet čas dalším diskutováním.
-
OK, tak tam odpověď vypadá nadějně, hned druhá věta (nechápu, proč ne hned ta první) zní: "Počet prvočísel je nekonečný." ale pak se to (podle mě naprosto zbytečně) rozkecá a přijde tato perla: "existuje nekonečný počet různých způsobů, jak rozložit celé číslo na součin prvočísel" - evidentně se to nespokojí s jednoduchou odpovědí, přidává to spoustu souvisejících informací, čímž se to nejspíš snaží vyvolat dojem jak moc je to chytré, až to ukáže jak moc je to blbé.
-
A pro případ, že by se Bard rozhodnul měnit odpovědi, tady je co jsem dostal já (všimněte si, že i ten Euklidův důkaz je vysvětlený špatně: "je dělitelné alespoň jedním z prvočísel v našem seznamu" - mluviti stříbro, mlčeti zlato):
V matematice je prvočíslo celé číslo větší než 1, které má pouze dva dělitele: 1 a sám sebe.
Počet prvočísel je nekonečný. To bylo poprvé prokázáno řeckým matematikem Euklidem kolem roku 300 př. n. l. Euklidův důkaz je založen na myšlence, že pokud bychom mohli sestavit seznam všech prvočísel, můžeme je vynásobit a přidat 1. Výsledek je vždy číslo, které není prvočíslo, ale je dělitelné alespoň jedním z prvočísel v našem seznamu. To znamená, že musí existovat další prvočíslo, které není v našem seznamu.
Euklidův důkaz je matematicky elegantní a jednoduchý, ale není snadné ho pochopit. Existuje mnoho dalších důkazů nekonečnosti prvočísel, ale všechny jsou poněkud technické.
Nekonečnost prvočísel má mnoho důsledků v jiných oblastech matematiky. Například znamená, že existuje nekonečný počet různých způsobů, jak rozložit celé číslo na součin prvočísel. To je důležité pro oblast matematiky známou jako teorie čísel.
Nekonečnost prvočísel je také důležitá pro informatiku. Například znamená, že existuje nekonečný počet různých způsobů, jak kódovat informace. To je důležité pro oblast informatiky známou jako kryptografie.
