Vlákno názorů k článku
Microsoft najíma bývalého riaditeľa OpenAI od Ondra Satai Nekola - https://twitter.com/andrzejdragan/status/1726591799513477359 "People building AGI unable to predict consequences of...

https://twitter.com/andrzejdragan/status/1726591799513477359

"People building AGI unable to predict consequences of their actions 3 days in advance."

20. 11. 2023, 14:56 editováno autorem komentáře

Ako citát fajn, trocha "joke", ale reálne je to nezmysel.

1. Oni vôbec netvoria AGI, oni tvoria LLM. Čo s AGI nemá nič spoločného. LLM bude určite fajn že keď bude AGI existovať, tak LLM umožní AGI rýchlejšie sa naučiť jazyk. Ale LLM samotný je len hlúpy model, obsahujúci informáciu o tom aký častý je výskyt tokenu po sekvencii určitých tokenov. A GPT tento model používa momentálne úplne stejným spôsobom ako prediktívne písanie 20 rokov dozadu, len to na základe tvojho vstupu (tokenov), vybere podľa pravdepodobnosti nejaký token po tvojej sekvencii, a vytvorý novú sekvenciu a v cykle znova túto sekvenciu použije na získanie nového tokenu, až kým nevygeneruje celé vety a teda odpoveď. Nič iné, je to úplne primitívny algoritmus, akurát dáva lepšie výsledky a výsledok ktorý je v podstate nedeterministický len preto že model je obrosvký a tých možných tokenov a variácií je tam extrémne veľa.
2. Ani s reálnym AGI by sme o tom čo sa udeje 3 dni dopredu nevedeli nič. Rovnako ako človek, ak je človek úplne slepý nevie povedať čo za text je napísaný pred jeho očami. Aby AGI dokázala presne predikovať 3 dni dopredu, musela by mať všetky nutné dáta k predikcii, avšak ak hovoríme o realite, tak vo vesmíre je množstvo informácií nekonečné, a to i dokonca na "malom priestore", samozrejme s určitou "pravdepodobnosťou" a "presnosťou" to vie niečo odhadnúť, a čím viac dát to má, tým tá presnosť a precíznosť bude lepšia, ale reálne nikdy (možno až vo veľmi ďalekej budúcnosti, ak vôbec), nebudeme mať ani najmenšie zlomky dát. "To bude skôr nula celá nekonečno množstvo núl nasledujúce jedničkou percento dát čo budeme z reality možné získať. v najbližších stovkách rokov určite." Motýlí efekt proste neojebeš.

1. Ne
2. Vtip byl v něčem úplně jiném

ad AGI - nebuďte tolik ortodoxní např. https://arxiv.org/abs/2305.15066
(tohle je jen příklad, ono těch studií vážně řešících téma AGI z LLM je poněkud víc).

Ja jsem osobne spis mirny skeptik, ale rozhodne to nejde odmavat tak, jak predvedl Mlocik. Pokud by ten cinsky pokoj byl dost velky...

Tak já byl a jsem skeptik na schopnosti AGI také (a zůstávám), na drouhou stranu, posledních pár let u mě dost silně posunulo dolů laťku "to bude stačit".

Přecejen, sice tuším, co za problém je finite time blowup u diferenciálních rovnic, stejně jako teoretická složitost NP a NP-úplných problémů, ale na druhou stranu. Folding proteinů patří k těm těžším (byť třídu asi z hlavy nedám), ale AlphaFold to "nějak" zvládá v pohodě.

Další argument. Já Vám nijak nemůžu dokázat, že jsem/nejsem p-zombie. Stejně se obávám, že nepůjde dokázat (a nejspíš ani vyvrátit), jestli něco je nebo není GI (alespoň pro rozumnou definici onoho GI), takže jediné, čeho můžeme dosáhnout je stanovit nějaké předpokládané vlastnosti, co by měla ona obecná inteligence dokázat, a pak na ní zkusit dané modely aplikovat. A tady bych se vůbec nedivil, kdyby taková AGI (lépe řečeno: něco co má všechny znaky AGI) už existovala, a podávala lepší výkony než člověk.

O limitech predikce, a to jak na kvantové úrovni (neznáme komplexní vlnovou funkci a/nebo stavový vektor (ono je to jinak vyjádřené to samé), ale pouze vlasní hodnotu Hermitovských operátoru (navíc jen nějaké komutativní podmnožiny) nad tím), tak na chaotických systémech, alespoň jak Mlocik naznačuje, to nejspíš nebude.