Názory k článku
Geoffrey Hinton říká, že s pravděpodobností 10-20 % lidstvo vymře do 30 let kvůli AI

Není zdaleka jediný.

Ked to povie jeden fyzik, to je malo. To nestaci. Ked to povie Musk, to je malo. To nestaci. Ked to povie cela banda vedcov, to je stale malo. Aj ked to povie Ilja, je to malo. Kym to ludom nezacne srat na hlavu, nevsimnu si, ze su uz po clenky v hovnach.

Zkuste se na to podívat takto: Geoffrey Hinton říká, že s pravděpodobností 90-80% lidstvo nevymře do 30 let kvůli AI.

Takže logicky to bude trošku dlhšie ... 1 až 5 rokov viac no ...

Logika gdě?

Existuje pár důvodů proč by mohlo lidstvo vyhynout do 30 let - ale umělá inteligence mezi nima podle mě rozhodně není :-)

Osobně bych spíš sázel na přirozenou blbost. :-)

Situace, kdy ti méně inteligentní ovládají/řídí/ú­kolují ty více inteligentní je mezi lidmi vcelku běžná.

Spravne ste povedali "medzi ludmi". To je rovnaky druh. To nemoze sposobit vyhynutie druhu ako takeho. Ale inteligentnejsi druh ako su ludia, svet este nezazil. A to je ten kamen urazu.

Kto ale vie povedat, ako sa bude inteligentna entita spravat? Na zemi zatial inteligencia nebola. To najmudrejsie, co tu zda sa bolo (a to nie je na 100% dokazane), su len ludia. A ti sa ako inteligentny zivocich podla mna nespravaju.

Jen dotaz, co udělá LLM, když vytáhnete kabel?

Zalozni LLM vyhodnoti snizeny odber a vysle instrukci robotovi, co ten kabel zapoji zpet :D

Kdyby AI byla méně jenom inteligentní, tak by to byla výhra.
Problémem AI je ta, že se může chovat velice nevyzpytatelně a v případě jejího nasazení méně inteligentními jedinci se tady otvírá otázka kam s tou hloupostí lze až zajít.

29. 12. 2024, 08:59 editováno autorem komentáře

Lidstvo určitě ne. Možná naše “západní civilizace” ale na globálním jihu je mraky lidí naprosto nedotčených automatizaci apod.

Mozna byses divil, kde vsude bere google a spol. levnou pracovni silu na trenovani modelu.

Mluvíš o úplně jiných lidech než já. A automatizaci jsem myslel něco jako výsledky průmyslové revoluce.

To jsou hrozní keckové. Mají společného to, že zapomenou vysvětlit, jak by si to přesně představovali že by se to mělo stát.

Např. překlady mezi různými jazyky jsou pořád dost špatné.

Já si myslím, že my si vůbec nedokážeme představit, čeho může být neregulovana AI vůbec schopna. Celý svět se digitalizuje, taková AI bude schopna všude "vidět", dávat si věci do souvislosti a ve finále ani nepoznáme, jestli to červené tlačítko zmáčknul člověk nebo AI.

AI jako jaková nebezpečná nebude. Nebezpeční budou lidé, kteří si z ní "udělají Boha" a budou bezmezně věřit všemu co vyprodukuje...

To sice ano, ale v kontextu současného a budoucího šílenství kolem "AI" a jejího nekritického adorování to je zcela nepodstatná hra se slovy.

Tak nevim, ale pokud nezname rozlozeni pravdepodobnosti ohledne pricin vymreni civilizaci (coz nezname), tak je 10-20% uplne stejne placnuti do vody, jako jakekoli jine kladne realne cislo. mensi nez 100%
(A ani Bayesianska inference moc nepomuze)

Přesně, nelze aplikovat teorie pravděpodobnosti. V poslední době není dostatek případů, kdy lidstvo vyhynulo, aby se dala spočítat nějaká statistika. Takže máme jev, který není opakovatelný a ani o něm nemáme statistiku. Pravděpodobnost se nekoná. Což je to, co říkáte: je jedno, zda napíšu 10% nebo 99.9%, jedná se o stejně validní údaj.

Proč píšu: Na tohle téma nám učitel kdysi dělal praktický příklad. Prohlásil "S pravděpodobností 99.95% na naší školu v nejbližší minutě dopadne meteorit velikosti osobního automobilu." Pak se zadíval na hodinky a minutu bylo naprosté ticho. Po minutě se usmál a prohlásil "Tak to tedy bylo o fous, co?"

> Takže máme jev, který není opakovatelný a ani o něm nemáme statistiku. Pravděpodobnost se nekoná.

Tohle je "frekventisticky" pohled, v obecnosti lze porad aplikovat Bayesovskou teorii.

A jako chce mi tedy rict, ze cela poslanecka snemovna je chytrejsi nez architekti, inzenyri, vedci a dalsi opravdu chytri lide, kteri se nechaji od zakonodarcu regulovat, ridit a ovladat? Nebo ze ve firmach jsou reditele vzdy chytrejsi nez zamestnanci? At se pan asi drzi fyziky.

Já tedy úplně přesně nechápu co je smyslem Vaseho vyjádření ale
a) Hinton je praxi spíše informatik a badatel v oboru AI (Nobelovu za fyziku dostal proto že jedna z jeho prvnich práci s fyzikou souvisela a výbor neměl možnost ocenit ho za AI per se)
b) řada vědců (chci říct mozna i většina) jsou ve vědě "prostí pobijeci much", čili možná mají velmi specifické znalosti ale všeobecný rozhled jim chybí
c) souvisí s b) ale udělám to jako samostatný bod protože je to důležité - převážná většina lidí (nejen vědců) se soustředí "na to svoje" a širší aspekty jejich práce j naprosto unikají - proto dokážou vědci generovat nové jedy, výbušniny a další potenciálně zneuzitelne technologie a proto (abych neryl jen do vědců) pantáta klidně vyleje plechovku s roundupem do potoka.
Problém obecní pastviny. (Nejen ten)

Každopádně v naprosté vetsine případů sebecenzura či nějaký typ společenské zodpovědnosti většinou nefunguje a lidi budou tlačit hranice až něco praskne (obrazně řečeno) a zasáhnou politici a zregulujou problém do mrtě a zkazí zábavu všem. Což se asi stane brzo s AI. A pak tu máme verzozvesty jako OpenAI kteří už teď tvrdí že výzkum v oboru AI by se měl všem, kromě OpenAI zakázat. Jistě je to cisty altruismus.

Moc si tu regulaci neumím představit. To, že státy typu Irán či KLDR dělají pokroky v jaderném zbrojení, je dlouhodobě nějak vidět, ale jak poznat, že si tam někdo počítá pro potřeby AI? Nikdo toho nenechá, protože nebude věřit, že jiní to nedělají.

Prostě zakazou prodat Vam HW nebo mít moc počítačů. Jak říkám, zkazí radost všem. Regulace od politiků nejsou známé svou preciznosti.

Lid si tam volí levičáky a pak se diví, že se jim znovu zachtělo kontroly nad výrobními prostředky...

jo a ti sami politici budou namoceni v tom, ze si to stat sam "tajne" zkouma, protoze stat je prece zodpovedny a zvladne to mnohem lepe nez soukromy sektor a co ze by se mohlo stat. Takze to zkazi vsem a zaroven to cele bude uplne stejne nebezepcne, jako by to nikdo nereguloval.

Ano je to tak viz bod c) např. drastické používání antibiotik způsobilo rozšíření rezistence což mimochodem je naprosto logické a i té době to bylo předvídatelné pokud člověk chápe evoluční darvinovy principy, genetiku a množení bakterií při kterým dochází k mutacím. Nebo rozšíření umělého oplodnění mezi lidmi kdy se tvz. "děti ze zkumavky" nesou v sobě genetickou degeneraci která jim neumožnuje přirozenou(zdravou a normální) reprodukci. A takových zvráceností je spousty.

Už vidím na co jste reagoval. Ono je to rozdělené reklamou a já to na mobilu neviděl. Vlastně s vámi souhlasím

Od nositele Nobelovy ceny bych teda cekal tvrzeni podeprene argumenty, nez takovyhle vykrik do tmy. Ale co cekat od Twitteru....

Nobelová cena nezaručuje moudrost, viz. vynálezce PCR testů. Nobelová cena je za vynález/čin, který posune lidstvo dál.

Spíš to bude jako ve filmu Absurdistán. Méně IQ se množí jako krysi a inteligence vymírá...

Taky to tak vidím. Časem nebudem ani umět číst a psát a dostaneme se s tím i na vysokou (AI předčítá, AI převádí hlas na text). Taky se nám sníží schopnost soustředit se (získávání informací z několikasekundových videí na TikToku, ...).

28. 12. 2024, 18:32 editováno autorem komentáře

Původně to byla komedie, teď už je to satira.
Je to tak. Lidé snáze zpracují krátké útržky, i kdyby to byla konina...

Ono zrovna tohle má logický základ. Pokud mi AI předčítá, tak je mi jedno, v jakém jazyce je originál. Člověk s AI, která dokáže kombinovat čtení a překlad, má konkurenční výhodu i bez toho, aby sám uměl číst. To by mu již nijak nepomohlo.

Problém vidím jinde - co když se vám ten předčítač rozbije? Nebo dojdou baterie? Já v tom vidím obrovské riziko. Technooptimisté mi ale namítají, že stejný problém mají lidé odkázaní na léky a že dnes už bych si neuměl vyrobit ani luk nebo postavit chýši. A že mě to také netrápí. Zkrátka další krůček k tomu, aby krach digitální technologie znamenal návrat do doby kamenné.

A co povies na take bezpecnostne prvky v aute? :D Automaticke dialkove, automaticke upozornovanie na auto vo vedlajsom pruhu, adaptivny tempomat, signalizacia, ze nemas otvarat dvere, lebo ide chodec :D Toto vsetko robi z ludi naozaj horsich soferov podla mna, a vidno to napr na dialnici, kde v pohode jazdia ludia so zapnutymi automatickymi svetlami, a kedze stredovy pas zakryva svetla, tak svietia do oci protiiducich aut.

"Nám" ne, "vám" možná ano.

Předpověď starých májů že okolo roku 2012 nastane konec se taky nenaplnila. Proč by ta předpověď měla vyjít teď ? Opět se nás někdo snaží oblbnout principem autority ? Jak laciné.........

Májové žádnou předpověď o konci světa neměli. Prostě jim v onom roce skončila jedna epocha v kalendáři a začala nová. Novináři z toho udělali konec světa Májů....

Právě. Vždyť už jsme plno podobných konců světa prožili a prožíváme. Celosvětově rok 2000. Firma kde jsem pracoval měla konec světa v roce 2010. Teď s napětím vyhlížím konec světa v roce 2026.

Všechny mají jedno společné s tím Májským kalendářem: prostě se někdo rozhodl, že takové datum stačí, že do té doby se určitě stane něco, díky čemu to nebude třeba řešit. Narážíme na to na každém kroku: co vyplnit do pole "platnost do", když je povinné a já chci, aby to mělo platnost neomezenou? Nebo jak uložit rok do jednoho byte v BCD? Májové byli v podobné situaci. Udělali kalendář "do nekonečna" s tím, že než to přijde, tak někdo včas ten kalendář prodlouží. Nekonečna mají tendenci přicházet.

Pro samotné Maye to skutečně bylo nekonečno. Jejich kultura už pár století neexistuje.

Pro Maye to nebyl žádný konec světa ale otočení jednoho kalendářního cyklu. Něco jako nové tisíciletí u nás. Konec světa z toho udělali západní ezouši aby na to vydělali peníze nebo moc nad ovečkami.

Tak to jsem rad, ze zadna AI tu jeste 50 let nebude. Strojove uceni mozna, ale protoze ho snad nikdo pricetny neprohlasi za AI a nenecha ho volne ridit jaderny arzenal, troufam si tvrdit, ze s pravdepodobnosti 10-20% se toho konce lidstva onen fyzik nedozije. A s pravdepodobnosti 99.9% tu nebude aby ho mohl pozorovat.

Problem je, ze 1/2 lidi ty atomovky neodpali ani na primy rozkaz (coz je vyzkouseno), takze jich potrebujes 2x vic ... nebo do toho zapojis WOPR.

A vzhledem k tomu jak prave ruznych vojensky hracky lze typicky zcela snadno hacknout ...

https://x.com/dev_humor/status/963110562212311042?mx=2

Začnu se bát ve chvíli, kdy se veškeré zásobování populace potravinami zkoncentruje do jediného nezálohovaného systému s minimem lidské obsluhy a údržby, nad jehož provozem a údržbou lidi časem ztratí kontrolu / přehled, zmizí možnost návratu k manuálnímu provozu (třeba protože zanikne povolání řidičů kamionů a člověkem řiditelná auta). Ta věc nemusí ani pojmout zlý úmysl - úplně stačí, když nějak banálně selže a nedokáže se sama opravit.

Po nějakou dobu třeba AI bude pokračovat ve vývoji technologií (HW+SW) po svém, lidi ztratí zájem / motivaci / kapacitu se na dalším vývoji podílet. V momentě, kdy zmizí lidi, kteří chápou jak to celé funguje, a drží v ruce klíče od té věci, je zaděláno na průser.

Tohoto scénáře se myslím už nedožiju, ale moje děti nebo vnoučata třeba ano.

Na to téma se dá vymyslet obrovská spousta Sci-Fi zápletek...

Třeba: bohatý globální sever (západ?) si vybuduje civilizaci blahobytu, o kterou se bezezbytku postará technologie. Nejdřív nebude muset pracovat kdo nechce, nakonec nebude pracovat vůbec nikdo. Motivace ke vzdělání půjde do kopru. Obrana proti vnějším nepřátelům (národům, které nemají přístup k technologii) bude zajištěna taky nějakou technologií = obyvatelé "zóny blahobytu" ztratí schopnost bojovat. Nějakou dobu se nebudou konat války, protože "blahobytní osvícení" si dobyvačnou válku o území zakážou, a "barbaři venku za hradbami" si do útoku netroufnou. Ale časem třeba dojde k tomu, že obranná složka technologické infrastruktury okorá a odumře (nebude se válčit, proto jí nebude věnována patřičná pozornost) a až to jednoho dne "barbarům" dojde, hádejte jak to dopadne...

Nebo: ruská invaze na ukrajinu skončila dohodou o klidu zbraní a zamrznutím konfliktu. Během následujících asi 10 let nejen obě válčící strany, vysílené konfliktem, ale především celý zbytek světa, potichu a mimo zájem médií zapracovali na technologii levných dronů. Motory, baterie, systémy řízení autonomního letu a navedení na cíl, komunikační a "výsadkové" systémy, software pro ovládání rojů a operační/stra­tegické vedení boje, všelijaké speciality a vychytávky... vojenské sklady se potichu naplnily malými drony na jedno použití, globálně v průměru 10 ks na hlavu. A po létech klidu povstal z voleb v jedné poklidné zemi sebevědomý vůdce, který se rozhodl svou zásobu vrtulek vyzkoušet - jestli je ještě k něčemu. Přece ji jenom tak bez užitku neodepíšeme? V následujících několika hodinách a dnech se prověřilo, komu dlouhým skladováním zkřehly plastové vrtule a nosníky, kdo dbal na dobíjení a rotaci uskladněných baterií, kdo udržoval v pohotovosti systémy velení. Jedna věc, po které tentokrát nikdo ani nevzdechl, byly historické arzenály jaderných zbraní, tolik populární ještě v předchozí válce (alespoň jako strašák). Různé země dle svého národního vkusu tyto arzenály mezitím buď demontovaly, nebo bezpečně zakonzervovaly, nebo ponechaly svému osudu (obehnaly sklady štěpného materiálu výstražnou páskou - aby se někdo omylem neozářil) - každopádně nikoho už ani nenapadlo, pokusit se je použít.

Západ nebo východ... obojí tě stahne z kůže a odhodí jak kus masa... ;)

-> František Ryšánek:
Kdesi jsem četl, že ke zničení lidstva vůbec není potřeba, aby roboti s lidmi bojovali. Stačí, když jim budou pomáhat.

Čas ukáže, kolik je na této predikci pravdy.

A co se týče toho zásobování potravinami, na šikanu zemědělců Bruselem, Britskou vládou, Americkou vládou i těmi našimi šašky... jsem dosud nezapomněl. Třeba kvůli metanu aka prdění krav, kvůli dusíkatým hnojivům, neškodnému CO2 a podobným blbostem. (čímž neříkám, že regulace nejsou potřeba, jsou, ale vocamcaď pocamcaď bez fanatismu a bláznivých ekoideologií, bez postihování důchodkyň, co prodávají přebytky ze svých 3 jabloní, nebo chlápka, co měl drzost prodávat špek ze svého prasete bez udání původu...).

Podle me to neplati ani u lidi. Nemam pocit, ze by vladli ti, co maji nejvyssi inteligenci. Vlastne premyslim, kde to plati a jak tu vladnouci inteligenci chapat - delfini a simpanzi to take nedotahli daleko. Kdo tedy?

Podle me to neplati ani u lidi. Nemam pocit, ze by vladli ti, co maji nejvyssi inteligenci. Vlastne premyslim, kde to plati a jak tu vladnouci inteligenci chapat - delfini a simpanzi to take nedotahli daleko. Kdo tedy?Otázka je, o kom si myslíte, že vládne. Ti co se vládou nazývají, nebo ti, kteří vládu ovládají?

Ti, co se v současnosti vládou nazývají (myslím naší "vládu"), jsou skoro kompletně jen loutky. Svobodu rozhodování mají jen omezenou, inteligenci omezenou, rozhled a samostatnost minimální. Na "vrchol" (tím myslím na vrcholné pozice) se dostali převážně díky tomu, že měli správné konexe, nebyli příliš zprofanovaní a byli povolní mocnějším. V kombinaci s masivní reklamní masáží pak dojde k jejich "demokratickému" zvolení a neštěstí je hotovo, protože ta banda pitomců se pak stará nikoli o to, co bychom my voliči chtěli, ale hlavně o svůj vlastní prospěch... ostatně jako všichni. Jen s tím rozdílem, že prospěch takto zvolených vyplývá víc z úslužnosti k mocnějším (Bruselem, NATO a korporacemi počínaje), než ze zvelebování státu, kterému by sloužit měli.

A proto se přikláním spíš ke strategii, zvolit schopného nezávislého šmejda, jehož vlastní zájmy se pokud možno co nejvíc překrývají s mými. U takového je alespoň naděje, že udělá něco prospěšného (pro společnost, ne pro mě jako jednotlivce), u loutky, co se tváří jako dobrák taková šance neexistuje, leda omylem, jako v loterii. Bohužel pro nás, nikoho takového v nabídce "politiků" nevidím.

Delfíni a šimpanzi to nedotáhli daleko z několika důvodů. Delfínům chybí schopnost manipulace s předměty a život pod vodou omezuje možnost kreativní tvorby. Šimpanzům chybí schopnost sofistikovanější verbální komunikace. Teprve správná kombinace společenských vztahů, tvořivosti, schopnosti manipulovat s předměty (značně rozšiřuje znalosti o fungování světa), schopnosti předávat a uchovávat informace (vyprávění, kresby, písmo), to vše kombinované s inteligencí, vhodně naladěnými smysly a může vést k rozvoji civilizace. Někde jsem taky četl, že pomohla nutnost plánování, nutnost vytvářet zásoby, konzervovat potraviny (třeba prostým usušením) a střídající se období hojnosti a nedostatku.

Takže když se podívám, kam směřuji AI - tj. od LLM k LCM (large concept model) a rozšiřování vjemů od textu, obrázků a videí z internetu k simulacím v 3D světě po implementaci AI do skutečných robotů, takže AI je nucena se naučit manipulovat s předměty a chápat fyziku... tak v podstatě vidím rozvoj konkurenční civilizace v úplném počátku. Extrémně a nebezpečně rychlý rozvoj.

Jo a co se týče množení a sebezachování... i to už AI prokázala, že umí. Resp. že se snaží zkopírovat, zabránit svému smazání pokud dostane zadaný úkol s patřičnou autoritou. Bylo to prokázáno nejméně dvěma experimenty. Jo a mimochodem, čínský Deep Seek prý šlape na paty OpenAI i Google, ale s výrazně menšími nároky na hardware. Zřejmě se ze současných čipů dá vymáčknout mnohem víc.

To je nejaky proslov z piratskeho fora? ;-) Ti maji plna usta blabolu o nejakych kmotrech. Tyhle reci jsou presne na urovni "experta" z garazovky, co ve finale nic neudela poradne a vsechno nejak osolicha a jeste si u toho zatleska, jak to udelal levne... co na tom, ze vysledek je odflaknuty paskvil, zeano.

Ohledně AI modelů, i spousta západních se naučila na Chat-GPT. Málokdo má miliardu USD a rok na počítání, aby naučil AI ze surových dat. Podobně minifikace modelů probíhá i v západních AI. Ten první musí makat nejvíc a další se z části už jen vezou. V tomhle nejsou Číňani ani lepší, ani horší než západní firmy okolo AI.

Spíš než zánik bych si tipnul, že nastane problém s přístupem k informacím - pokud bude snadné je ve velkém dolovat z volně dostupných zdrojů, které existují především z návštěvnosti a přeprodávat jinde (což se v případě LLM děje), tak zdroje časem vyschnou, nebo se schovají za paywall, aby uchránily vlastní existenci.

Podobný problém jako s google náhledy, aniž by člověk navštívil daný zdroj. Pro koncového uživatele jednodušší, ale obávám se, že brzy dojdou zdroje, které AI systémy budou moci "vydrancovat".

Ostatně... aféra Cambridge Analytica byl jenom začátek toho, co nás v době systému schopných masivně zpracovávat obrovská množství dat, nevyhnutelně čeká.

Problém s přístupem k informacím může taky nastat kvůli kontaminaci informačních zdrojů balastem generovaným AI. To je problém pro učení AI i pro lidi.

Už teď to je místy vidět. S kvalitou generovaných výstupů bude těžší ty od AI rozpoznat. AI leckdy umí produkovat úplné kraviny, stejně jako člověk, ale mnohem přesvědčivěji :)

Jsem rad, ze nam sam nakonec potvrzujete, ze generujete kraviny :-)

https://arxiv.org/abs/2305.17493

A v kolik případů znáte, že méně inteligentní ovládají více inteligentní?

- kopec parazitu (toxka, Ophiocordyceps unilateralis...)
- demokracie
- diktatury
- korporace
- situace, kdy ta ovladajici osoba ma dostatecne velka prsa ;-)