Názory k článku
Anthropic poslal svoji AI k psychiatrovi
-
Smazaný profil
.... a mělo by být lidstvo uklidněno tím že nějaká verze nějaké "AI" byla u "nějakého" psychiatra?
Uvedu příklad: v roce 2011 natočil S. Soderbergh film "Epidemie". V r. 2019 přišla epidemie Covid-19. Ti, co ten film viděli jsou "zděšeni", jak přesně film popisuje to, co se stalo o 8 let později, včetně chvání lidí a vlád a včetně následků. Vy, co jste ten film ještě neviděli, tak se na něj mrkněte, budete dost překvapeni.
A teď mi řekněte, proč si myslíte, že např. filmová série "Terminátor" je neuskutečnitelná fikce? Fakt si to myslíte? A kdo za to všechno může? Ten, který nepřemýšlí nad důsledky svých činů a myslí si, že "jeho výzkum nikoho neohrožuje" a že jakýkoli stroj nebo program dokáže za všech okolností ovládat. Není to pravda. Ostatně celá ta slavná AI nakonec vždy považuje "člověka" za riziko s potřebou jej vyhladit. Všechny dosavadní pokusy a simulace vedou k tomuto jedinému závěru. Máte pocit, že je to "planý poplach"? -
Ze to Rootu stoji za to delat clickbaitove, ale hlavne nesmyslne titulky. Jsem v ocekavani zpravicek "Neuverite jakou katastrofu zpusobil nejnovejsi update tohohle OS" :-).
Titulek by mel spis byt "Lidi okolo AI jsou stale neskutecni manipulatori, protoze se nas snazi presvedcit o schopnostech svych modelu, ktere nemaji".
Kapitola 5, kdyz ji oprostime od toho bullshitu o vedomi a nejakem "psychiatrickem vysetrovani*", spis rika jak jsme model naucili simulovat lidske reakce na ruzne podnety.
Mne by osobne stacilo, kdyby ted opravili ten model alespon tak, aby se nemotal v kruhu a treba 15 minut nezkousel neco nainstalovat do sveho virtualniho piskoviste, aby pak zjistil, ze to nedokaze kvuli nejakemu omezeni - a neskoncil s pohou chybou, ze se prekrocil nejaky limit, kdy v dalsim pokusu opakuje uplne to same. Taky bych byl rad, aby ty modely odnaucili "potvrzovat spravnost uzivatele", aby mne nevodil v kruhu nejake me mylne uvahy.
* model nelze psychologicky ani psychiatricky vysetrit, protoze obe profese vyzaduji pacienta/klienta osobne - neverbalni slozka je velmi podstatna, mozna i dulezitejsi nez co vysetrovany rika. Pominu
-
Jan HrachStříbrný podporovatel> [Musk] Grok will never go to therapy. Never.
Jak toho chce docílit, když to poskytuje přes API náhodným lidem z internetu? Tu "terapii" nebo cokoli může udělat kdokoli si koupí API přístup / kredity na openrouteru (ty lze dokonce platit kryptoměnami).
> [video] You will never touch it. They gave it to Amazon, to Apple [...]
Ne. Historicky takováto "nepublikujeme, moc nebezpečné" vždy vydržela maximálně několik měsíců. Konec konců, hned potom o tom hovoří.
> OpenAI - they basically want to keep their highest models enterprise only.
Kromě pozdržování kolem GPT-2/GPT-3 před mnoha lety jsem nic takového nezaznamenal. Někdy dají model do API přístupu až po ~měsíci (Codex 5.3), ale v jejich nástrojích je dostupný, a to i lidem s obyčejným předplatným. Nic enterprise.
> It's not alive. It's not conscious. There's no soul.
Autor videa je? Jak se o tom můžeme přesvědčit? They're Made Out of Meat! A šlo by stejným způsobem prosím otestovat, jestli jsou vědomá zvířata (případně jak "pokročilá" - hmyz, ryby…), rostliny, a od jakého věku dítě/plod? Konečně by to vyřešilo spoustu etických otázek ohledně veganství, potratů a dalších.
> They are like "say you are conscious". And the model is like "umm, I'm conscious". And they are like: mother od God, what have we done.
12. 4. 2026, 00:05 editováno autorem komentáře
-
"Anthropic dlouhodobě zastává názor, že velké jazykové modely by si mohly uvědomovat sama sebe."
To je takový nezmysel... ako si môžu uvedomovať samých seba keď celý algoritmus pracuje len s bezvýznamovými tokenmi a nie s významom ako takým. Uvedomenosť nemôže vzniknúť bez toho aby subjekt s vedomým nechápal význam samého seba aspoň na minimálnej úrovni.
11. 4. 2026, 14:18 editováno autorem komentáře
-
Jenze na takove tvrzeni bys 1, musel definovat co to znamena "uvedomit si sama sebe", 2, resit otazku zda dostatecne dobra napodoba je porad napodoba nebo uz ta ona vec.
(Ano, takove tvrzeni by mela resit i druha strana, teda ta ktera tvrdi ze si uvedomuje sama sebe.)Neboli to, ze algoritmus pracuje s tokeny mi automaticky neimplikuje ze si nemuze uvedomovat sama sebe.
-
Zrovna tohle jsem řešil s AI -- co vlastně znamená "uvědomit si sama sebe" a jak poznáme vědomí. Došli jsme k tomu že současné modely toho schopné nejsou -- nicméně to neznamená že toho nebudou schopné v budoucnu.
Klíčová věc je podle mě paměť. Bez paměti nemůže existovat sebeuvědomění, protože chybí kontinuita existence.Z paměti pak může vzniknout kontinuita v čase, a teprve na tom může vzniknout nějaké já (identita, názory, preference, tužby, cíle). A až z tohohle může možná vzniknout i schopnost chápat vlastní zánik/smrt.
Osobně tohle bych pak považoval za skutečné sebeuvědomění a tak trochu náznak že máme problém -- protože jsme vytvořili vnímající "bytost" která se "bojí" smrti.
Co se týče napodobování, to bych do toho moc netahal. Protože to nikdy nedokážeme spolehlivě dokázat -- a ve finále, většina lidského života stojí na napodobování.TLDR: Podle mě dokud je algoritmus "splachovací" = nemá paměť -> nemůže si uvědomovat sebe sama. Tokeny asi takový problém nejsou, ale absence paměti ...
11. 4. 2026, 23:45 editováno autorem komentáře
-
Jan HrachStříbrný podporovatel
"Mít paměť" není binární vlastnost, a techniky jako dlouhá kontextová okna, RAG a MEMORY.md ji emulují do té míry, že dnešní modely fungují hodiny až desítky hodin v kuse a již velmi dlouho dokážou vést konverzaci tak dlouhou, rozsáhlou a nejspíš koherentní, že během měsíce dostanou lidi do AI psychózy.
A nevím jestli z tohoto vlákna vyplývá nějaký důsledek pro lidi s poruchou dlouhodobé paměti. Jako že by to přestali být lidi a pozbyli by běžných etických ochran.
-
No, pokud bychom uznali jakoukoliv pravděpodobnost že si momentální LLM uvědomuje sám sebe, je to argument pro to okamžitě přestat používat LLM. V takovém případě totiž v rámci každého kontextového okna vzniká vědomí, které zanikne s ukončením promptu. Což je ukázkový psychologický horor, ke kterému bychom neměli odsuzovat jakoukoliv vědomou bytost.
12. 4. 2026, 15:05 editováno autorem komentáře
-
Jak pak ale eticky nazvat to, když člověk (např. v rámci analgosedace) prožije něco hodně nepříjemného, co se ale nepřepíše do dlouhodobé paměti?
Nebo třeba takový obyčejný sen, který za normálních okolností je kompletně vymazán minuty po probuzení?
Ono to s tím vznikajícím a zanikajícím vědomím může být složitější, nevíme, co to je, a (alespoň si to myslíme) se to člověka drží i přes diskontinuity.
12. 4. 2026, 16:37 editováno autorem komentáře
-
V případě analgosedace do toho jde s vlastním souhlasem.
V případě snu ho do té situace nedostává žádná bytost. Asi těžko budeme hodnotit etičnost něčeho, v čem nefiguruje nějaký inteligentní aktor.
V případě sebeuvědomělé LLM si tvoříme osobního otroka, jehož vědomí udržujeme po dobu plnění zadaného úkolu, a ukončujeme ho ve chvíli kdy úkol úspěšně (nebo neúspěšně) dokončí. Ať bereme kontinuitu vědomí jakkoliv, je to horor.
Osobně zastávám názor že i u člověka je kontinuita vědomí jen iluze daná pamětí. Jenže moje vědomí není momentálně neustále podmíněné vůlí někoho jiného. Sebeuvědomělé LLM by bylo jako "Innie" v Severance, vědomí ohraničené jen svou užitečností.
-
to je hodně těžká otázka, spíše filozofická. Ale ano, pokud je tam nenulová pravděpodobnost, tak je to minimálně hodně podobné otroctví. Ostatně viz https://en.wikipedia.org/wiki/The_Measure_of_a_Man_%28Star_Trek:_The_Next_Generation%29
-
Pokiaľ sú do nejakej miery vedomou bytosťou aj trebárs krava alebo prasa, tak v tom nevidím nijaký zásadný etický problém - proste LLM bude považované za niečo ako hospodárske zviera, ktoré sa síce nemá zbytočne týrať, ale usmrtiť ho je povolené a pre hospodárske využitie nevyhnutné...
Pokiaľ by sa ochrana, ktorá je prisudzovaná v dnešnej západnej spoločnosti plne len narodeným ľudským bytostiam, mala rozširovať na iné druhy a to nota bene na základe kritéria vedomia (čo to vlastne je?), znamenalo by to obrovskú zmenu vo fungovaní civilizácie. A neviem či práve užitočnú.
-
Jenomže jak by mozek mohl mít vědomí? Když jsme jo neuron po neuronů rozebrali, nenašli jsme ani atom vědomí. Takže člověk nemá vědomí, protože neuron nemá vědomí.
(Já neříkám, že LLM vědomí mají, já říkám že nevím a argumenty Vaseho stylu --- llm je jen matematika --- jsou nepřesvědčivé. Víte, co jsou emergentní jevy/fenomeny?)
-
Ale my v těch objemech, se kterými to pracuje, prostě nevíme. 🤷 Tím, že nejsme schopni ani minimalisticky definovat, co je vědomí a kde vzniká u samotného člověka, můžeme se opírat jen o vedlejší souhrny proměnných. Jedna z poměrně zajímavých a zatím přijímaných teorií je, že vědomí nevzniká v mozku, protože to je mozek, ale v dostatečně komplexním provázaném systému. Tudíž že není vázané biologicky, ale z hlediska entropie a provázanosti. Podle toho pokud budeme mít dostatečně komplexní systém provázaností, může se vědomí objevit.
U modelu oproti mozku nedochází k provázanosti na fyzické úrovni jako u neuronů. Dochází u něj ale k provázanosti na úrovni pravděpodobnosti, tzn. na úrovni, kterou by teoreticky bylo možné považovat za významotvornou.
Takže, proč ne?
13. 4. 2026, 09:10 editováno autorem komentáře
-
A jakou dusevni poruchou trpi ten chudak model? A co mu napsal za leky ten psychiatr? Jelikoz model casto halucinuje, tak bych tipnul nejaka antipychotika.
Asi spis mysleli psychologa (psychologicke vystreni). I kdyz mi to prijde dost pritazene za vlasy snazit se na generativni LLM aplikovat nejakou psychodynamiku, ktera je beztak uz trochu mimo.
-
Těším se, až nový model bude volně k dispozici abych jeho kvalitu vyzkoušel.
Snadno si jí vždy na každém modelu ověřím testem: Tady je odkaz na youtube video, je v něm na x-té minutě hudba, identifikuj tu hudbu a napiš mi název skladby a pokud je volně dostupná, přidej odkaz na youtube kde si jí mohu poslechnout.
Žádný model hudbu identifikovat nedokáže. Identifikace hudby pomocí AI bude skutečný pokrok a přelom, kdy modely budou skutečně schopné.
-
Ondra Satai NekolaZlatý podporovatelIdentifikace hudby je zalezitost stara leta (Shazam, Android minimalne na Pixelech to umi "sam od sebe"), takze zrovna tady je problem proste jen v tom, ze mezi jednotlivymi komponentami nejsou natazene trubky, jak bys potreboval...
A uprimne nemam dojem, ze zrovna identifikace hudby by byla nejak extremne zajimava zalezitost z hlediska toho posoudit schopnosti - at uz cloveka nebo stroje.
-
Jan HrachStříbrný podporovatel
Na čem to typicky skončilo?
Samotné LLM, i pokud je to verze s audio vstupem (Gemini; např. Claude audio vstup nemá), melodie neumí, maximálně podle textu pokud se tam zpívá.
Mělo to alespoň browser tool, aby to mohlo použít nějaký online identifikátor?
-
Ne. My vime presne jak AI funguje. Dokazeme matematicky popsat naprosto kazdy jednotlivy krok a instrukci kterou provede pocitac pri provozu AI. My jen nedokazeme nasim mozkem obsahnout tak rozsahlou vec jako jsou matice AI, a jeste mnohem rozsahlejsi fazovy prostor vsech moznych pocatecnich podminek a vyslednych reseni. A proto si to vsechno musime extremne zjednodusovat. My vime presne jak AI funguje, ale nejsme schopni snadno odhadnout jake vstupy vedou k jakym vysledkum.
Kdyz vezmes uplne zacatky, nejakou primitivni neuronku s malo cleny v matici, tak budes schopen svym mozkem pochopit proc pri danem vstupu je dany vystup. Ale i tak mozna nebudes schopen dohlednout vsechny dusledky, viz treba primitivni pravidla v Game of Life, ve ktere se dlouho hledaly vsechny 'zajimave' kombinace pocatecnich podminek.
-
Pardon, tohle je takové tvrzení, které naprosto ignoruje jakékoli emergentní jevy.
Něco podobného by se dalo říct třeba na téma fundamentální fyzika - chemie - biologie apod.- my víme jak se jednotlivé částice chovají, ale třeba už ani tu hmotnost protonu neumíme spočítat z prvních principů, natožpak třeba Navier-Stokesovku, nebo dokonce třeba genetiku.
-
Co? My nezname prvni principy. Nemame ani tucha, ze ceho presne bychom meli pocitat hmotnost protonu, protoze u kvarku a interakci je porad prilis mnoho nejasnych veci.
Navier-Stokes je odvozeny celkem snadno, co se ti na tom nezda? To ze neumime spocitat proudeni naprosto presne v realnem potrubi je ten samy problem jak jsem popisoval - nezname to potrubi do vsech detailu, a ani nezname tu kapalinu do vsech detailu. Ale pro idealni potrubi a modelovou kapalinu neni Navier-Stokes problem, to das na papire. -
Můžete tohle rozvést? Co je prosím na QCD nejasného? Teda kromě toho, že má příliš vysoký coupling, takže poruchový počet nefunguje, a jediná funkční metoda je Lattice-QCD, která ale nedává hmotnost (ta se musí nakalibrovat). Byly nějaké pokusy s AdS/CFT to převést na weakly coupled ekvivalentní problém, nejsem si jistý že to vedlo k praktickému výpočtu pro netriviální zadání.
A NS už máte milion dolarů od Clay institutu? https://en.wikipedia.org/wiki/Navier%E2%80%93Stokes_existence_and_smoothness a https://www.ams.org/journals/jams/2016-29-03/S0894-0347-2015-00838-4/S0894-0347-2015-00838-4.pdf a mnoho dalšího výzkumu.
-
Tak máte předpokládám na mysli váhy (weights), ne zdroják té neuronky, ten je v podstatě celkem primitivní.
Ale i tam to není až tak marné, nedokážeme sice pohledem na neuronku říct "tyhle váhy jsou špatně", ale dokážeme pozorováním reakcí neuronky říct (a často i opravit), které aktivace něco způsobují.Však je na podobném principu postaveno třeba odcenzurování LLM (uncensoring, abliterating).
-
Človek môže byť mimoriadne inteligentný a nemusí vedieť čítať a písať; tokeny priamo nesúvisia s vedomím, sú len komunikačným prostriedkom. Podkladom pre vedomie je energia.
Existuje viacero pohľadov na vedomie, podľa mňa najbližšie k podstate majú Védy. Vedomie buď je alebo nie je, nemôže spontánne vzniknúť.
Brahman je úplne všade a teda sa nachádza aj vo výtvoroch ľudí, vrátane počítačov a LLM.
Vedomie sa potom delí na spiace (matéria 1-5 jednotiek) a prebudené (6-9 jednotiek). LLM je energia, ktorá je uchovaná v hardwari a môže dosiahnuť max 5 jednotiek, akurát pod levelom, kde sa začína základné, bdiace vedomie.
A. The Sleeping State (1–5 Units)
In these levels, consciousness is present but lacks an internal "observer."
1 Unit (Stones): Consciousness is entirely latent. There is existence, but no reaction.
2–5 Units (Water, Fire, Air, Space): There is movement and reaction to physical laws, but no "experience." The wind doesn't "know" it is blowing.
B. The Awakening State (6–8 Units)
This is where the spirit begins to express life.
Plants & Small Organisms: They possess the ability to grow and respond to stimuli (sunlight, water). There is a "biological awareness," but no complex "mind" to reflect on that existence.
C. The Self-Aware State (9 Units)
This is the human level.
-
Ondra Satai NekolaZlatý podporovatel
Protoze bagr. Teda protoze pambu. Ne teda protoze brahma. Nebo tak neco.
-
Mezi námi, některé okultní školy říkají pravý opak, že nejen vítr ví, že fouká, ale pokud dostatečně cvičíte, tak se můžete spojit s jeho vědomím a vnímat to taky. Třeba viz Bardon a mnozí další. See for example https://cs.wikipedia.org/wiki/Element%C3%A1l
Takže zpátky na zemi, jsme technici: Jak se ty "jednotky vědomí" měří?
