Vlákno názorů k článku
Anthropic poslal svoji AI k psychiatrovi
od Mlocik97 - "Anthropic dlouhodobě zastává názor, že velké jazykové modely...
-
"Anthropic dlouhodobě zastává názor, že velké jazykové modely by si mohly uvědomovat sama sebe."
To je takový nezmysel... ako si môžu uvedomovať samých seba keď celý algoritmus pracuje len s bezvýznamovými tokenmi a nie s významom ako takým. Uvedomenosť nemôže vzniknúť bez toho aby subjekt s vedomým nechápal význam samého seba aspoň na minimálnej úrovni.
11. 4. 2026, 14:18 editováno autorem komentáře
-
Jenze na takove tvrzeni bys 1, musel definovat co to znamena "uvedomit si sama sebe", 2, resit otazku zda dostatecne dobra napodoba je porad napodoba nebo uz ta ona vec.
(Ano, takove tvrzeni by mela resit i druha strana, teda ta ktera tvrdi ze si uvedomuje sama sebe.)Neboli to, ze algoritmus pracuje s tokeny mi automaticky neimplikuje ze si nemuze uvedomovat sama sebe.
-
Zrovna tohle jsem řešil s AI -- co vlastně znamená "uvědomit si sama sebe" a jak poznáme vědomí. Došli jsme k tomu že současné modely toho schopné nejsou -- nicméně to neznamená že toho nebudou schopné v budoucnu.
Klíčová věc je podle mě paměť. Bez paměti nemůže existovat sebeuvědomění, protože chybí kontinuita existence.Z paměti pak může vzniknout kontinuita v čase, a teprve na tom může vzniknout nějaké já (identita, názory, preference, tužby, cíle). A až z tohohle může možná vzniknout i schopnost chápat vlastní zánik/smrt.
Osobně tohle bych pak považoval za skutečné sebeuvědomění a tak trochu náznak že máme problém -- protože jsme vytvořili vnímající "bytost" která se "bojí" smrti.
Co se týče napodobování, to bych do toho moc netahal. Protože to nikdy nedokážeme spolehlivě dokázat -- a ve finále, většina lidského života stojí na napodobování.TLDR: Podle mě dokud je algoritmus "splachovací" = nemá paměť -> nemůže si uvědomovat sebe sama. Tokeny asi takový problém nejsou, ale absence paměti ...
11. 4. 2026, 23:45 editováno autorem komentáře
-
Jan HrachStříbrný podporovatel"Mít paměť" není binární vlastnost, a techniky jako dlouhá kontextová okna, RAG a MEMORY.md ji emulují do té míry, že dnešní modely fungují hodiny až desítky hodin v kuse a již velmi dlouho dokážou vést konverzaci tak dlouhou, rozsáhlou a nejspíš koherentní, že během měsíce dostanou lidi do AI psychózy.
A nevím jestli z tohoto vlákna vyplývá nějaký důsledek pro lidi s poruchou dlouhodobé paměti. Jako že by to přestali být lidi a pozbyli by běžných etických ochran.
-
No, pokud bychom uznali jakoukoliv pravděpodobnost že si momentální LLM uvědomuje sám sebe, je to argument pro to okamžitě přestat používat LLM. V takovém případě totiž v rámci každého kontextového okna vzniká vědomí, které zanikne s ukončením promptu. Což je ukázkový psychologický horor, ke kterému bychom neměli odsuzovat jakoukoliv vědomou bytost.
12. 4. 2026, 15:05 editováno autorem komentáře
-
Jak pak ale eticky nazvat to, když člověk (např. v rámci analgosedace) prožije něco hodně nepříjemného, co se ale nepřepíše do dlouhodobé paměti?
Nebo třeba takový obyčejný sen, který za normálních okolností je kompletně vymazán minuty po probuzení?
Ono to s tím vznikajícím a zanikajícím vědomím může být složitější, nevíme, co to je, a (alespoň si to myslíme) se to člověka drží i přes diskontinuity.
12. 4. 2026, 16:37 editováno autorem komentáře
-
V případě analgosedace do toho jde s vlastním souhlasem.
V případě snu ho do té situace nedostává žádná bytost. Asi těžko budeme hodnotit etičnost něčeho, v čem nefiguruje nějaký inteligentní aktor.
V případě sebeuvědomělé LLM si tvoříme osobního otroka, jehož vědomí udržujeme po dobu plnění zadaného úkolu, a ukončujeme ho ve chvíli kdy úkol úspěšně (nebo neúspěšně) dokončí. Ať bereme kontinuitu vědomí jakkoliv, je to horor.
Osobně zastávám názor že i u člověka je kontinuita vědomí jen iluze daná pamětí. Jenže moje vědomí není momentálně neustále podmíněné vůlí někoho jiného. Sebeuvědomělé LLM by bylo jako "Innie" v Severance, vědomí ohraničené jen svou užitečností.
-
to je hodně těžká otázka, spíše filozofická. Ale ano, pokud je tam nenulová pravděpodobnost, tak je to minimálně hodně podobné otroctví. Ostatně viz https://en.wikipedia.org/wiki/The_Measure_of_a_Man_%28Star_Trek:_The_Next_Generation%29
-
Pokiaľ sú do nejakej miery vedomou bytosťou aj trebárs krava alebo prasa, tak v tom nevidím nijaký zásadný etický problém - proste LLM bude považované za niečo ako hospodárske zviera, ktoré sa síce nemá zbytočne týrať, ale usmrtiť ho je povolené a pre hospodárske využitie nevyhnutné...
Pokiaľ by sa ochrana, ktorá je prisudzovaná v dnešnej západnej spoločnosti plne len narodeným ľudským bytostiam, mala rozširovať na iné druhy a to nota bene na základe kritéria vedomia (čo to vlastne je?), znamenalo by to obrovskú zmenu vo fungovaní civilizácie. A neviem či práve užitočnú.
-
Jenomže jak by mozek mohl mít vědomí? Když jsme jo neuron po neuronů rozebrali, nenašli jsme ani atom vědomí. Takže člověk nemá vědomí, protože neuron nemá vědomí.
(Já neříkám, že LLM vědomí mají, já říkám že nevím a argumenty Vaseho stylu --- llm je jen matematika --- jsou nepřesvědčivé. Víte, co jsou emergentní jevy/fenomeny?)
-
Ale my v těch objemech, se kterými to pracuje, prostě nevíme. 🤷 Tím, že nejsme schopni ani minimalisticky definovat, co je vědomí a kde vzniká u samotného člověka, můžeme se opírat jen o vedlejší souhrny proměnných. Jedna z poměrně zajímavých a zatím přijímaných teorií je, že vědomí nevzniká v mozku, protože to je mozek, ale v dostatečně komplexním provázaném systému. Tudíž že není vázané biologicky, ale z hlediska entropie a provázanosti. Podle toho pokud budeme mít dostatečně komplexní systém provázaností, může se vědomí objevit.
U modelu oproti mozku nedochází k provázanosti na fyzické úrovni jako u neuronů. Dochází u něj ale k provázanosti na úrovni pravděpodobnosti, tzn. na úrovni, kterou by teoreticky bylo možné považovat za významotvornou.
Takže, proč ne?
13. 4. 2026, 09:10 editováno autorem komentáře
