Názory k článku
OpenClaw začal mazat inbox ředitelce pro bezpečnost AI v Metě

Ako čo tí ľudia čakali že sa stane? A nechápem že riaditeľa pre bezpečnosť "AI" vo firme ako Meta netuší ako funguje "AI" a úplne najzákladnejšie princípy, a že "plne autonómne" fungovanie akejkoľvek dnešnej "AI" je totálny nezmysel.

Predsa ako riaditelka musi stat za tym co robi, verit tomu a obhajovat to :)

Tak reditelka ocividne chape jak funguje, protoze hned napsala cim to bylo zpusobene, akorat nedomyslela co se stane pri prechodu z testovaciho inboxu na velky. Normalni lidska chyba.

A ocividne to neni totalni nesmysl, kdyz pise ze ji to dobre fungovalo na testovacim inboxu.

To ze to je nesmysl z bezpecnostniho hlediska je druha vec. Ale pamatuju jak se kdysi rikalo ze davat vsechny soukrome emaily googlu (GMail) je totalni bezpecnostni nesmysl, a dneska tam maji emaily i lide co by se v tom meli vyznat a umet posoudit rizika.

Chce to vice kritickeho mysleni a mene automatickeho nadavani.

Já bych oponoval - nechápala to - pochopila to až když se něco nepříjemného stalo. Toto jsou přesně lidi, co budou někomu říkat jak je něco super bezpečné, a pak to vyjde z labu do reálného provozu a udělá to přesně takový kopanec.

Co presne chapala se asi od stolu nedovime, ale vzdelani, zkusenosti i to jak popsala incident me spis naznacuji ze tomu rozumi nez opak.
Ja bych si teda, narozdil od tebe, nedovolil o nekom tvrdit ze "Toto jsou přesně lidi...", kdyz je vubec neznam.

Kdyby tomu co dela rozumela, tak by tomu nikdy nedala pristup k ostrym datum. To je totiz jen potvrzeni toho, ze vubec netusi co dela, coz ostatne plati pro vsechny managory.

Dost pochybuju i o tom, ze popis toho co se stalo pochazi od ni.

Musí to sama používat. Tedy měla by. Pracuje v týmu, který se snaží dostat AI k maximu lidí. Měla by to tedy používat i ona. Prostě ukázat, že tomu sama věří natolik, že to používá. Opak by byl pokrytectví.

Zhruba jako dávná scénka z hospody s Felixem Holzmanem, "kuchař tu teď není, šel naproti do hospody na oběd."

Možná by jí při téhle příležitosti mohlo dojít, že idea dostat to mezi maximum lidí má drobné mouchy.

Drobné mouchy pro Metu nebo pro ty lidi? ;)

Myslím, že to byla narážka na film Moucha (The Fly, 1986, David Cronenberg).

Takže nám tady vzniká, jak v takových situacích bývá obvyklé, díra na trhu.
Teď je šance prodávat AI guardy, kteří budou chránit před horlivými AI asistenty.
Samozřejmě ti guardi budou potřebovat "minimálně" rootovský přístup, aby měli navrch.

Konečně začíná být na tom zatuchlém kyberbezpečnostním rybníčku zasejc veselo.
Už jsme se nudili.

A dobře ji tak.

- pracuje pro jednoho z pachatelů tohohle bordelu
- pokud by na svém místě měla co dělat, tohle měla vědět předem

Btw pravidelně se mi na počítači spouští https://www.offlineimap.org/

Ale je dost pravděpodobné, že pro pracovní maily to narazí, ale alespoň u soukromého je to dobré pro klidný spánek.

Základ bezpečnosti, dávno před AI, je nevěřit článkům o katastrofách světa, zejména jak ještěři a SW přebírají vládu.

A jak by to tady ředitelce pomohlo?

Jak je pravděpodobné, že je to pravda ve smyslu "nebezpečí" a replikace té situace. To je jako příběh, jak někdo jel a 100km mu praskla pneumatika. To samo o sobě nic neříká, jde o okolnosti. Už XX let platí situace, že významné % ztráty dat, třeba archivu fotek, mailů je při činnosti typu "promazání" a "konsolidace" archivu. To je příhoda úplně k ničemu. Já jsem takto jako ona přišel o data (jestli o ně přišla) 2x, naštěstí omezeně, poprvé někdy 1999 a podruhé 2005, pustil jsem skript, který mi rozházel foldery podle nějaké logiky a nakonec jsem měl archivované náhledy 600*480 a originály fotek jsem si smazal. Pustit jakoukoli rutinu "vyzkouším co to udělá" na 120G dat v mailové schránce je smrtící v roce 2000 i 2026. Jestli to někdo vyhodnocuje jako riziko, tak je riziková spíš ta naivita.

WTF?

Základní pravidlo třeba knihovníků a archivářů už nejméně tak sto let: nikdy, nikdy, pokud možno fakt nikdy nepřevádějte katalogové záznamy z jednoho formátu do druhého. Proto se dnes taky stále běžně používá k popisu knihovních záznamů MARC 21 což je formát vyvinutý někdy v polovině šedesátých let založený na Z39.2; v dnešní době opravdu těžký anachronismus.

"AI začala mazat" je asi něco jako "Disk Cleaner který naprogramoval Láďa" smazal 500 důležitých souborů, pracovnice pustila program a když se vrátila z oběda tak XY.... toto jsou clickbaity. V https://openclaw.ai/ něco naprogramovali a posrali to. Tak jako se to mohlo stát u CCcleaneru v roce 1999, zálohovacího SW v roce 2010. Další clickbait je podprahová informace "ani šéfové security labů AI nezvládají". Na těchto pozicích mohou být lidé jako Schillerová, Kalousek, protože mají některé předpoklady tuto funkci vykonávat a matematiku měli naposledy na střední. Za mě je největší alert, z jakého důvodu toto víme. "Screenshoty z jejího chatu" ... ona pracuje na vysoké pozici ve firmě, kde je základ reputace a důvěryhodnost při práci s daty a pak pustí i s dokumentací takovýto incident? Má IQ 89 nebo se to nikdy nestalo?

Bez ohledu na to, že ten agent je zjevně na tyhle úkoly né zcela vhodný, viděl bych počátek celého problému někde tady: svůj skutečný, výrazně větší inbox.
Mít mnohamegabyteový binec v Inboxu je IMHO špatně už od začátku. Tam bych se bál pustit i obyčejné složitější filtrovací pravidlo.

Vazne mluvis o prefixu mega? Managori tam maji minimalne desitky GB a porad si chodej stezovat, ze jim je to malo. Silazujou kazdou chujovinu a nejradsi by mailem posilaly aspon 100GB prilohy.

Ale jo, mluvím o mega. My máme limit 2 GB, a pokud se dostanu byť do čtvrtiny té kapacity, začne se to chovat všelijak.
Máte pravdu, že jsou borci, kteří mají větší mailboxy, ale pokud na tuhle kapacitu dovedou Inbox, tak je skoro jedno, že se jim občas něco ztratí, protože ty zprávy stejně nenajdou.
(I můj prepubertální synek seznal, že složka Doručená pošta by měla být pokud možno vyřízená do prázdna. Můj šéf naopak udržuje v Inboxu většinu zpráv, dokud se neujistí, že je opravdu může přehodit do složky Archiv - a nalezení nějakého staršího e-mailu mu spolehlivě zablokuje Outlook.)

Tak neni jedno jestli ten email trci v Inboxu nebo v Archivu? Jedna slozka jako druha. Proste to je jen jiny styl prace nez tvuj.

To ze outlookari nejsou schopni najit starsi emaily je neskutecne vtipne. Vidim to nekolikrat mesicne u kolegu a furt nechapu ze to pouzivaji. Full regexp search je neco o cem se jim ani nezda :)

Ono to opravdu je reálně jedno, pokud tam jsou jen dvě složky: Inbox a Archiv. Problém je, že načítání hlaviček těch tisíců zpráv, neřku-li fulltextové prohledání jejich obsahu, je poněkud dost náročné na systémové prostředky. (A ve chvíli, kdy jsou ty složky kdesi v cloudu, ale prohledávají se lokálně, je to ještě lepší!)
Mnohem lepší je použít nějakou přibližnou adresářovou strukturu, a prohledávat v ideálním případě maximálně pár stovek e-mailů.
A - mimo jiné - je důležité nedůležité co nejdříve vyhodit a vysypat koš. ;o)

Fulltext search se prakticky vždy realizuje pomocí fulltext indexů. Bohužel pro regex search indexy nefungují. Resp. v některých případech lze trochu optimalizovat, ale pravidelně je výkon o dost horší, než v případě plného použití fulltext indexu. A když máte mailbox o velikosti řekněme 20-200GB, tak byste si na ten regex chvilku počkal.

Svepravnych lidi je omezene, blbcu je zcela neomezene ... jen kdyz namatkou kouknu tak 20G je tak stredni managorska velikost.

Jasne ze kdybych jim z toho 19G smaznul, tak si nejspis vubec nevsimnou. Sak MS to tak dela, ze lidem maze maily ... Ty desiky GB zcela nepostradatelnych dat jsou totiz instantne zcela postradatelny, kdyz ten clovek skonci.

BTW: Muj pracovni mailbox ma aktuelne 100M.

Oni to manageři vědí, že mailbox je v podstatě audit trail externí komunikace. Komukoliv můžete můžete například snadno prokázat, že něco obdržel. Jakmile mailbox promažete, o tohle přijdete. Vás to asi trápit nemusí, ale managery ano. A když dotyčný skončí? Typicky se mailbox zaarchivuje, a má do něj přístup nadřízený toho odešlého člověka.

Mimochodem, řada společností z oblasti financí, farmacie, zdravotnictví nebo energetiky musí mít records management, a jako jeho součást email archive. Kdykoliv jim může od regulátora nebo soudu přijít požadavek na vydání například veškeré komunikace s daným klientem mezi daty X a Y. Managerův velký mailbox samozřejmě tuhle roli nenaplňuje, ale v podstatě jde o podobný princip. Je to vlastně takový poor man's records management.

Banální softwarová chyba, lidé už si smazali tolik dat. Ale chápu, za fohle může zlá AI.

Hlavně demonstrace toho, že agenty nemůžeš používat ve většině případů, které ti A'I' společnosti budou tlačit.

Za tohle konkrétně ale zcela objektivně a věcně skutečně může zlá AI. Tedy natolik, nakolik může nástroj za výsledek práce. Problém ovšem je, že nástroj poměrně špatně předvídatelný a komplexní. Vy hujeři jste ale fakt neskuteční. Byli byste schopní popřít i vlastní babičku :-D

Ten nastroj ale delal presne to, co delat mel.

Ciste statisticky muzu klidne prohlasit, ze vsechny maily starsi 24 hodin jsou knicemu. Jiste ze to neni 100% pravda, ale 99,9999% A tudiz statisticky model zcela spravne vyhodnotil, ze je proste smazne.

Protoze ja nejsem statistickej model ... tak mam treba nastaveno, ze kdyz uzivatel mail smazne, tak mu zustane jeste 14 dnu v kosi ... a dalsich 14 dnu mu sice z kose zmizi, ale porad jeste existuje a dalsi 3 mesice je v archivu.

Jup a uzivatel (tedy ani pseudoAI) stim nemuze nic udelat, takze by stacilo ty maly v tom kosi oznacit a vratit zpet. Pravda je, ze ani tohle 90% uzivatelu (a 100% managoru) nezvladne.

Taková blbka zaslouží jedině vyhodit :-)

Heled je to zkusena managerka, z velkeho korporatu kde ti ani nepozdravi kdyz jim to neschvali PR oddeleni tak proc ze sebe delala blbku. Vzdyt musela vedet jak to bude vypadat.
Tady nekdo vrti psem.

tzv. kompresi kontextu a během této komprese agent ztratil původní instrukci
Takže agent věděl, že má něco dělat, ale už nevěděl co, super. Čekal bych, že při kompresi kontextu agent zredukuje jenom ty pracovní data a na původní zadání uživatele hrabat nebude, nebo až po odsouhlasení.

Hlavne by tam asi melo byt varovani ze dojde ke kompresi a vysledky muzou byt nepredvidatelne.

Tak jiste, ze jde pravdepodobne o softwarovou chybu toho agenta, nez chybu AI samotne. Ale to nezni tak dobre a nenapsalo by se o tom tolik komentaru.

Tak nejsem z oboru, přesto o omezeném kontext window vím moc dobře, a i tak si maně vzpomínám, že zcela obecném problému všech LLM modelů ohledně "přizapomínání" u příliš dlouhého kontextu se psalo někdy na podzim.

Tohle není SW chyba, tohle je fundamentální problém.

kuk třeba https://arxiv.org/abs/2509.21361

To že z kontextového okna vypadlo zadání je spíš chyba než fundamentální problém. Tahle část kontextu by měla být nedotknutelná a pokud si jí chce AI přechroupat, tak jedině na základě souhlasu uživatele a kontrole, že to zadání pořád odpovídá. Zejména v případě agentů, kteří něco aktivně dělají.

No fundamentální chyba je AFAIK v tom, že tyhle typy AIček nerozlišují mezi zadáním a daty.
A pak z toho lezou zranitelnosti typu, že si nechám sesumarizovat nějakou stránku a AIčko tam najde injectnutý příkaz, který ochotně vykoná.

Nedotknutelný je akorát nějaký separátní texťák s pár ultimátními příkazy.

Nejmenuje se ta reditelka bezpecnosti nahodou Jen Barber? Ta o emailech vi vsechno - cteni, posilani, mazani.

jojo, kde jsou ty časy, kdy pořádný poctivý Icewarp klient SW zdvoj-trojnásobil inbox že vše zduplikoval... a za půl roku znovu..

to byly dobré zlaté časy, kdy to ta zlá AI nedělala...

:-)

Ale urcite uz tehda jsme mohli cist hromady odsuzujicich komentaru o onech programatorech, od pisalku komentaru kteri vi vsechno nejlip a jak to ma byt spravne.
Komentare jako tady v diskuzi, napriklad: "netuší ako funguje", "Toto jsou přesně lidi, co budou někomu říkat", "A dobře ji tak.", "blbka zaslouží jedině vyhodit".

A dělala snad?

Když si tak uvědomím, kolikrát AI v konverzaci zapomněla, že to, co mi předkládá, jsem odmítl už o několik reakcí předtím. Nebo kolikrát zapomněla, jestli mi má tykat nebo vykat. Nebo se bavíme česky a pak najednou přejde do angličtiny.

Tak mě to, že zapomněla, co bylo původním úkolem, vůbec nepřekvapuje.

Protoze ... to neni AI.

Porad se bavime o statistickym modelu. A ten model si nepamatuje o cem se stebou bavil. On ti je mozna schopen zobrazit nejakou historii, ale neni to kontext jeho vyhodnocovani, ten vypada uplne jinak.

Ted me napada, krasnej priklad ... na yt hromada lidi dava minusy AIckovym vytvorum ... a presto je to AIcko porad vsem cpe. Zato kanaly ktery mam v odberech mi to klidne nenabizi vubec, takze je musim prochazet rucne.