Názory k článku
Anubis: obrana proti AI

Ohejbák na rovnák. Tohle je prostě potřeba řešit na nějaké etické globální úrovni. Zaprvé není možné vykrást jedinečný obsah webu a neuvést ani zdroj, zadruhé není možné provozem AI crawlerů přetěžovat weby, které nejsou dělaný na 10 requestů za sekundu, ale za den. Je tu něco moc špatně, což se dá u překotně se rozvíjejícího hype očekávat, proto je potřeba tomu dát nějaký rámec. Ale ne zas ve stylu EU - zakázat, nahlásit, uvěznit.

OK, takze to chces resit jinak nez technicky a nez pravne. Co navrhujes?

Bylo by fajn, kdyby ta pravidla vznikla jako globální na bázi nějaké Foundation, a do legislativ zemí a unií byla přebrána beze změn. Protože jinak bude následovat klasické znásilnění euroúředníkem, které dorazí náš parlament svou iniciativní blbostí.

Fakt si dovedes predstavit, ze spolu se soucasnymi USA nebo Cinou vznikne nejaka pricetna globalni regulace?

Jinak "prebirana beze zmen" je hovadina, kazdy pravni system je totalne jiny, nejaka mira adaptace je nutna.

Adaptace problem neni, problem je kreativita legislativcu... kteri proste maji v ramci tech transpozic nutkavou potrebu tam prilepit taky neco navic.

Myslím si, že ochrana provozu primárních zdrojů bude něco, co bude potřeba řešit i v té Číně, současné USA, budoucí USA, kdekoli. Jde o to, aby se definice a prostředky podařilo vytvořit jednotné, už proto, že internet je globální záležitost a přijde mi uhozené stran něj řešit stejné věci v jiných jurisdikcích jinak. To vytváří pošahané cookies lišty, implementační vopruz kolem nich, když má web globální přesah atd.

Jestli pak někde bude trestem pokuta, Sibiř nebo bičování, to už je pochopitelně záležitost lokálních obyčejů...

"Bylo by fajn, kdyby ta pravidla vznikla jako globální na bázi nějaké Foundation, a do legislativ zemí a unií byla přebrána beze změn."
Totok je možne. Ale iba v Star Treku.

Autoritu, foundation, co píše RFC a standardizuje, to si myslím, že už známe. Ano, adaptace standardů do legislativy je zatím fikce, ale nějak se začít musí.

A keď ti niekto na etiku zvysoka ... kašle?

No ne, třebas taková Meta nebo OpenAI určitě drží ty nejvyšší standardy a nikdy by...

🤣

Koľko toliarov stojí tá €tika?

Zadny. V jachymove uz se nevyrabi a neni to platna mena nejakych 500 let.

Dnes to blokují a za pár let budou stránky bojovat o to, aby se obsah z jejich stránek preferoval před ostatními ... stejně se dnes bojuje o příčky v klasických vyhledávačích.

Nicméně faktem je, že boti procházející weby ( a nejenom AI ) jsou dnes občas opravdu hodně agresivní a bylo by fajn, když by trošku přibrzdili. Způsobuje to reálně problémy s dostupností. Když by ty servery tak nepřetěžovali, tak pro naprostou většinu nebude důvod ty blokace řešit.

Indexovací boti se s agresivitou AI botů absolutně nedávají srovnat.

Asi bude dost záležet na tom, co daná stránka nabízí. Pokud to bude samotný obsah stránky, tak nevidím nic, co by tyto stránky motivovalo, aby byly zindexované AI. Pokud AI vyhledávače budou uživatelům odpovědi přímo nabízet, návštěvnost, kterou na ty stránky přivedou, bude úplně minimální, taktéž bude minimální ekonomický a reputační přínos pro jejich autory.

Něco jiného jsou stránky, které jen propagují nějaký jiný produkt. Pokud nějaká firma prodává třeba sekačky, tak potřebují, aby se informace o jejich sekačkách dostaly k lidem. A je jim celkem jedno, jestli to bude skrze jejich stránky nebo nějakou AI službu, která se na těch stránkách naučí. Tam si myslím, že ta motivace bude a bude na to vznikat na AI ušité SEO.

Na AI usite SEO vam ale problem s agresivitou AI crawleru nevyresi. Problem je tady "styl" jejich fungovani, ktere vam prakticky umlati server pozadavkama v ramci trenovani svych modelu stylem, kdy vam na ten webserver nastoupi vic botu, nez kolik lidi si tu sekacku kdy vubec koupi.

Jaká je reálně míra návštěvnosti z GPT oproti situaci kdy to přežvýká obsah, vyplivne uživateli a na web nikdy neodkáže? Já zatím nevidím moc důvod podbízet se tomu.

Jediný důvod je, pokud jsi trollfarma a chceš pak nechat LLM vyblít svou propagandu. Na vlastní návštěvě ti nesejde.

Takže budeme zabraňovat AI čerpat z online zdrojů a raději ať generuje neozdrojované nesmysly. Gratuluji k naprosto zcestné logice.

Asi jsi nepochopil problem, tak to zkusime polopate: problem je, ze kdyz fy A trenuje svoji AI na datech fy B, tak zpomaluje servery firmy B a firma B musi platit za vetsi provoz/lepsi servery. Tedy firma B doslova financne prispiva na vyvoj firme A aniz by z toho fy B cokoliv mela. A naopak zvyseny provoz skodi fy B, protoze muze zpusobit nedostupnost servery fy B pro zakazniky fy B.
Znas tu o tom ze zadarmo ani kure nehrabe?
A pak jeste pro jistotu tu o tom ze zamestnanci fy B taky chteji svym detem koupit darky na vanoce, a tak fy B musi byt ziskova...

11. 7. 2025, 16:17 editováno autorem komentáře

Je to klasická externalizace nákladů. Příjmy jdou jednomu subjektu, ale náklady zatěžují subjekty okolo. Asi jako když fabrika znečišťuje vzduch a lidi v okolí to musí dýchat. Nejenže to není fér vůči těm lidem, ale navíc dochází k neefektivní alokaci zdrojů, protože do produktu se plně nepromítají náklady, které způsobuje. S AI boty a zatěžováním infrastruktury ostatních to je stejné.

Jinak nejde jen o firmy. Toto je reálný problém i pro ty open-source projekty, které mají často peníze jen ve formě darů od uživatelů, a každý dolar je pro ně důležitý. Těm to prodražuje hosting klidně o tisíce dolarů ročně, aby si na jejich obsahu udělala produkt multimiliardová korporace, která jim ho následně za těžké peníze prodá.

Navíc, pokud se budeme držet příkladu té fabriky, zmíněná znečišťuje vzduch výrobou čističek znečištěného vzduchu :-D

Co je "fy" ve spojení "fy A trénuje"?

firma. Jo, asi jsem si mohl dat vic pozor a rozlisovat fy, fa, ale je jen nejake omezene mnozstvi casu ktere hodlam venovat temto diskuzim.

Toto ale ještě není vyřešené.

Dokud to bylo indexování a Google nabídl kliknout na ten web, tak to bylo celkem ok, k čemu mi ale jako autorovi je to, že někdo použije obsah na mojem webu, aby uspokojil dotaz nějakého uživatele, a já z toho vůbec nic nemám?

Toto prostě je další vysávání komunitního obsahu k tvorbě zisku těcho "AI" firem, které žádný obsah netvoří. Nevšiml jsem si, že by tito AI vysávači nějak platili za to, že to dělají, a přitom obsah většinou má nějakou licenci.

11. 7. 2025, 17:52 editováno autorem komentáře

K té gratluji vám. Sice nechápu, co vám ani na tomhle nedochází, ale ten obsah fakt není váš.

Proč boti vlastně nepoužívají JS? Já bych čekal, že přesně kvůli takovým věcem se budou snažit maskovat jako běžní uživatelé

Tak ono to stojí peníze, takže ten bot by musel mít nějaký omezený čas interpretace toho JS, aby to neskončilo tak, že se zadrhne na nějakém crypto-miningu a nebo že někdo zneužije nějakou chybu v V8 a pustí si vlastní kód na serveru :)

To by byl docela kauf natrefit na malware/bota, co by používal JS, to bych záměrně generoval honeypoty jako divý :-D

Používají. Ta věta v článku je nesmysl, který platitl před 10+ lety. Tím něříkám, že bot bez js neexistuje, ale je naprostý nesmysl na tohle spoléhat. Spíš naopak - víc a víc se používají upravené headless browsery, které tu detekci obejdou, apod. Což je prostě nutnost, jinak se k těm datůn nedostaneš (nebo budeš dělat scraper na konkrétní api, apod. což je v jejich měřítku nemožné.)

Roboti nepouzivaji JS? Vzhledem k tomu, ze uz jsem "parkrat" nejaky ten webscraping delal, tek jestli je to pravda, tak by roboti dost stranek nevideli. Spoustu stranek neco dotahuje pomoci JS, takze obycejnym scraperem z nich dostanete treba jen pulku nebo taky nic. Znamenalo by to, ze tvurci scraperu jsou hloupi a ze ochrana by byla primitvni. Trochu se mi to nepozdava.

Ti indexovací to umí, ale je tam jen nějaký omezený čas a funkcionalita.

Je ale žádnou sofistikovanou funkcionalitu tam nepotřebujete a pokud ano, zase to obvykle není moc zajímavé obsahově. Každopádně bez indexování obsahu generovaném JS by toho dnes ani Google moc nenašel...

A to se článek vůbec nezmiňuje o trendu mít AI vyhledávač integrovaný rovnou do prohlížeče, nebo celý prohlížeč postavený na AI modelu. Když jsem včera viděl propagaci jednoho takového prohlížeče, hned mě napadlo, jak se proti tomu na straně serveru bránit. Jedna věc je bránit se například openai a druhá bránit se agresi každého uživatele, který pomocí takového prohlížeče navštíví mou stránku.

Nenarazil jsem na problem, hold Endora = kvalitni hosting.

Buď se nauč česky https://proofreading.cz/cestina-pod-lupou/holt-nebo-hold/ a nebo tu nespamuj s reklamou.

Tohle je součást trochu širšího problému...
Pokud AI zatěžuje především velké a seriosní zdroje, je zřejmé, že ty se tomu budou bránit. Řekněme, že se budou bránit úspěšné...
...a pak AI začne šířit informace z těch neseriosních, ba přímo pochybných webů!

Měl jsem při rozhovoru s těmahle AI často pocit, že daný AI robot zatím žádný seriózní zdroj dosud neobjevil :-) :-) ...

Odjakživa toužil stát se webmastrem. Udelal si webstranku ale chodili mu tam lidi.

Hodně chytrá poznámka. Koukal jste na ta čísla a náklady na provoz?

Viděl jste ten provoz když to přijde na něco s dynamickou URL (nic speciálního - dokuwiki, gitweb…) a začne to tahat všechno? To nejsou lidi.

Neviděl, mohu vidět ta data?

Tak třeba tady: https://www.hostingadvice.com/blog/ai-bots-drain-bandwidth-leaving-hosting-providers-to-pick-up-the-bill/ Jsou dokumentované případy kdy boti vyžrali na trafficu malého soukromého webu 5 tisíc dolarů za den! U velkých webů to může dělat až 50 % trafficu https://www.gadgetreview.com/ai-bots-strain-wikimedia-commons-as-bandwidth-surges-50 Já v práci provozuji mj. frontend pro git a ten se stal díky AI botům totálně nepoužitelný a museli jsme ho vypnout.

https://www.root.cz/zpravicky/free-software-foundation-je-pod-dlouhodobym-ddos-utokem/nazory/#o1211421

Myslím, že část problému je ta, že ty co mu tam choděj nejsou lidi ale roboti :-)

Lidi jsou OK, problém jsou stroje.

O co jde z pohledu uzivatele?

Ze si webscrapper stahuje cely web, aby na nem LLM trenoval? To asi muze delat i pomalu, aby ho nezatezoval, ne?

Nebo ze se uzivatel zepta LLM na nejakou vec, a to stahne cely web, aby melo informace k odpovedi? To docela pouzivam, a kdyz se tomu bude nejaky web branit, bude vlastne sam proti sobe...

Jako webmaster jsem se s tim nesetkal, zadny muj web asi neni dost velky nebo zajimavy. Ale jako uzivatel AI vyhledavani pouzivam. Treba stejne casto jako Google, mozna casteji; na nektere problemy je daleko lepsi. Nedavno zrovna treba na to, jak napsat prikaz pro ffmpeg, a ano, vyuzival k tomu webove zdroje.

Nebo ze se uzivatel zepta LLM na nejakou vec, a to stahne cely web, aby melo informace k odpovedi?

Opravdu to prochází daný web až po položení dotazu? To by bylo dost pomalé a neefektivní. AI vyhledávače projíždějí vlastní databázi, kterou už mají vytvořenou tím indexováním.

a kdyz se tomu bude nejaky web branit, bude vlastne sam proti sobe

A jak přesně je proti sobě? Že se Google na jeho obsahu nenaučí a nenabídne uživateli sám odpověď, přičemž ten web zůstane v nejlepším případě ponořený hluboko v seznamu zdrojů? Já mám celkem dost čtený blog. Na 500 návštěvníků z Googlu tam dojde jeden z AI vyhledávače Perplexity. Zatím AI boty nijak neblokuju, protože mě to výrazně nezatěžuje server, ale kdybych je blokoval, o nic nepřijdu. Tvůrci obsahu jsou zpravidla motivovaní tím, že je lidi čtou. Může to být kvůli zisku z reklamy, může to být kvůli reputaci/sociálnímu kapitálu. Když jim AI vyhledávače žádné čtenáře nepřinesou, tak jejich blokováním nemůžou ani o nic přijít.

Hlavní problém udržitelnosti AI je, že závisí na původním obsahu. Zároveň ale ve velkém likviduje motivaci ho tvořit. Přijde mi, že tohle si neuvědomují hlavně ti, kteří žádný původní obsah netvoří a jen konzumují. Myslí si, že ho ti ostatní pro jejich modré oči budou dál dělat a oni to jen budou konzumovat pohodlnější formou skrz AI.

Nové modely AI umí pracovat s databázemi přístupnými přes webové rozhraní. V tomto případě musí AI agent komunikovat s databází přímo. Pochybuji, že tento scénář vede ke stížnostem nebo blokování, protože ty databáze většinou spravují velké instituce, které mají prostředky na zajištění chodu.

Dd, mohl byste prosím nastínit souvislost se scrapovanim?

Úplně to z toho není poznat, díky

Consume!
Obey!

https://www.jwz.org/blog/2024/05/they-8bit/

Teda já nejsem webmaster a už jsem se s tím setkal opakovaně. Zákazník reklamoval řešení, protože narážel na hlášku o nedostupnosti, a když jsem se po tom pídil, tak tam solil jeden nejmenovaný AI bot requesty v tempu, na které to prostě nebylo škálované.

A co se stane, když na takovou stránku vlezu třeba s prohlížečem links, či elinks?

No, asi máte smůlu, neprojdete přes tu landing page s tím JS challengem.

Je to trade-off za schopnost některých oss projektů udržet svůj Git / weby na živu :)

https://www.osnews.com/story/142765/anubis-tool-to-stop-ai-crawler-abuse-gains-non-javascript-option/