Vlákno názorů k článku
AI zatěžuje kernel.org od Jan Hrach - Jak to fungovalo s běžnými roboty např. od...

Jak to fungovalo s běžnými roboty např. od vyhledávačů? Ty poznají, že stahují nějak moc stránek podobného typu (opakované procházení všech commitů ze všech větví), a zastaví se?

Roboty vyhledávačů měli kulturu - první scan bez znatelného zatížení webu, následné skeny podle rozumu - zjištění, co se mění často bylo skenováno častěji, než statické části. Prostě na pohodu.

AI je pravý opak - agresivní get and dump, protože cache je sprosté slovo a pásmo/výkon je bezcenná komodita kterou lze mrhat.

> první scan bez znatelného zatížení webu

Právě ten první scan mě zajímá. gitweb/cgit a docela i dokuwiki položí rekurzivní stažení i poprvé. (protože mají bohužel strukturu URL takovou, že se dá zajít strašně hluboko - u gitu je to "každý patch každého commitu v každé větvi", u dokuwiki nějaké šílené "z každé stránky lze projít všechna média")

A přijde mi, že do minulého roku s tímto problém nebyl ani na webech, kde to nebylo v robots.txt zakázané.

Jako kdyby crawlery poznaly, že to nedává smysl, a skončily. Nebo - co bych čekal - pro populární software budou mít speciální pravidla.

Vyhladavace su hlavne dost opatrne - nikdy mi nesposobili pozorovatelne spomalenie ani na malej VPS s 512 MB RAM, 0.5 CPU, neefektivnym WordPressom a par dalsimi sluzbami. Neprechadzaju vsetky stranky a ked web spomali, tak spomalia aj ony. Medzi requestami maju sleep na 10 sekund alebo tak nieco.

Autori vacsich LLM si na toto nedavaju pozor, robia aj 1 request in flight, co znamena u mna aj 100 RPS. To uz je citit, hlavne ked sa ich stretne viac.

A v poslednej dobe sa rozmahaju nahodne crawlery s beznym user-agentom, ktore to pustia aj v 20 threadoch a stahuju co to da a to server nedava. Blokujem ich podla apache logov z fail2ban a nasledne iptables DROP + explicitne dropnem spojenie. Nic lepsie a dost spolahlive aby to nezabilo beznych navstevnikov ma zatial nenapadlo; toto znamena vypadok cca 5 sekund.

Úplně jednoduše – roboti vyhledávačů respektují robots.txt.

"Úplně jednoduše – roboti vyhledávačů respektují robots.txt."

Takhle polozene to redukuje celou historii, kterou se k robots.txt vubec doslo. Nic z toho, co se deje ted, neni opravdu nove :) Jen jsou v tom lidi, kterym neni tolik, aby meli vsechny tyhle "stare" zkusenosti tak samozrejme zaryte v pameti.

Já bych řekl, že jsou to lidi kterým je to úplně jedno. Veškeré autorské právo začíná postrádá úplně smysl.

mne teda udivuje tenhle konkretni stockholm syndrom, ja to vzdycky bral tak, ze svobodny licence jsou az dusledek toho, ze si tady na ty planete lidi mezi sebou defaultne zakazujou jen tak sdelovat znalosti, vedomosti a produkty svy myslenkovy prace, ze jsou ty licence nutny zlo do sveta, kterej je odchylenej od idealu - coz by bylo nezakazovat takovy sireni informaci rovnou z prvni :D

aneb, kdybych to chtel nejak ilustrovat, dal bych jako priklad Microsoft a podobni potrebujou mit moznost coprightu a jeho restriktivniho pouziti - Red Hat a podobni to nepotrebujou, tak kdo je inovativnejsi, komu patri budoucnost :D

ohledne AI - prijde mi docela nevyhnutelny, aby vubec ta AI mohla vznikat, ze pozere vsechen text, co lidstvo do ted napsalo, tak nejak z principu, jak to funguje a co od toho chceme dal...

a tak by mi davalo mnohem vetsi smysl bojovat za moznost, na tenhle konkretni ucel, ignorovat copyright - pro nas pro vsechny, at si s touhle technologii budoucnosti muzou hrat vsichni, ne jen ti, co prisli prvni, maji za sebou nekonecnou kopu investorskych penez a tak skoro nekonecnou moznost, jak to zkouset pravne uhrat a ustat...

obecne mi prijde lepsi se soustredit na to, jak zajistit co nejpozitivnejsi budoucnost, nez konstatovat, ze vsechno uz je prohrane, nic nedava smysl - depresivni pohled na vec mi prijde vylozene skodlivy pro budoucnost nas vsech

(ano jsem si vedom, ze mne ted jde chytnout na spouste mist za konkretni slovo a ignorovat tak velmi snadno, co se snazim predat celkove - doufam, ze se na mne nebude nikdo zlobit, kdyz se toho nechytim a nepujdu do takoveho flamewaru)

"postrádá úplně smysl."

Tak to postradalo vzdycky. Ono to vzdycky totiz bylo pravo jen pro nekoho. Typicky toho, kdo mel prachy.