Vlákno názorů k článku
Soubor robots.txt a blokování AI od martyd420 - Ta anketa je trochu zvláštní.. "Co blokujete na svých...

Ta anketa je trochu zvláštní..
"Co blokujete na svých stránkách?"
Jednak robots.txt neslouží k blokování, jen poskytuje botům nějaké informace, které jsou velmi často interpretovány opačně. Pokud v něm uvedu Disallow: /tajnyYyYy.admin/, je jisté, že se mi na té url výrazně zvedne provoz.
Možnost "Vyhledávače" může používat tak statisícina webů, které chcou být "neveřejné"? (a určitě to nedělají přes robots.txt)
Chybí nejčastější možnost - blokuju badboty a automatizované scany a útoky, přičemž se současně snažím, abych neomezil vyhledávače.

//edit: AI, pokud se přijde jen učit, taky neblokuju. Nicméně konkrétně OpenAI jsem byl nucen zablokovat (ip rozsahy), protože mi ten jejich bot útočil na server celkem brutální silou...

19. 2. 2024, 13:33 editováno autorem komentáře

Přidal jsem možnosti do ankety

ankety, kde se mění možnosti časem jsou skvělé! :)

K openAI bot, ten má občas pěknou pifku na určité weby dokáže tam frčet tisíce dotazů za minutu. Byl jsem také nucen udělat tromu nějakde nepěknou FW přítrž. Bohužel jsem nenašel způsob jak ho zpomalit.

Donutit bota do smyčky... tím, že přistupuje většinou stále ze stejného bodu, tak lze ho přesměrovat na prázdnou stránku...
Nebo přes captcha, klidně po 50-tém dotazu....

hm, hm, říkáš, udělat na CF past na boty s nekonečnou smyčkou a tam je podmíněně pouštět? To se mi líbí!

Útoky pomocí robots.txt asi neblokujete. Nebo že byste měl štěstí na útočníky gentlemany, kteří respektují robots.txt? Blokování vyhledávacích robotů se používá třeba pro části webu, které nechcete indexovat, protože jejich indexování by vyhledávači způsobilo akorát zmatek. Případně je nechcete indexovat, protože indexování by bylo pro vás nákladné a zaindexování by nemělo prakticky žádný užitek – třeba velké fotky, videa nebo jiné velké soubory, pokud to máte na nějakém slabém počítači, slabé nebo měřené přípojce.

Presne tak... robots.txt neslúži k blokovaniu, len k poskytnutiu informácií čo indexovať botmi. Ale je na samotnom botovi či to bude alebo nebude rešpektovať. Na blokovanie botov je potreba iné riešenie (napr. filtrácia v reverznom proxy, alebo dnes už prekonaná recaptcha).