Vlákno názorů k článku Zbavte se na webu otravných robotů, vyžeňte je nástrojem go-away od 32145632 - Z mojí zkušenosti můžu doporučit spíše CIDRAM než...

Z mojí zkušenosti můžu doporučit spíše CIDRAM než Go-away, protože není potřeba mít ani přístup k serveru. Jde o PHP skript s ovládacím panelem, který již má přednastaveno blokování hostingových a cloudových poskytovatelů. Kterým může volitelně zobrazit captcha. Někteří lidé používají VPN nebo Tor, takže je vhodné těmto zobrazit Captcha a umožnit přístup. Ve výchozím stavu umožňuje přístup známým botům jako je Google, Bing atd.

https://github.com/CIDRAM/CIDRAM/
https://internetlifeforum.com/showthread.php?30995-How-to-install-CIDRAM-on-a-website-to-block-crawlers-and-useless-robots

Také mohu doporučit blocklist botů na základě User Agenta na úrovni .htaccess https://perishablepress.com/ultimate-ai-block-list/

Pěkná hračka, která už ale z principu svého fungování má trošku omezené funkce a výsledky.

I autoři to pak uvádí na patřičných místech v dokumentaci:

"rate_limiting" (Category)
Configuration for rate limiting (not recommended for general use).
...

Záleží tedy na tom, co se řeší - kontrola zdrojových IP adres a http hlaviček? Nebo obecná kontrola přístupů s větší možností konfigurace?
Navíc to je svázané s php - co když jsou věci na jiných technologiích, co když jen poskytuji static content?

Nejsem si úplně jistý, že blokovat na úrovni .htaccess je dobrý nápad. Pokud se dobře pamatuji, tak .htaccess musí Apache zpracovat při každém požadavku a při větším objemu požadavků a zároveň větším množství pravidel, to je generuje nějaké CPU.

Souhlasím s tím, že pokud nemáte k dispozici přístup k serveru, tak moc možností nemáte a blokování v PHP či .htaccess existuje.