Vlákno názorů k článku
CZ.NIC spouští DNS crawler, bude sbírat veřejná data z domén od Jaroj - Pokud se dobře dívám do config.yml tak useragent...

Pokud se dobře dívám do config.yml tak useragent bude "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729­.131 Safari/537.36".
Proč není nějak standardně, např: "DNScrawler/1.0 (https://csirt.cz/cs/dns-crawler/)", či podobně?

Třeba kvůli těm falešným e-shopům a malwaru mi přijde žádoucí tvářit se co nejvíce jako normální prohlížeč. I když pokud někdo ví o tomto konkrétním crawleru, může ho stejně poznat podle IP adresy :-)

1. 6. 2020, 16:40 editováno autorem komentáře

Pokud se tvářím falešně (například tvrdím useragentem že jsem prohlížeč, nebo ještě hůře, podepíšu se jak nějaký známý robot) dojde velice brzo k blokování IP adres. Poslat falešný useragent je jednoduché, ale skutečné chování prohlížeče (na tož člověka) to nebude.
Za mě je libovolný takovýto robot "web scraper" a zaslouží zablokovat.

Mimochodem, jak koukám, jednu IP adresu z uvedených již používají s tímto useragentem (předtím to byla doměnka z uvedených zdrojáků).

Evidentně ale chcete podobné crawlery blokovat nehledě na to zda se "tváří falešně". V tomto případě to máte dokonce usnadněné IP adresou, takže nevidím v čem je problém.

Jasně, a pokud by někdo náhodou nečetl root.cz, tak to má i zde:

$ dig txt crawler-1.labs.nic.cz +short
"DNS crawler for the .CZ zone"

Tento User-Agent (a pár dalších hlaviček) posíláme, protože chceme analyzovat stejný obsah, jaký vidí prohlížeče a uživatelé, jen tedy bez interpretace JS.
Přidat třeba na konec odkaz na informace o provozu není špatný nápad, ale při té frekvenci skenování — jednou týdně HEAD, jednou měsíčně GET — se to asi u většiny živých webů ztratí v šumu…

Nemyslím, že se to ztratí, naopak. Bylo by to výborné.
Tedy něco jako:
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729­.131 Safari/537.36 DNScrawler/1.0 (https://csirt.cz/cs/dns-crawler/)"
nebo:
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko; DNScrawler/1.0 +https://csir­t.cz/cs/dns-crawler/) Chrome/74.0.3729­.131 Safari/537.36"
A podobně.

Děkuji

Přidáno do produkčního konfiguráku:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729­.131 Safari/537.36 dns-crawler/<verze> (+https://csir­t.cz/cs/dns-crawler)

Zatím bez záruky, že to tak zůstane (ale pokud s tím nebudou nějaké problémy, tak jo).