Googlebot navštěvuje stránky proto, aby je zaindexoval a pak nabízel ve výsledcích vyhledávání. Pokud nějakou stránku nechce indexovat, nebude ji zbytečně stahovat.
Zpochybnit ten „fakt“ lze velmi snadno. Stačí vytvořit hostname, zprovoznit na něm HTTPS server, vystavit k němu důvěryhodný certifikát (na konkrétní jméno, ne hvězdičkový), a pak už jen sledovat logy, jestli se tam Googlebot ukáže.
Certifikát byl vystaven v Feb 3 09:59 2024 GMT.
IP adresy a User-Agent hlavičky máte tady: https://pastebin.com/DFZ4LvUJ Můžete zkusit tam Googlebota najít.
Zatím od vystavení certifikátu uplynuly jen dvě hodiny, třeba je to brzo. Zítra sem dám aktualizaci logu.
Mimochodem, jiné adresy na témže serveru Googlebot mezitím shodou okolností navštívil, takže na firewallu jeho IP adresa zablokována není, kdybyste třeba pochyboval.
Log na uvedeném odkazu jsem aktualizoval, Googlebot tam stále není. Ale VPS u Contabo, kde je web server pro danou doménu, měl jak na potvoru dnes výpadek (poprvé za dobu, co je hostován u Contabo). Tak bych tomu dal ještě čas, než budeme moci definitivně považovat za vyvrácené tvrzení, že Googlebot navštěvuje stránky na základě certifikátů vystavených v Certificate Transparency listu.
No neni to tak davno, co jsem resil ne uplne zvane navstevy z jednoho stroje z CESNETu, kdy provozovatel daneho systemu ospravedlnoval sve pokusy o AXFR na ruzne domeny mj. tim, ze se tyto objevily v CT logu... a tedy ze jde o verejny zdroj :-) Plus ten pan (kde i ze stylu registrace PA v RIPE bylo zrejme, ze jde asi o letitou one-man show) argumentoval tim, ze to dela kvuli bezpecnosti a pravidlum uziti site CESNET.... asi tak 25 let starym - fakt se na ne odkazal... :-) ATM, 34 Mbit... krasne to casy :D
Aneb nejen ten Google vyuzije data z CT zpusobem, ktery ne uplne cekate.
To je jen další argument, proč to takhle nedělat a nepoužít náhodně nějaké slovo, které mě zrovna napadlo nebo mi ho někdo (třeba v dokumentaci) poradil. Pokud není doména pro tento účel vyhrazena, může se snadno stát, že bude později zaregistrována v globálním stromu a použita k něčemu jinému.
mDNS a doména .local se dnes v sítích rutinně používá například k objevování tiskáren či televizí a oznamování různých dalších zařízení poskytujících služby. Pokud ji tedy máte zároveň v místní DNS, máte tam kolizi. Avahi dnes není k použití na klientské straně potřeba, moderní distribuce používají systemd-resoved, který umí mDNS používat.
Pokud ICANN vyhradí nějakou doménu, nestane se v budoucnosti, že by z ní udělal TLD v globálním stromu. Tím pádem nebude ani muset ICANN ICANNu dát rákoskou na holou. TLD do globálního stromu nezařazují firmy, ale ICANN. Takže to žádné firmy nemohly udělat mnohokrát, nestalo se to ani jednou. Mám silné podezření, že nevíte, o čem se tu bavíme.
mDNS je s nami od roku 2002; takze "davno pred nejakym mDNS" asi tazko. Ze to nepodporoval Windows, je ina vec.
Dokumentacia Microsoftu to odporucala este pred par rokmi (konkretne este v 2015). Ani v tomto pripade si Microsoft s koliziou zjavne tazku hlavu nerobil. Ale to je problem tych, co si .local AD domenu vytvorili a nepocuvali, ked boli varovani, aka je to blbost.
Pokud si pamatuju, tak s několika ale (věci jako PDC<1b> do lmhosts apod) používaly. Resp mohly používat (byť dost neoptimálně)
https://networkencyclopedia.com/netbios-name-resolution/
1. 2. 2024, 20:34 editováno autorem komentáře