Vlákno názorů k článku
ICANN navrhuje doménu .internal pro vnitřní použití v neveřejných sítích od ???????????? - Ten název je moc dlouhý.

Stejně jako cert pro IP adresu, možný je, ale LE ho neumožňuje.

I u dns validace (ten TXT) se cert musí zveřejnit v ctl, používat zase všude * není ono.

Tak určitě. Protože čerstvě vytvořené hostname, na které nevedou žádné odkazy a kde často není ani žádný obsah nebo dokonce ani webserver, to Google přímo miluje a dává to na na první místa výsledků vyhledávání.

Bla bla bla. Nevím, co a proč tam google bot hledal, ale je to v podledních cca pěti letech několikrát (naposledy před rokem) empiricky provedené pozorování.

Googlebot navštěvuje stránky proto, aby je zaindexoval a pak nabízel ve výsledcích vyhledávání. Pokud nějakou stránku nechce indexovat, nebude ji zbytečně stahovat.

Zpochybnit ten „fakt“ lze velmi snadno. Stačí vytvořit hostname, zprovoznit na něm HTTPS server, vystavit k němu důvěryhodný certifikát (na konkrétní jméno, ne hvězdičkový), a pak už jen sledovat logy, jestli se tam Googlebot ukáže.

Certifikát byl vystaven v Feb 3 09:59 2024 GMT.

IP adresy a User-Agent hlavičky máte tady: https://pastebin.com/DFZ4LvUJ Můžete zkusit tam Googlebota najít.

Zatím od vystavení certifikátu uplynuly jen dvě hodiny, třeba je to brzo. Zítra sem dám aktualizaci logu.

Mimochodem, jiné adresy na témže serveru Googlebot mezitím shodou okolností navštívil, takže na firewallu jeho IP adresa zablokována není, kdybyste třeba pochyboval.

Jestli tam obsah je se Google dozví tak, že na ten obsah vedou odkazy z jiných webů. Proto neřeší CT, protože i kdyby na nově registrované doméně náhodou hned byl obsah, nebudou na něj odkazy, takže by ho Google stejně považoval za nezajímavý.

Log na uvedeném odkazu jsem aktualizoval, Googlebot tam stále není. Ale VPS u Contabo, kde je web server pro danou doménu, měl jak na potvoru dnes výpadek (poprvé za dobu, co je hostován u Contabo). Tak bych tomu dal ještě čas, než budeme moci definitivně považovat za vyvrácené tvrzení, že Googlebot navštěvuje stránky na základě certifikátů vystavených v Certificate Transparency listu.

No neni to tak davno, co jsem resil ne uplne zvane navstevy z jednoho stroje z CESNETu, kdy provozovatel daneho systemu ospravedlnoval sve pokusy o AXFR na ruzne domeny mj. tim, ze se tyto objevily v CT logu... a tedy ze jde o verejny zdroj :-) Plus ten pan (kde i ze stylu registrace PA v RIPE bylo zrejme, ze jde asi o letitou one-man show) argumentoval tim, ze to dela kvuli bezpecnosti a pravidlum uziti site CESNET.... asi tak 25 let starym - fakt se na ne odkazal... :-) ATM, 34 Mbit... krasne to casy :D

Aneb nejen ten Google vyuzije data z CT zpusobem, ktery ne uplne cekate.

Nejen Google, chvíli po získání LE se na tu novou subdoménu, na kterou nic neodkazuje, nahrnou desítky různých wordpress a log4j scannerů. V logu úplná smršť :-)

je neskutečné, jak to je rychlé. Někdy stačí 15 vteřin u nových domén a jede toho obrovské množství.

Oni ví proč to dělají, když si člověk nechává vydat certifikát automaticky, tak zpravidla na začátku jsou ty služby často ještě otevřené a nezabezpečené, než to někdo zapne, otestuje.