Trénování velkých jazykových modelů (LLM) vyžaduje množství textu a některé společnosti problém řeší tak, že jejich roboti agresivně zahlcují webové servery. Naposledy jsme psali o Free Software Foundation.
Blokování těchto robotů je možné například přes robots.txt, nebo chytání do nekonečné pasti. Další možností je captcha, to ale bohužel otravuje i lidské návštěvníky. Kanadská vývojářka Xe Iaso vytvořila alternativu k captcha s názvem Anubis. Ten se uživatele na nic neptá, jen spočítá v prohlížeči pomocí JS kryptografický výpočet, který je ověřen na serveru. Uživatel vidí jen malou prodlevu před načtením stránky. Roboti totiž nepoužívají prohlížeče s JS. Anubis již chrání kupříkladu weby GNOME, FFmpeg a UNESCO. Zdrojové kódy jsou na GitHubu.
(zdroj: slashdot)
