Trénování velkých jazykových modelů vyžaduje velké množství textu a společnosti, které takové modely vytváří, nasazují crawlery, které agresivně indexují webový obsah na Internetu.
Velký problém to je zvláště pro služby, které nabízejí hostování repozitářů se zdrojovým kódem. Těm to dokáže citelně zvýšit náklady na provoz.
Mnoho webů v posledních měsících nasadilo Anubis, který nechá prohlížeč pomocí JavaScriptu vypočítat kryptografický výpočet před tím, než mu zpřístupní obsah stránky.To zvýšilo požadavky na crawlery (vyžadována je podpora JavaScriptu) a také náklady na procházení webu, který je Anubisem chráněný.
To na čas všechny crawlery odradilo, ale Codeberg nyní na síti Mastodon oznámil, že se minimálně některé crawlery naučily Anubisem procházet. Jejich tvůrce už zvýšené požadavky a náklady neodrazují. Pro Codeberg to opět znamená zvýšenou zátěž serverů, která se navíc potkala se zvýšeným zájmem vývojářů, kteří doteď své repozitáře hostovali na Githubu.
Codeberg zatím nastalou situaci řeší blokováním rozsahů IP adres, které crawlery používají, ale ve hře je i úprava Anubisu a další zvýšení náročnosti. Ozývají se i návrhy, že by měl Anubis spolupracovat s projekty jako Folding@Home a nechat návštěvníky dělat výpočty, které mají nějaký užitek. Ale rozdělování výpočtů na tak malé díly by vyžadovalo režii, která by pravděpodobně přesáhla množství odevzdané práce.
