AI se stalo běžnou součástí dnešního vývoje i provozu. Společně s tím ale přichází otázka bezpečnosti dat, kontroly nad infrastrukturou a důvěry v externí AI služby.
Není tajemstvím, že token-based AI platformy často pracují s daty způsobem, který je pro řadu firem z regulatorních prostředí neslučitelný s vnitřními směrnicemi organizace nebo požadavky regulátora. A to hlavně z důvodu předávání dat cizím službám bez jakýchkoliv garancí a závazků. Proto stále více organizací hledá cestu k lokálnímu nebo dedikovanému provozu AI workloadů.
Existuje řada scénářů jako je zpracováni a vytěžování dat, tedy přesně ty situace kdy, kde lokálně provozované prostředí (vč variant s fixními náklady) přináší nejen vyšší bezpečnost, ale i lepší výkon, nižší latenci a předvídatelnější náklady. Díky možnosti plně vyhradit provozovaný hardware vzniká kontrolované prostředí, ve kterém zůstává pod dohledem nejen cesta dat, ale i samotné výsledky zpracování.
Je vyzkoušené, že AI workloady jsou při vývoji, testování i samotném provozu finančně velmi náročné. Vývoj GPU infrastruktury je navíc extrémně rychlý — systémy, které ještě před několika lety stály desítky tisíc dolarů, jsou dnes dostupné za zlomek původní ceny. Právě proto dává smysl spolupracovat s provozovatelem infrastruktury, který umožní workloady reálně testovat, průběžně optimalizovat a navrhnout prostředí odpovídající skutečným potřebám projektu i jeho budoucímu rozvoji.
V Nethostu se nesoustředíme na vývoj AI modelů. Soustředíme se na to, v čem jsme dobří — efektivní provoz GPU infrastruktury pro AI/ML workloady. To vše tak efektivně, že i ve variantě As the service snese v dlouhodobém horizontu srovnání s vlastním nákupem. V mnoha případech tak naše řešení vychází efektivněji než provoz vlastního inhouse prostředí nebo pronajaté infrastruktury spravované zákazníkem.
Našim zákazníkům nabízíme kompletní portfolio služeb pro AI/ML provoz počínaje
Bare GPU Metal
Kdy máte možnost pronájmu GPU akcelerátorů a dedikovaných GPU systémů v rámci cloudové infrastruktury Nethostu. Od profesionálních GPU karet až po appliance řešení typu H-series, RTX, GB10, AMD AI9X, M4 nebo M4 Pro a to jak single instančních tak plnmě clusterových řešení kde není problém atakovat i 1TB VRAM paměti.
Model as a Service
Součástí GPU řešení je kompletní model management, aktualizace, zabezpečení i odborné konzultace. Získáváte provozuschopné prostředí bez nutnosti řešit infrastrukturu nebo lifecycle management modelů. Navíc má k dispozici tým odborníků, kteří na základě reálných dat a zkušeností z provozu navrhnou optimální řešení.
Pro workloady s požadavkem na široké spektrum úloh umožňujeme provoz více AI modelů současně — typicky 4 až 6 kompetitivních modelů nad jednou GPU infrastrukturou. Modely se automaticky přepínají podle typu workloadu, požadavků na inference nebo latence.
Naše zkušenosti z provozu jsme přenesli do vlastního software AI Router, který inteligentně řídí routing workloadů mezi lokálními i externími modely. Routing policy zohledňuje rychlost odezvy, vytížení infrastruktury i bezpečnostní pravidla. Součástí řešení je také bezpečnostní fencing garantující, že data podléhající ochraně neopouštějí perimetr lokálního zpracování.
AI Router – na AI bezpečně a nákladově efektivně
Zde máte jednotnou vrstvu pro provoz a orchestraci více AI modelů. Nemusíte řešit kontrakty a správu u několika různých poskytovatelů. Díky kombinaci cloudových i lokálních modelů v jednom rozhraní, je vše bezpečné a pod plnou kontrolou. Inteligetní routing policy zajistí kompetitivní vyřízení požadavků na modely, zohlední požadavky na latenci a rychlost odezvy a současně plně pokrývá potřeby ochrany dat a lokálního zpracování.
Naše služby nejsou omezené pouze na LLM workloady. Pokrýváme celý AI/ML stack — od klasických výpočetních úloh přes optimalizované video a image kodeky až po FP64 numerické výpočty, modelování nebo VDI akceleraci.
V praxi vidíme, kolik a jak zajímavá řešení nad AI/ML stackem vznikají. Proto jsme rozhodli podpořit národní AI komunitu a vývoj řešení řešící úlohy národního prostředí. Vznikla tak platforma NLOOUD AI Market — Platforma, spojující nás, provozovatele infrastruktury, a vás chytré mozky s nápady a řešeními, které dokážou využít naši zákazníci i široká veřejnost.
Díky AI marketu můžete své AI/ML nástroje nápady a vize přetavit v realitu, bez nutnosti investovat do vlastní infrastruktury. My v rámci férového vyrovnání fifty-fifty dělíme dle druhu workloadu profit po odečtení vlastních nákladu na provoz férově mezi nás jako provozovatele a vás vývojáře.
Smyslem tohoto projektu je podpořit vývoj specializovaných AI řešení pro české prostředí — zejména tam, kde globální modely kvůli nízkému zastoupení českých dat neposkytují dostatečně kvalitní výsledky. Na platformě, která má pravidelné bezpečnostní a provozní audity, které pomáhají zajistit kontrolu nad zpracovávanými daty i dlouhodobou stabilitu provozu.
Ať se jedná o přepisy hovorů, analýzu obrazu nebo jazykové korektury a taxonomizace rádi váš projekt podpoříme.
ČLÁNKY DO MAILU