Názory k článku
HipScript zprovozní Nvidia CUDA i AMD HIP přímo ve webovém prohlížeči

Zajímavý projekt. Pomohlo by mi rozjet OpenCL, HIP, apod. obecně na AMD GPU :D (která nevyšla v poseldním půl roce) Co jsem hry vyměnil za výpočty, chystám jako další grafiku nVidia, protože ve světě AMDm je to skutečné peklo.

U nás jsme to vzdali a nasadili všude Vulkan, jak v AI aplikacích (llama.cpp a spol), tak v compute obecně. Jediná nevýhoda je nižší výkon (75-90 % propustnost oproti ROCm/HIP), jinak samé výhody: funguje to všude od Rockchip 3588 přes různé relativně nové amdgpu (7900XT a pod.), až po RTX 40 nvidie. Nemusím nic řešit, i VRAM to za mě hlídá, takže místo OOM se to maximálně na chvíli zpomalí (než driver něco odswapuje z VRAM do RAM).

Zajímavé, co třeba na tom RK3588 provozujete? Díky

Home server (Radxa ROCK 5 ITX), jede tam taková ta /r/selfhosted klasika: homeassistant, zigbee, linkwarden, vaultwarden, cryptpad, jellyfin, gitea, airsonic, conduwuit, atd.

Z AI-enabled aplikací tam mám fotogalerii Immich, která embedduje fotky a pak v nich umí sémanticky vyhledávat (s dobrým ale náročnějším modelem to zvládá komplexní dotazy jako "young girl in red clothes sitting in front of a doll house").

Pak ještě LibreChat jako webové GUI pro jazykové modely obecně, ale jejich inference běží na desktopu s pořádnými GPU, Radxa vlastními silami dělá jen embedding pro RAG, vyhledávání na webu, agentickou práci a podobně.

Díky, až teď mi došlo, že už jsme se o tom vlastně bavili. Tak držím palce.

Vulkan je super, jen ne na Compute: https://github.com/ggerganov/llama.cpp/pull/8986#issuecomment-2289686231

8. 1. 2025, 22:19 editováno autorem komentáře

To je silně application- a vendor-specific. Na 7900XT mám v llama.cpp jen asi 10 % pod ROCm. Na 4090 je to asi 80 % t/s CUDA.

V situacích kdy mi to lítá 100+ t/s mi je to fuk, rád vyměním pětinu výkonu za stabilitu a bezproblémový chod.

Mě by osobně zajímalo proč.... proč webovej prohlížeš bude využívat tyto jádra?

Ze by na pocitanie?

To by hloupej neřek.... já to spíš vidím jako možnost jak znovu zneužít chyby k dostání těžbě coinů na stránkách...

8. 1. 2025, 21:11 editováno autorem komentáře

To je vec. Ako noz ktorym mozete odkrojit chlieb alebo niekoho zabit. Zbran ktorou moze niekto zabit pri utoku alebo ju moze niekto pouzit pri obrane.

PResne takto to vidim aj ja. Chrome uz teraz je operacny system, ktory dokaze daj virusu napisanemu v javascripte pristup k comukolvek- a hojne sa to vyuziva. Toto beriem ako pripravu googlu na dalsi krok v spehovani. Zatial som nikde na strankach nevidel ani vyuzitie pristupu k senzorom na mobile, ako napriklad gyroskop. Zato je fura studii, co hovoria, ze z tych senzorov sa da vycitat vela uzitocnych informacii pre goo... sry, smejdov.

Asi na kazde to API musite dat povolenie. Explicitne. Takze zas uplne pouzivat hocico sa len tak neda.

Bingo!!!

Aby mohli navstevnici webu misto konzumace reklamy platit napr. tezbou kripta?

No díky, teda. To už radši tu reklamu.