Vlákno názorů k článku
HipScript zprovozní Nvidia CUDA i AMD HIP přímo ve webovém prohlížeči od martyd420 - Zajímavý projekt. Pomohlo by mi rozjet OpenCL, HIP,...

Zajímavý projekt. Pomohlo by mi rozjet OpenCL, HIP, apod. obecně na AMD GPU :D (která nevyšla v poseldním půl roce) Co jsem hry vyměnil za výpočty, chystám jako další grafiku nVidia, protože ve světě AMDm je to skutečné peklo.

U nás jsme to vzdali a nasadili všude Vulkan, jak v AI aplikacích (llama.cpp a spol), tak v compute obecně. Jediná nevýhoda je nižší výkon (75-90 % propustnost oproti ROCm/HIP), jinak samé výhody: funguje to všude od Rockchip 3588 přes různé relativně nové amdgpu (7900XT a pod.), až po RTX 40 nvidie. Nemusím nic řešit, i VRAM to za mě hlídá, takže místo OOM se to maximálně na chvíli zpomalí (než driver něco odswapuje z VRAM do RAM).

Zajímavé, co třeba na tom RK3588 provozujete? Díky

Home server (Radxa ROCK 5 ITX), jede tam taková ta /r/selfhosted klasika: homeassistant, zigbee, linkwarden, vaultwarden, cryptpad, jellyfin, gitea, airsonic, conduwuit, atd.

Z AI-enabled aplikací tam mám fotogalerii Immich, která embedduje fotky a pak v nich umí sémanticky vyhledávat (s dobrým ale náročnějším modelem to zvládá komplexní dotazy jako "young girl in red clothes sitting in front of a doll house").

Pak ještě LibreChat jako webové GUI pro jazykové modely obecně, ale jejich inference běží na desktopu s pořádnými GPU, Radxa vlastními silami dělá jen embedding pro RAG, vyhledávání na webu, agentickou práci a podobně.

Díky, až teď mi došlo, že už jsme se o tom vlastně bavili. Tak držím palce.

Vulkan je super, jen ne na Compute: https://github.com/ggerganov/llama.cpp/pull/8986#issuecomment-2289686231

8. 1. 2025, 22:19 editováno autorem komentáře

To je silně application- a vendor-specific. Na 7900XT mám v llama.cpp jen asi 10 % pod ROCm. Na 4090 je to asi 80 % t/s CUDA.

V situacích kdy mi to lítá 100+ t/s mi je to fuk, rád vyměním pětinu výkonu za stabilitu a bezproblémový chod.