Vlákno názorů k článku
Greenboost přidává paměť pro GPU Nvidia z RAM a NVMe
od acx99 - Neni pri inferenci nejvetsi realny bottleneck prave hruba...
-
FíkZlatý podporovatelAutor píše, že ty nejvíce hot data drží v té rychlé paměti na GPU, cold data v RAM a NVMe je jen rezerva, když něco na chvíli přeteče.
-
Večer vyzkouším. Jinak máte pravdu s tou pomalostí, ale to autor víceméně neřeší (resp. řeší to, že se snaží dávat hot alokace do VRAM ...) - ten řeší mnohem větší bottleneck, když se mu to prostě do VRAM nevešlo vůbec (a koukám, že zatím jen pro Ollama, což ale nevadí, pořád dobrý začátek).
"The dlsym hook is specific to how Ollama resolves CUDA symbols. Other inference engines
(llama.cpp, vllm) may need different handling — contributions welcome."