Odpověď na názor
Odpovídáte na názor k článku Greenboost přidává paměť pro GPU Nvidia z RAM a NVMe. Názory mohou přidávat pouze registrovaní uživatelé. Nově přidané názory se na webu objeví až po schválení redakcí.
-
Večer vyzkouším. Jinak máte pravdu s tou pomalostí, ale to autor víceméně neřeší (resp. řeší to, že se snaží dávat hot alokace do VRAM ...) - ten řeší mnohem větší bottleneck, když se mu to prostě do VRAM nevešlo vůbec (a koukám, že zatím jen pro Ollama, což ale nevadí, pořád dobrý začátek).
"The dlsym hook is specific to how Ollama resolves CUDA symbols. Other inference engines
(llama.cpp, vllm) may need different handling — contributions welcome."