Odpověď na názor
Odpovídáte na názor k článku Greenboost přidává paměť pro GPU Nvidia z RAM a NVMe. Názory mohou přidávat pouze registrovaní uživatelé. Nově přidané názory se na webu objeví až po schválení redakcí.
-
No zajimave by bylo jaky to ma vykon, treba llama.cpp automaticky nacte nejake vrstvy velkeho modelu do GPU RAM co se vejde a zbytek asi zustane na procesoru - tedy nactu jakykoliv model ktery se vejde do RAM jenom to pak jede treba 2t/s na procesoru. tak jestli tohle by jelo rychleji. Mozna ani i ne. Treba na laptopu s RTX A2000 8GB jsem zkousel model Qwen3.5 27B Q4 (cca 15GB model) a neco jelo pres CUDA z GPU (VRAM byla obsazena na 7GB, nvidia-smi psalo ze to bezi na 15W z 35) a delalo to 2t/s. pak jsem zakazal CUDA pro llama.cpp pres nejakou promennou a jelo to cele na procesoru a jelo to cca stejne rychle. podobne na gpt-oss 20b modelu (ten je rychlejsi). takze bud je to hack specialne pro ollama ktera tohle vubec neumi nebo to ma opravdu nejaky vykonovy prinos kdyz to jede cele z gpu ale pro neco/vetsinu si to jde pres pcie.
17. 3. 2026, 17:06 editováno autorem komentáře