Greenboost přidává paměť pro GPU Nvidia z RAM a NVMe

Greenboost přidává paměť pro GPU Nvidia z RAM a NVMe 

Vývojář Ferran Duarri chtěl pracovat s modelem LLM o velikosti 32 GB na své kartě RTX 5070 s 12 GB paměti. Současné možnosti jsou: počítat část úlohy na CPU, to však vede k snížení rychlosti 5–10×. Druhá možnost je snížit kvantizaci (tedy velikost datového typu) na Q4, což je zhruba 4 bity, ale takto se odpovědi modelu zhorší. Poslední možností je koupit GPU s větší pamětí. To však není při současných cenách realistické.

Ferran proto vytvořil model, který GPU umožňuje používat i paměť RAM i disk NVMe. Paměť je rozdělena na tři úrovně, nejrychlejší na GPU, asi desetkrát pomalejší RAM a pro jistotu i NVMe, které je ještě desetkrát pomalejší. Zároveň se snaží využívat rychlejší paměti tam, kde to má význam a využívá kompresi. Jde o modul pro jádro pod duální licencí GPL-2/komerční, který nijak nezasahuje a nemodifikuje binární ovladače Nvidia. Řídí jen alokaci paměti pro CUDA. Zdrojové kódy jsou na GitLabu.

(zdroj: phoronix)