Lokální AI bez OS na x86 nebo Rasberry Pi: Nightrun
Pokud chcete mít dedikovaný hardware jen pro běh LLM, mohl by vás zaujmout projekt Nightrun. Jde o provoz LLM bez jakéhokoli operačního systému. Podporovaný HW je x86 s UEFI a Raspberry Pi 5 s 4–8 GB RAM a také s UEFI. Výhoda je, že LLM může využívat více paměti a systém je zcela izolovaný. Není k dispozici žádná síť.
Podporovány jsou jazykové modely Llama 3.2 (1B Instruct a 3B Instruct), Granite 4.1 (3B) a Qwen3 (4B Instruct 2507). Poslední model vyžaduje 8 GB RAM u Raspberry Pi 5. Zdrojové kódy naleznete na GitHubu. Nightrun je napsán v Rustu a je open source pod licencí MIT.
(zdroj: cnx-software)
ČLÁNKY DO MAILU