K čemu to je dobrý? LLM používám byť v placených verzích, ale bez API klíče. Když dělám program v Pythonu zadám komplexní prompt, který pak modifikuji při odstraňování především logických chyb, většinou plynoucích z ne dost konkrétního zadání.
Pro kontext dodám, že i když v Pythonu většinou poznám co kód dělá, neumím v něm napsat ani "Hello World". V čem je přínos AI ve frameworku, když je možné získat kód pouhým promptem obzvlášť, když ho zadá někdo, kdo jazyk zná a ne ňouma jako já?
Llama Stack je právě framework pro vytváření komplexnějších systémů s AI. Nejenom prompt (tedy vlastně inteference), ale jde tam nakonfigurovat i RAG (klidně i více), různé guardrails, historie konverzace, limity na tokeny, samozřejmě metriky, autorizace/autentikace, ale i sledování (trasování), což zrovna teď používáme při tvorbě agentů. Ale nejdůlež
Tedy je to pro tvůrce systémů s AI, ne pro koncové uživatele (ti to už jen používají).