To je postaveny nad langgraphem a litellm? Podle zavislosti to tak vypada. Btw. clanek o langgraphu by byl fajn, kdyby se podarilo napsat.
interne ano, ale z pohledu toho frameworku nas to vlastne nemusi zajimat, protoze takto nizko se clovek do kodu nedostane. Jo pokud by bylo nutny napsat nejakeho providera, to potom ano, ale jinak je Llama Stack fajn v tom, jak jednoduse to jde cele nakonfigurovat (uvidime priste, doufam).
K čemu to je dobrý? LLM používám byť v placených verzích, ale bez API klíče. Když dělám program v Pythonu zadám komplexní prompt, který pak modifikuji při odstraňování především logických chyb, většinou plynoucích z ne dost konkrétního zadání.
Pro kontext dodám, že i když v Pythonu většinou poznám co kód dělá, neumím v něm napsat ani "Hello World". V čem je přínos AI ve frameworku, když je možné získat kód pouhým promptem obzvlášť, když ho zadá někdo, kdo jazyk zná a ne ňouma jako já?
Llama Stack je právě framework pro vytváření komplexnějších systémů s AI. Nejenom prompt (tedy vlastně inteference), ale jde tam nakonfigurovat i RAG (klidně i více), různé guardrails, historie konverzace, limity na tokeny, samozřejmě metriky, autorizace/autentikace, ale i sledování (trasování), což zrovna teď používáme při tvorbě agentů. Ale nejdůlež
Tedy je to pro tvůrce systémů s AI, ne pro koncové uživatele (ti to už jen používají).