Vlákno názorů k článku AI asistenti pro vývoj software: nástroje používané pro agentické programování od Yeckel - Já už se bez copilota v postatě nehnu...

Já už se bez copilota v postatě nehnu a cítím se spíše specifikátorem. Zajímalo by mě hlavně hostování si nějakého LLM na programování na vlastním železe. Třeba ted ten nový laptop od Dell vypadá zajímavě. I když mě by stačilo to mít ve sklepě a levnější.

ma tvuj notas npu? tak hledej nejaky vhodne velky llm model co se do npu vleze a muzes to mit na notasu.
otazka je pak jak z toho udelat programovaciho agenta spojeneho s ide.

NPU je pro LLM nahouby.

Proč? NPU ani pořádnou grafickou kartu nemám, ale uvažuji o tom. Můžeš, to pls, rozvéct?

NPU, alespoň dnes, má omezené schopnosti. Je to spíš akcelerátor některých AI operací, jako rozpoznání řeči nebo detekci pozadí pro videohovor. na LLM to nepomůže.

Grafika je něco jiného, potřebujete ale takovou která pojme celý model (a podporuje ji soft, což třeba na ollamu je snad jen nvidia).

Na ntb. jen malinké modely (max. v jednotkách bil.) a neinteraktivně (případně ntb. s hodně dobrou externí grafikou, kam se ten model vejde). Na CPU jsou ty odpovědi řádově v min. desítkách sekund, to je na copilota nepoužitelné, ale hrát se s tím dá.