Vlákno názorů k článku
Mozilla snižuje počet zaměstnanců a zaměří se na Firefox a umělou inteligenci
od martin - "Mozilla se chce zaměřit na to, aby do...
-
To zalezi na velikosti modelu. a jak moc ho pouzivas. LLM zere vykon jen kdyz generuje odpoved a jsou optimalizovanu modely, ktery bezej i na raspberry pi.
Narocnejsi nez provoz je samozrejme uceni modelu, ale na oboje se dnes daji vyuzit cloudovy sluzby, ktery jsou prave pro tyhle jednorazovy vyuziti financne mnohem vyhodnejsi nez nakupovat HW. A LLM patri do skupiny AI technologi (neplest s AGI) -
https://huggingface.co/Open-Orca
https://gpt4all.io/Ale samozřejmě záleží, co přesně očekáváte. Model s biliony parametrů to není. Ale zároveň taky pochybuju, že by vůbec byla schopna provozovat obrovské výpočetní clustery, keré by jim něco takového upočítaly. To je ten důvod, proč ho nesežene a proč jsou ty modely jen od velkých korporací.
A přesně se na tom ukazuje jeden ze zásadních problémů LLM, resp. současných pokusů o AI obecně: skoro stoprocentní závislost na subjektech, které mají obrovské zdroje. (I když ne, že by to s Googlem byla až taková novinka.)
-
Tohle jsou ale 2 naprosto rozdílné problematiky dohromady. Jedna je, kde ten model běžet, a u client side i celkem velké modely mohou běžet na rozumném kompu (viz ono GPT4all. I když na větší modely to chce víc RAM, ale dost by se asi dalo optimalizovat.)
Ten větší problém je, jak ten model vytvořit. Tam jednak potřebujete obrovský výpočetní výkon (a to brutálně), no a i když ho máte, tak taky na čem ho učit/doučit. Třeba i Grok přiznává (stejně jako spousta těch open source modelů), že jsou učené z velké části na datech z ChatGPT - což je mimochodem důvod, proč jsou tak neskutečně woke.Ale i jen rozumný fine-tuning nějakého existujícího modelu by byl zajímavá, pokud by běžel samozřejmě client-side a poskytoval to, co člověk chce.
-
To je samozřejmě pravda, jenomže ten model trénujete "jednou" (samozřejmě zjednodušení ale jde mi o princip) a výkon si můžete rezervovat poměrně nárazově. Ale službu poskytujete trvale a navíc statisícům a milionům uživatelů. A ačkoliv na rozumném hardwaru mohou modely běžet poměrně rychle, to poměrně rychle krát milion znamená dost divoké výpočetní nároky, které navíc lze optimalizovat jen poměrně těžko.
-
Ale máte nějaký důvod (krome šmírovací/datamining taktiky), proč ten model pak nepustit u uživatele, ale tahat si ho do čmoudu?
(A třeba u sesterského Mozilla translate je jeden z podstatných kladných bodů to, že vše zůstává na počítači...)Jako i třeba Alpaca65B běží i na CPU ještě na hranici použitelnosti, nemluvě o tom, že dneska prakticky všechen HW, co jde realisticky do prodeje, tak nějakou formu akcelerace má.
-
To zalezi co si predstavujes pod pojmem "bezne kancelarske PC". Na Ryzenu 5700G u Mistralu moc nevidim rychlostni rozdil oproti chatGTP bezicim v cloudu. Minimalne pise rychlejc nez ja ctu, co je pro me dostatecna rychlost.
Vlastne to poustim ve VM s jen 12 vlaknama a kdyz koukam na spotrebu pameti tak se pohybuje okolo 500MB, Je to dolphin2.1-mistral s velikosti 4.1GB15. 2. 2024, 11:18 editováno autorem komentáře
-
Chtělo by to udělat sbírku a začít provozovat model, jako je tento https://huggingface.co/ykilcher/gpt-4chan :) Ale, to je zase opačný extrém, oproti korporátním LLM. Možná jsem na politický kompas narazil tady, ale pro zajímavost link na Twitter https://twitter.com/AiBreakfast/status/1688939983468453888
