Vlákno názorů k článku
Bude AI ve Fedoře a GNOME?
od Voltaren - Ha ha ha, keď som pred rokom napísal,...
-
Ha ha ha, keď som pred rokom napísal, že aj v Linuxe bude umelá inteligencia (lebo inak krachne), tak ma mínuskovali do zblbnutia. Fakt nechápem ľudí, čo majú obmedzené zmýšľanie :D Vízia do budúcna je u príčetných ľudí prirodzená a je jedno akej oblasti sa to týka.
Takže skôr, či neskôr bude mať každá Linoxová distribúcia Al. Majte sa.... :D
-
Myslím si, že většina lidí a to i mezi uživateli Linuxu nemá problém s nějakým využitím AI. Spíš má problém s tím, že se funkce systému napíchnou na nějakou online AI službu a posílají tak jen další data někomu jinému.
Pokud to půjde vypnout (AFAIK i my ve Fedoře plánujeme to mít opt-in) a poběží to lokálně, proč by s tím měl někdo problém. Ten lokální běh AI je momentálně největší problém? To není o tom, že si člověk stáhne model a k němu nějakou knihovnu s API, přes kterou to můžou ostatní komponenty používat. Ta vertikální integrace tam je brutální. Od potřeby konkrétních hardwarových ovladačů až po konkrétní verze knihoven. Dostat to do stavu, kdy to bude v distribuci dlouhodobě udržovatelné, bude chtít ještě hodně práce. Přijít aktuálně s něčím, co obstojně běží na drtivé většině počítačů, na kterých lidi desktopový Linux mají, je prakticky nemožné. To budou ty největší oříšky těhle iniciativ. -
S rozličnými NPU čo sa dnes dávajú do rozličných SoC samotná inferencia nie je až taký problém. Už staručký Coral od Googla so spotrebou 2W vedel celkom pekné veci. Problémom zostáva trénovanie modelov. A vyššie spomínané verzie balíčkov.
Napríklad taký whisper chce pytorch 2.4 (aktuálna verzia je 2.6) a python 3.10-12 (v niektorých prípadoch 3.10 bodka, aktuálne je 3.13), pre majiteľov AMD funkčné ROCm (na consumer kartách funguje iba na 3 high-end modeloch, zvyšok má smolu). Toto je problém, ktorý spomínal predrečník, takto sa riešenie pre distribúciu postaviť nedá.
-
Je problém celý python poslať dočerta? Python sa na tie moderné umelé inteligencie používa, lebo sa v ňom dá rýchlo vyvýjať. Ale naivne si predstavujem, že PyTorch je pregrciavač dát do LAPACK so širokými možnosťami. Keď je problém so závislosťami, dá sa ich zbaviť a implementovať minimálnu nutnú funkcionalitu.
9. 2. 2025, 18:45 editováno autorem komentáře
-
Python je to, co bylo dřív BASIC. Možnost programovat pro neprogramátory. Ale stejně jako ten tehdejší BASIC jde optimalizovat (např. zkompilovat projekt do Cčka a získat jeho rychlost /pokud definuju typy proměnných/, spustit výpočet na GPU, dokonce i embedovat assembler pro použití na mikrokontrolérech /to uměl i ten BASIC/). Druhou jeho sílou je, že je defacto aktuální standard, a tak všechny tyhle a další knihovny maj highlevel verzi pro Python (vedle Cčka). Pro ostatní (ne C) jazyky jsou knihovny často zastaralé nebo vůbec.
K předřečníkovi: DeepSeek ukázal, že stačí zlomek výkonu a paměti, což ještě více urychlí nástup AI, včetně lokálního běhu, i na tom telefonu. Vedle toho se jde i cestou minifikování AI, kdy se odstraní konkrétní znalosti, ale nechá získaná zkušenost z učení - tj. pochopí vaše nahraná data (např. umí shrnout a orientovat se v nahraných knihách, ale znalosti knih, na kterých se učil, má odstraněné). Tato cesta se samozřejmě vylepší postupy použitých pro DeepSeek.
PS: ROCm na AMD GPU je fakt smutný. Prý AMD nabralo jednoho (!) člověka, co má zařídit, aby fungoval na více GPU. Já ho zkoušel před měsícem na starším AMD APU, nainstaloval se, hlásil všechno dobrý, ale i na jednoduchých výpočtech padal.
-
>>> Python je to, co bylo dřív BASIC. Možnost programovat pro neprogramátory. Ale stejně jako ten tehdejší BASIC jde optimalizovat (např. zkompilovat projekt do Cčka a získat jeho rychlost /pokud definuju typy proměnných/, spustit výpočet na GPU, dokonce i embedovat assembler pro použití na mikrokontrolérech /to uměl i ten BASIC/). Druhou jeho sílou je, že je defacto aktuální standard, a tak všechny tyhle a další knihovny maj highlevel verzi pro Python (vedle Cčka). Pro ostatní (ne C) jazyky jsou knihovny často zastaralé nebo vůbec.
Hej, ale smeroval som inam, pytorch je beztak napísaný v C++, v rýchlosti problém nie je. Predrečník písal o tom, ako rôzne AI používajú rôzne verzie pythonu a majú milión závislostí. Logické je tieto závislosti dať preč. Robil som pre emdedded, kde sme si luxus veľa závislostí nemohli dovoliť. Končilo to tak, že minimálnu nutnú funkcionalitu sme si buď napísali odznova, alebo vyškrabli z libiek s permisívnou licenciou. Také GNOME má beztak licenciu GPL, tam majú širšie možnosti. Ok toto je extrém, ale ak je problém dependency hell, tak je možnosť sa ho zbaviť.
-
A čo vy si, Kefalín, predstavujete pod takým pojmom "bude mať AI"? Je totiž sakra rozdíl, jestli je ta AI lokální, jestli je tam napevno a hluboko zadrátovaná a jestli je vůbec aktivní, vs. když se posílají data neznámo kam, kde se s nimi kdo ví co děje, když ji nelze vypnout a nelze se jí nijak zbavit. Pokud linuxové distribuce "budú mať AI", pak to bude na 99 % ta první možnost. A nevím, proč by měl linux "krachnout", kdyby v sobě neměl zadrátované frikulínské AI serepetičky.
