Vlákno názorů k článku
Jaká témata vadí čínskému DeepSeeku?
od fortran1986 - Veď ale DeepSeek neni open source ktorý si...
-
1/ stáhnout ze stránek ollama tar.gz wgetem a rozbalit - má soubor bin/ollama a lib/* kde je nějaká cuda apod.
2/ ~/bin/ollama serve &
3/ ~/bin/ollama pull deepseek-r1:b671 nebo tak něco co stáhne půl TB dat - ale jsou menší modely
4/ až se to stáhne pustí se rovnou prompt ... v tuhle chvíli RIP, pokud PC nemá zhruba 512GB RAM (nejlíp na grafice)
5/ GL&HFReálně model 30B je asi 20x menší, běží v kombinaci CPU a GPU a je nepoužitelně pomalej. Třeba 22B codestral je ... ehm ... použitelný ... ale modely co běží na běžném PC i když má 64GB RAM a 12GB VRAM nejsou z nejlepších co se týká hlubších znalostí z nějakého oboru.
-
Je open source ve smyslu že model je volně stahnutelný a použitelný bez omezení (i komerčně, úpravy, deriváty atd.), a paper s popisem technologie dostatečně podrobným pro jeho replikaci je rovněž pod volnou licencí. Kdokoliv si může od nuly vytrénovat vlastní. Není k dispozici původní dataset, protože jsou kolem nich v západních zemích právní otázky a chaos. Hugging Face je jeden z FOSS spolků který na replikaci už pracuje, s vlastními datasety.
A situace s cenzurou je ještě lepší, ona v něm totiž vůbec není. Veřejný chat a API endpoint má filtr, ale samotný model neodmítá. Pořád má jasnou politickou orientaci, ale neodmítá diskuzi.
Pokud máte po ruce desktop s aspoň 100 GB RAM, tak ho můžete používat lokálně (byť pomalu, pár tokenů za sekundu): https://unsloth.ai/blog/deepseekr1-dynamic
A nebo ho jen stáhnout do úschovy (než ho zakážou :) a počkat pár let, než to consumer hardware dožene za přijatelnou cenu.
-
cenzura tam je az na urovni tej webovej stranky, samotny model ziadnu cenzuru podla toho co som skusal implementovanu nema
mne to normalne* odpovedalo aj na tie udalosti na tom namesti a dalo to zapadnu verziu pribehu kedze na cinskych weboch sa o tom asi vela nedocitalo takze odpovedalo to co sa pise na zapade*bolo treba len sa trochu pohrat s polozenim otazky aby ta webova stranka tu odpoved hned nezablokovala
a zjavne je to trenovane na datach zo zapadnych webov lebo tiez to odpoveda na mnohe otazky akoby to tam tukal woke progresivec :)
este nestihol ten model zareagovat na nastup trumpa :) -
To je omyl, zkuste si to. Řada omezení je zakomponována již do modelu samotného, pravděpodobně během jejich reinforced learningu, kde se učí odpovídat tak aby se se to uživatelům "líbilo". Dalailamu mi to vysvětlilo, Tiananmnen square už ne a poslalo mně to do knihovny. Zkoušel jsem ten 70b destillaci na llamu..
-
Me teda lokalni deepseek popsal Tiananmnen, napsal kolik asi bylo mrtvych, a dokonce ze cinska vlada mlzila a zatajovala pocet mrtvych. Taky napsal ze to byla revoluce proti vlade a to ze je fujky fujky. Ale povsechne se ta odpoved informacne moc nelisila od treba mikrosofti phi4.
Takze v modelu samotnem jsem omezeni nevidel. -
Ty distilly byly trénovány na datasetu s refusaly (omlouvám se tímto všem češtinářům).
Jinými slovy llama nebo qwen distill může odmítnout diskuzi, protože RL dataset je obsahuje. Původní V3 a R1 odmítání nemají. Mluví o všem, ale u citlivých témat jsou na straně vlády.
Jestli jste roztlačil 70B model, tak už nejspíš můžete rozjet i IQ1_S quant opravdového deepseek R1: https://unsloth.ai/blog/deepseekr1-dynamic
-
ako som pisal mne to normalne dalo zapadnu verziu pribehu o tom co sa stalo na tom namesti, stacilo sa pohrat s polozenim otazky
tak tiez na otazku ci je v cine diktatura tak to normalne napisalo tiez povedzme zapadny pohlad, ze je tam vlada jednej strany, absencia slobodnych volieb, prisna cenzura, obmedzene zhromazdovannie, bezpecnostne zlozky sa pouzivaju na nasilne potlacanie protestov, buduje sa tam kult osobnosti a ze podla zapadnych standardov je to oznacovane ako diktatura
potom tam napisalo, ze podla ciny ale je to ale system vhodny do miestnych pomerov :) -
Jde to, ale pomalu. Rychlost přenosu je bottleneck. Ani s levnými thunderbird 100Gbps síťovkami si moc nepomůžete, bude to pomalejší než si ten model mmap()ovat a jet z nějakého dobrého SSD.
Pro představu, malý model s rezidentní velikostí okolo 14 GB (asi 8G model, zbytek KV cache a aktivace) mi v Radeonu RX 7800XT běhá nějakých 40 tokenů za sekundu (~podobně rychle jako služby chatgpt, le chat) s využitím VRAM 581 GB/s (grafika umí 624, je tedy skoro saturovaná). A to je malý model... deepseek-r1 má mnohem víc GB na jeden attention cyklus, tam už budeme v TB/s (rozprostřeno přes několik desítek attention heads).
-
1. Model sibmozes stiahnut. Je otvoreny co sa tyka architektury neuralnej siete. Otvoreny consa tyka vah. Take je to open source
2. Odstranit nieco co uz je natrenovane? Sinto predstavujes ako hurvinek valku. Keby si ho zacal pretrenovavat, mozes ho pretrenovat a znehodnotit. Mamualnou upravou vah je nezmysel. Dam ti priklad. Pamatas si zlyhanie google s jeho generovanim obrazkov? Jak bol tak strikne trenovani aby bol inkluzivny? Kde rozne rasy ludi cpal tam nemal aj ked si mu to zakazal v prompte? Tak odstranit tento neduch je tak nemozny alebo narocny, ze to mozes rovno trenovat na novo. Preto gemini a jeho generovanie obrazkov ma zakazane generovanie ludi. Cize v tomto to zaplatali vygeneruje obrazok, pak to ina ai skontroluje a ak tam je clovek tak to neprejde. Ale ked je uz nejaky filter sucastou modelu a natrenovany tak to mas smolika.
3. Uz ma fakt stve to pokrytectvo. Pisete o tom ze deepseek ma cenzuru. A zapadne modely co? ChatGPT ma tolko cenzur ze tonaz pekne nie je. A to aj v neskodnych veciach. Ked to robi zapad je to dobre. A ked to robi Cina je to zle. Fakt pokrytectvo. A uz ma to vytaca do cervena. Cina ani Zapad nie su svate. Obe strany maju svetle aj tieniste stranky. Tak uz prestante, ze sme svaty a druhy su zlo. Neda sa to po vsetko popisat, je to komplexna tema. Ale zaver je taky, ze je daleko lepsie s Cinou spolupracovat ako byt detinsky a vycitat im co robime sami, prestat ohrozovat spolupracu, vztahy ... Cinsa vam to paci alebo nie Cina je velmoc. Rusko nesiaha Cine ani po clenky. A s Cinou treba pocitat. A spolupraca a dobre vztahy vedie k lepsiemu zajtrajsku. Obzvlast pri velkych krizach. Tak ak ma ludstvo prezit dlhodobo musi sa ludstvo naucit spolupracovat a nie sa hasterit.
-
> vycitat im co robime sami
Ako ja viem, ze na Slovensku a vseobecne v Europe to je teraz vselijake, ale skuste mi dat priklad veci, ktore im vycitame a robime my sami. Pretoze pri namatkovo:
- genocida vlastneho obyvatelstva
- zatvaranie ludi kvoli ich nabozenstvu a povodu
- priserne pracovne a zivotne podmienky na mnohych uzemiach krajiny
- no a samozrejme narokovanie si na uzemia inych krajinsi fakt nejako nespominam na ziadnu europsku, toboz stredoeuropsku, krajinu, ktora by toto robila a zaroven Cine (opravnene) tieto veci vycitala.
