Názory k článku Biologické algoritmy (6) - Neuronové sítě

On neimplementuje neuron jako class, ze by si napriklad jednotlive
objekty tridy neuron posilaly svoje vstupy/vystupy.

Misto toho ma matice ukazujici jak vystup i-teho neuronu v nizsi vrstve
ovlivnuje vstup j-teho neuronu ve vyssi vrstve.

Podle toho kolik ma vrstev tolik ma matic, a kazda matice je velka podle toho
kolik neuronu je ve vrstvach ktere matice spojuje.

Preco nemam rad Javu? Pretoze javisti. Nie, oni sa stale spravaju akoby zili v ulite a ani za toho boha nedaju zdrojaky na Github. Sry za trolling, musel som.

Inak pekny clanok, vdaka.

A proč dávat na github jeden 300 řádkový zdroják, který se už nikdy v budoucnu měnit nebude a bez vysvětlujícího článku nemá smysl? A co budou dělat lidi až z githubu ten projekt zmizí a oni si najdou článek s neexistujícím odkazem?

Pretoze zdrojaky v .zip su podobna blbost ako menu restauracie v PDF. Ked cestujem MHD a kcem rychlo prescannovat obsah, tato forma odkazu mi to neumoznuje.

Nikdy nebude menit... vy byste jednoho pobavil. Stejne tak neni zadna zaruka, ze nezmizi ten zip. Jak to sem da autor je jeho vec, ale jsou vhodnejsi a min vhodne zpusoby zverejnovani kodu.

To je jednoduché, C++ fašismus, mindráky... s Javou prostě na root.cz neuspějete.

Zdravim, je sice pekne, ze autor popise, ze ma 3 2D pole, pak 3 2D pole s vahami, ale postradam treba vysvetleni proc je delka pole o 1 delsi nez 256. V obrazku u klasifikace je sice pekne schema, ale ocenil bych vysvetleni jak velka ta pole jsou a proc. Obecne bych ocenil co a proc se kde dela, proc se nastavuje nejaka velikost apod. V jave nedelam, takze precteni zdrojaku mi nic moc nerekne. Bylo by asi zajimave nejak vizualizovat vypocet, ovsem chapu, ze by to bylo neumerne narocne napsat. Bylo by mozne treba clanek rozsirit o tyto informace ? Byl bych neskonale nadsen :-) (Plus pripadne jsem ochoten poslat autorovi nejakou korunu.)
Kazdoapdne dekuji za serial, nebot je velmi zajimavy a velmi brzy budu v situaci, kdy budu tyto informace hodne potrebovat pri jedne uloze.

Zacal jsem trochu komentovat kod, tak pokud bude mit autor, zajem, rad jej predam k doplneni a dokomentovani :-)

Zdravím, každé 2D pole reprezentuje každou vrstvu. Vrstva se skládá z N neuronů a každý neuron má M vstupů - odtud matice MxN. Každý prvek matice je m-tá váha n-tého neuronu. Neurony mají ale o 1 vstup více než je dimenze vstupujicího vektoru - viz článek "Biologické algoritmy (4) - Neuronové sítě" obrázek pod nadpisem Umělý neuron. Tato jednička v podstatě způsobuje posunutí rozdělující roviny a zbylé váhy pronasobené se vstupy způsobují orientaci (směr) této roviny, ktera rozděluje prostor na dva podprostory - viz v tom samém článku příklad s muži a ženami.

Velikost matic je tedy dána zvoleným počtem neuronů v jednotlivých vrstvách. Málo neuronů ve skrytých vrstvách může vést k méně přesné klasifikaci (prostě není dostatek zdrojů k zmapování celého prostoru). Hodně neuronů naopak může způsobit přeučení (zbytečně velké zaměření na detaily v trénovacích datech), což způsobí lepší výsledky v trenovacích datech, ale reálně v testovacích horší a učení trvá déle. Záleží na konkrétním problému jaké počty zvolíme.

U první vrstvy je 256, protože jsem zvolil zrovna tuto metodu výpočtu příznaku obrázku, který má 256 hodnot. Kdybychom příznaky nepočítali jako histogramy barev, ale zvolili nějaký jiný přístup, těchto hodnot by mohl být jiný počet. Výstupní vrstva má 4 neurony protože rozlišujeme právě 4 typy scén.

Dekuji za vysvetleni. A odkud tedy pocty 75 a 15 u prostrednich vazeb mezi vrstvami ?

Mimochodem, mate zajem o muj okomentovany kod, tak jak jsem ho pochopil a doplneni, pripadne novy doplnujici clanek ?

A jeste proc zrovna 3 vrstvy ?

Protoze je dokazano, ze MLP (multi-layer perceptron) o 3 vrsvach a dostatecnem mnozstvi neuronu je schopen libovolne presne aproximovat libovolnou funkci.
Tedy vic vrstev neni potreba.

Počty neuronů ve skrytých vrstvách 75 a 15 by šlo zvolit i jiné. Jen by jich nemělo být příliš málo ani příliš mnoho. Záleží na konkrétním problémů. Jestliže je prostor řešení jako z příkladu mužů a žen v článku 4 takto jednoduchý, tak stačí málo neuronů, jestliže ale bude komplikovaný jako např. tady http://www.ire.pw.edu.pl/~rsulej/NetMaker/index.php?pg=e03 je potřeba neuronů více. Existují odhady pro neuronovou síť se dvěma skrytými vrstvami: N1 = out*(out/in)^(2/3) a N2 = out*(out/in)^(1/3), kde v tomto případě je out=256 a in=4. Nejlepší by bylo otestovat pro různé počty neuronů, kdy síť na testovacích datech klasifikuje nejlépe.

Jinak jsou tam 2 skryté vrstvy a jedna výstupní. Někdy se volí pouze jedna skrytá vrstva - aspoň jedna je potřeba, protože pro některé problémy (např. XOR) by jen výstupní vrstva nestačila.

Pokud by byla jen jedna skrytá vrstva tak situace je následující. Ta jedna vrstva rozseká prostor na různé dvojice podprostorů - viz článek 5. Tím v prostoru vzniknou různé polygonální oblasti. A poslední výstupní vrstva se pak naučí, že když je bod uvnitř té které oblasti, tak jak se má klasifikovat.

V případě, že máme dvě skryté vrstvy může se ještě zpřesnit klasifikace bodů na rozhraní mezi dvěma oblastmi.

Komentovaný kód můžete zaslat na e-mail, děkuji.

Připomělo mi to jeden článek, který jsem četl odhaduju tak před patnácti, dvaceti lety.
V něm se psalo, jak americká armáda začala dělat pokusy s neuronovou sítí, kterou chtěli používat na vyhodnocování nějakých fotografií. Konkrétně pro rozlišení, zda na fotografii je nebo není tank. Vzali sérii fotografií na které neuronovu síť učili. Když se zdálo, že je naučená a vše funguje, dali jí jinou sadu fotografií. Výsledky byly najednou katastrofální.
Dodatečně přišli na to, že v původní sérii se snímky s tankem a bez liší svým jasem (tuším, že všechny fotky s tankem byly tmavší) a neuronová síť se naučila to rozpoznávat podle něj. :-)

mohli zvolit špatný způsob výpočtu vektoru popisujicího obrázek anebo učili síť na špatných datech.. ale od té doby se mnoho věcí posunulo dál :)

Neuronova sit se naucila rozpoznavat trenovaci fotky u kterych po ni americka armada chtela aby je klasifikovala jako tank od trenovacich fotek u kterych po ni chtela aby je klasifikovala jako bez tanku :)

Přidávám se k pochvalám za přínosný článek i seriál a zároveň k posteskům, že si autor zrovna vybral zrovna Javu, na kterou jsem značně alergickej ;-)

Ses na javu alergickej? Treba bude pristi clanek o biologickych komputacnich procesech v imunitnim systemu...

+1 .

+1. Já jsem takhle napsal algoritmus na obchodování na forexu, naučil jsem ho na prvních 7 měsících letošního roku a světe div se, v tom samém období dokázal na testovacím účtu počáteční vklad zdvacetinásobit :-)
Kolega mi kladl na srdce, že je třeba hned 3 různé množiny dat: 1. na učení strategií, 2 na výběr nejlepších strategií a 3. na ověření, že ty nejlepši fungují.

Pro to obchodování na burze nepomůže ani testování na těch nejoptimálnějších datech. Jeden "drobný" faktor, a to mj. i zásah do entropie při reálném obchodování, tohle všechno zbourá jak domeček z karet.

Ja myslim ze u burzy je metodicka chyba v tom, ze neni mozne aby vsichni meli zisky, protoze penize se proste presouvaji od jednoho k druhemu, jeden musi mit zisk druhy ztratu.

Jenze vsichni chteji zisky mit (muj predpoklad - pokud se tam nachazi nejaky masochista ktery jde na burzu s cilem tam prodelat tak se omlouvam)

Takze to jako celek podle me nemuze fungovat.

Navrhuju se na burzu vykaslat a zabyvat se misto toho aktivitami typu win-win.

Souhlasím, samozřejmě na jiných obrázcích než naučených klasifikace bude horší. Správně by se mělo testovat na jiných (testovacích) datech a učení provádět do okamžiku než se síť začně přeučovat (příliš zaměřovat na detaily), tedy do okamžiku než úspěšnost klasifikace začne na testovacích datech klesat. Ale pro zjednodušení se v příkladu testuje na těch samých obrázcích a pak je v zipu několik obrázků, na kterých učení neprobíhalo a lze pro ně ověřit, že se klasifikují dobře.

Proc by clovek nemohl testovat uspesnost klasifikace na trenovacich datech? Tento clanek je zarnym prikladem toho ze clovek muze.

Jen se pak nesmite divit, ze se v diskusi pod clankem budou objevovat nesouhlasne ci kriticke komentare, jako je ten Michala Illiche :)

Ono je to trosku jinak.
Klasifikace by se mela testovat samozrejme na testovacich datech, nikoliv trenovacich, ale pro uplnost se obvykle udava i presnost klasifikace na trenovaci mnozine - pro pripad, ze by nebyla 100%. Ono zrovna prave u neuronovych siti se clovek muze zamyslet nad tim, jestli nahodou neni sit s 100% presnosti na trenovacich datech preucena.

Nevíte co autor používá za kompilátor?

Žádnej, prostě píše jedničky a nuly.

Udelalo se ti dobre?

Proč taková agresivita? Si tady člověk udělá srandu a deset dalších z toho má infarkt.

Ale ty jsi z nej udelal debila.