Hlavní navigace

Názory k článku
Biologické algoritmy (4) - Neuronové sítě

Martin Janiczek aura:85

----

celé vlákno

A já bych chtěl zase nějaký do kódu zapsaný praktický příklad ... :)
Jinak, díky za pěkně podanou teorii.

mfrd
mfrd (neregistrovaný) ---.6.broadband7.iol.cz
26. 4. 2012 21:38 Nový

Neuronová síť je podstatě analogový počítač.

celé vlákno

Dělal jsem diplomku na Neuronové sítě v aplikačním nasazení. Do tét problematiky mě dostal učitel ve druháku na střední škole no a po čase mi to došlo, že jde jen o marketing neuronová síť je obyčejný analogový počítač. ( ještě , že Táta schovával skripta, ze své doby studia na FEI VUT) Analogový počítač se skládá ze zesilovačů, které mají různé zesílení, jsou integrační, derivační, lineární atp. tedy defakto vždy jde o základní interpretaci neuronu. Takže kdo chce pochopit jak to funguje bez keců okolo ať vytáhne stará skripta a má hned jasno.

nautiluZ
nautiluZ (neregistrovaný) 62.240.187.---
29. 4. 2012 20:49 Nový

Re: Neuronová síť je podstatě analogový počítač.

celé vlákno

Jedina vyhoda je pocet neuronu a ze je to software, tj neni potreba pro kazdou verzi stavet obvod. Jinak "neuro" chipy se take prodavaji ajsou castecne rekonfigurovatelne a ano neni to nic jineho nez varianta analogoveho pocitace v podobe chipu

nautiluZ
nautiluZ (neregistrovaný) 62.240.187.---
29. 4. 2012 20:55 Nový

Re: Neuronová síť je podstatě analogový počítač.

celé vlákno

navic neuronova sit bez nauceni resp uciciho algoritmu je k nicemu

Neasi
Neasi (neregistrovaný) 31.31.73.---
27. 5. 2012 12:53 Nový

Re: Neuronová síť je podstatě analogový počítač.

celé vlákno

A odkud je má vytáhnout?* :D

*nenápadné pošťouchnutí ve stylu oscannuj a hoď na uložto

kdosi
kdosi (neregistrovaný) ---.159.broadband11.iol.cz
25. 4. 2012 2:28 Nový

Pekny clanek

celé vlákno

Doufam, ze takto polopaticky bude vysvetlovana problematika i v dalsich dilech. Snad konecne pochopim jak vlastne back propagation a nebo jine algoritmy uceni funguji. Diky.

Honza
Honza (neregistrovaný) 94.230.156.---
25. 4. 2012 4:36 Nový

Re: Pekny clanek

celé vlákno

Backpropagation (nebo aspoň její základní myšlenka) je celkem jednoduchá záležitost. U váhy každého vstupu každého neuronu spočítáme derivaci toho, jak ovlivňuje celkovou chybu na tréninkové množině. A v každém kroku posuneme váhu ve směru příslušné derivace. Prostě normální gradientní metoda, nic jiného v tom není. Po deseti milionech iterací uvíznete v nějakém lokálním minimu... Ale na to aby se spočítal třeba XOR to stačí. Samozřejmě pak jsou různá vylepšení, přidává se setrvačnost, v případě uvíznutí se s tím "zatřese", v případě přibližného nalezení minima se to "ochlazuje", řeší se automaticky počet vrstev a počet neuronů v každé vrstvě atd. atd. Jsem zvědavý, s čím autor přijde, až ukáže nějaký příklad. Abych řekl pravdu, na matfyzu byly ty praktické příklady, co jsme programovali, spíš demotivační.

vgfagasd
vgfagasd (neregistrovaný) ---.customer.poda.cz
25. 4. 2012 5:22 Nový

Re: Pekny clanek

celé vlákno

zajemci najdou na webu hafo prikladu.
na zdejsim prikladu s muzi a zenami si muzete vytrenovat sit
na vstupni parametry vyska, delka vlasu a vytrenovana sit
vam pak bude vyhazovat vysledek muz, zena.

Honza
Honza (neregistrovaný) 2001:67c:2594:----:----:----:----:----
25. 4. 2012 9:56 Nový

Re: Pekny clanek

celé vlákno

Ale jo, urcite se to da vygooglit. Ale od toho je tenhle serial, aby clovel googlit nemusel a mel to vysvetlene "pro blby" a v cestine a mohl si to precist bez velke dusevni namahy i treba v praci behem buildu projektu :-)

Priklad muz/zena je prave ten demotivacni priklad, kdy sit se bude desne dlouho ucit to, na co i kazdy polointeliget navrhne 1000x lepsi algoritmus. Nic proti tomu prikladu, na vysvetleni, jak funguje perceptron, je to ok. Ale neni to priklad motivujici (ktery ocekavam v nejakem z dalsich dilu a ktery jsem nedostal pred x lety ve skole). Motivujici priklad je takovy, aby clovek zjistil, ze sit je i na neco dobra. Ze spocita i neco, kde neni elementarni navrhnout nejaky lepsi algoritmus.

Treba pekny priklad byl ten s genetickymi algoritmy na 3 kruznice.

sdfgsdfg
sdfgsdfg (neregistrovaný) 193.179.215.---
25. 4. 2012 10:51 Nový

Re: Pekny clanek

celé vlákno

ja jsem si kdysi hral s prikladem pro rozeznavani pismenka A.
byla dana matice 5x5 pseudo-pixelu a kazdy pixel mohl mit hodnotu
sedi 0 az 255 a sit se naucila a pak mela rici zda je v matici pismenko A.

napriklad ciste A vypadalo v hex takto:

00 00 FF 00 00
00 FF 00 FF 00
00 FF 00 FF 00
00 FF FF FF 00
00 FF 00 FF 00

Honza
Honza (neregistrovaný) 2001:67c:2594:----:----:----:----:----
25. 4. 2012 11:30 Nový

Re: Pekny clanek

celé vlákno

Jo, tohle jsou presne ty demotivacni pripady. Ja jsem si treba kdysi sam naprogramoval backpropagation a reseni XOR problemu. Krasne se to asi po 10000 iteracich vypocitalo. Ale pak jsem si uvedomil, ze to mam vlastne spatne. Treninkovou mnozinu jsem mel v matici 2x2 {((0,0),0), ((0,1),1), ((1,0),1), ((1,1),0)} a ta sit, mrcha jedna, se to naucila ne pres primky x = 1 a y = 1 (ocekavane reseni xor), ale pres dve rovnobezky x + y = 0.5 a x + y = 1.5. No ale hlavne me krkalo, ze se tady neco strasne slozite pocita a pritom kdejake ucho navrhne algoritmus na miru.

To same je s tim pismenkem A. Staci ho posunout nebo trochu zarotovat nebo dat do perspektivy nebo zmensit nebo udelat misto cerne na bile negativ a uz ho ta sit nenajde. Jo kdyby tohle sit umela, tak bych tleskal. Fixni pismenko s fixni barvou (coz predpokladam dela ta sit) vypocita i suma rozdilu od predepsane barvy pixelu.

Petr
Petr (neregistrovaný) 162.25.24.---
25. 4. 2012 12:48 Nový

Re: Pekny clanek

celé vlákno

Prave na pismenka je to celkem dobry. Myslim na tom funguji (nebo fungovaly) OCRka.

gsdfgsdfg
gsdfgsdfg (neregistrovaný) 193.179.215.---
25. 4. 2012 12:53 Nový

Re: Pekny clanek

celé vlákno

s tim A to byl primitivni priklad, pokud by se vzaly vhodnejsi vstupni
parametry nez pixely, tak by to mohlo rozeznavat i rotovane A, deformovane atd.

mp
mp (neregistrovaný) ---.koleje.cuni.cz
25. 4. 2012 13:55 Nový

Re: Pekny clanek

celé vlákno

na rozpoznavanie su dobre konvolucne neuronove siete, rucne pisane cislice rozpoznavaju skoro so 100percentnou uspesnostou

Honza
Honza (neregistrovaný) 2001:67c:2594:----:----:----:----:----
25. 4. 2012 13:57 Nový

Re: Pekny clanek

celé vlákno

Ano, sit, ktera by poznavala pismenka po nejakych transformacich by uz byl velmi zajimavy priklad. (Aspon pro me.) Idealne treba jako kdyby to cetlo nafocene SPZ, ale uz i treba jen kdyby to zvladalo posun a zaroven i rotaci nejakeho fixniho pismenka 5 x 5 pixelu... Ale obavam se, ze nejekym normalnim modelem s backpropagation by si clovek ani neskrtnul.

Samuel Kupka aura:83
25. 4. 2012 14:24 Nový

Re: Pekny clanek

celé vlákno

Backpropagation je na toto pouzitie absolutne nevhodna. Na taketo veci sa skor pouzivaju rozne "SOM" siete. Napriklad Kohonenova.

Martin
Martin (neregistrovaný) 95.140.245.---
1. 5. 2012 15:14 Nový

Re: Pekny clanek

celé vlákno

To se řeší poměrně snadno (alespoň teoreticky) :)
V rámci školního projektu jsem řešil rozpoznávání tvarů v obrázku pomocí neuronové sítě.
Zásadní pro řešení je, jak objekt popsat. Pokud ho popíšu maticí, pak při pootočení objektu jej již nemůžu popsat, protože matice mi popisuje objekt o konkrétní velikosti v konkrétní poloze. Proto je lepší objekt popsat pomocí vlastností, na které nemá změna měřítka, pootočení, případně umístění objektu vliv.
Já jsem používal tzv. invariantní momenty
(M. K. Hu, "Visual Pattern Recognition by Moment Invariants", IRE Trans. Info. Theory, vol. IT-8, pp.179–187, 1962), které popisují objekt nezávisle na jeho pozici, velikosti či natočení.
Síti se poté předkládají pro trénování objekty popsané těmito invariatními momenty. A při rozpoznávání pak vytahuji z obrazu objekty, spočítám invarianty a ty pak nechám vyhodnotit neuronovou sítí.

Pro upřesnění dodám, že můj projekt rozpoznával čtverec, obdélník, kruh, trojúhelník, hvězdičku. A rozpoznával jsem to pomocí sítě, která měla 7 vstupů(invarianty), 5 neuronů ve vnitřní vrstvě a tři neurony ve výstupní vrstvě(binárně kódovaný typ objektu, tj. např 000 čtverec, 001 obdélník, atd.)

Elektron112
Elektron112 (neregistrovaný) ---.tmcz.cz
25. 4. 2012 19:17 Nový

Re: Pekny clanek

celé vlákno

A co když nevím, co je derivace?

fasfasdf
fasfasdf (neregistrovaný) ---.customer.poda.cz
25. 4. 2012 20:53 Nový

Re: Pekny clanek

celé vlákno
Petr
Petr (neregistrovaný) 162.25.24.---
25. 4. 2012 21:18 Nový

Re: Pekny clanek

celé vlákno

No tos mu teda pomohl...

Honza
Honza (neregistrovaný) 94.230.156.---
25. 4. 2012 22:19 Nový

Re: Pekny clanek

celé vlákno

Tak si představ, že je to něco jako sklon funkce. f(x) = x má (všude stejnou) derivaci 1. Konstanta 0. -x má 1. 2x má dva. Takže gradientní metoda znamená, že všemi váhami pohneš tím směrem, kterým se snižuje chyba. (Asi jako když půjdeš pořád přímo dolů, čím je svah prudší, tím rychleji, a budeš doufat, že dojdeš do nejhlubšího místa na světě.) U neuronové sítě s vhodně zvolenou aktivační funkcí se ty derivace i dají celkem v pohodě spočítat.

Překlep
Překlep (neregistrovaný) 94.230.156.---
25. 4. 2012 22:21 Nový

Re: Pekny clanek

celé vlákno

Pardon, -x má samozřejmě derivaci mínus jedna.

Quark1966 aura:98

Re: Pekny clanek

celé vlákno

Průbeh funkce je výška cesty do kopce, po rovnice zkopce a tak. Derivace je průběh stoupání, tj. hodně, skoro nula, mínus.

Jenda
Jenda (neregistrovaný) ---.net.upcbroadband.cz
25. 4. 2012 15:25 Nový

Re: Pekny clanek

celé vlákno

Možná by se ti mohla líbit brmiversity - http://video.hrach.eu/index.php?akce=7

Kdosi
Kdosi (neregistrovaný) ---.159.broadband11.iol.cz
25. 4. 2012 17:59 Nový

Re: Pekny clanek

celé vlákno

Diky za link, az bude cas urcite zkouknu.

Vecer sem nakonec k backpropagation nasel pochopitelny vysvetleni ... konecne ... vzdycky jsem mel totiz "stesti" a skoncil u textu psanych pravdepodobne nejakou formou mimozemstanstiny ... viz http://www.matematica.ciens.ucv.ve/dcrespin/Pub/backprop.pdf

Petr Smid
Petr Smid (neregistrovaný) 162.25.24.---
25. 4. 2012 12:49 Nový

Geneticke algoritmy a neuronove site

celé vlákno

Celkem by me zajimalo, jestli se treba v praxi nepouzivaji geneticke algoritmy na nalezeni nejlepsi neurovone site pro dany problem.

Honza
Honza (neregistrovaný) 2001:67c:2594:----:----:----:----:----
25. 4. 2012 13:59 Nový

Re: Geneticke algoritmy a neuronove site

celé vlákno

V praxi nevim, ale ve skole nam rikali, ze se to takhle delat da.

xvzf
xvzf (neregistrovaný) ---.anonymouse.org
25. 4. 2012 18:07 Nový

Re: Geneticke algoritmy a neuronove site

celé vlákno

Jasne. Asi najkrajsi priklad na toto je http://is.gd/polyworld - Naozaj stoji za zhliadnutie!

raketak
raketak (neregistrovaný) 2001:718:2:----:----:----:----:----
25. 4. 2012 22:54 Nový

Re: Geneticke algoritmy a neuronove site

celé vlákno
Umkebe Membe
Umkebe Membe (neregistrovaný) ---.biomed.cas.cz
30. 4. 2012 13:30 Nový

Re: Biologické algoritmy (4) - Neuronové sítě

celé vlákno

Přečetl jsem jen začátek "Neurony v přírodě" (to je ale češtin) a dál už jsem nemohl. Idkyž připustím, že se jedná o velmi zjednodušující popis, musím konstatovat, že takto neuron nefunguje. Jak pak mám věřit zbytku článku, resp. seriálu, o neuronových sítích, kterým nerozumím?

Miroslav Prýmek aura:58
30. 4. 2012 17:40 Nový

Re: Biologické algoritmy (4) - Neuronové sítě

celé vlákno

Co přesně je tam špatně a jak by to mělo být správně?

Martin
Martin (neregistrovaný) 95.140.245.---
1. 5. 2012 15:24 Nový

Pro upřesnění

Autor v článku dle mého názoru nepopisuje neuron McCulloch/Pitts, ale novější model, tzv. Perceptron.
Neuron McCulloch/Pitts, má 1..n vstupů, jeden inhibiční vstup, vnitřní potenciál a výstup. Vstupy se sčítají a pokud přesáhnou vnitřní potenciál a zároveň není signál na inhibičním vstupu, na výstupu je 1. V ostatních případech je na výstupu 0.

Keny
Keny (neregistrovaný) ---.nitex.cz
10. 5. 2012 18:53 Nový

Použití neuronové síti v grafech

Dobrý den, chci se zeptat, jak se dá použít neuronová sít v teorii grafů. Například na spojování uzlů, zadal bych vstupní matici uzlů a výstupní matici se stupni uzlů a chtěl bych aby se sít naučila ten graf pospojovat. Děkuji za radu

Nikto
Nikto (neregistrovaný) ---.dynamic.chello.sk
11. 6. 2012 16:27 Nový

Kedy bude pokracovanie?

Kedy bude pokracovanie k clanku?

JP77
JP77 (neregistrovaný) 89.190.68.---
28. 8. 2013 12:42 Nový

živý neuron

mám dotaz.
není mě z článku jasný jestli já mám neurony s digitálním binárním výstupem (0 nebo 1) a nebo jestli analogový výstup (0 až 1).
pozn.: jsem člověk s přírodním mozkem :-)

Zasílat nově přidané příspěvky e-mailem