Hlavní navigace

Biologické algoritmy (5) - Neuronové sítě

Vitalij Chalupník 14. 6. 2012

Další článek ze série o biologicky inspirovaných algoritmech jako jsou evoluční algoritmy, neuronové sítě, konvoluční neuronové sítě a další. Dnes zjistíme, jak vypadají neuronové sítě a jak se neurony spojují, jak lze rozlišovat i mezi více třídami a také zjistíme, jak funguje algoritmus Backpropagation.

Feed forward sítě

Neuron je schopen rozdělit prostor možných řešení pouze na dva poloprostory (viz minulý díl). V běžných složitějších úlohách je to však nedostatečné a tak musí být sestavena celá síť neuronů.

Jedním z nejpoužívanějších zapojení neuronů je tzv. feed-forward zapojení – několik vrstev neuronů je vzájemně propojených každý s každým. Příklad je uveden na obrázku níže.

Každý neuron v síti řeší pouze část celého problému. Výsledek je tvořen kompozicí příspěvků od všech neuronů v síti. Když se nad tím zamyslíme, takový přístup je v přírodě velmi výhodný. Přestane-li některý neuron fungovat (po vypití většího množství alkoholu :)), výsledek výpočtu neuronové sítě sice nebude tak přesný, ale v zásadě řešení bude správné. Celková naučená informace je tak rozprostřena mezi mnoha neurony.

Na uvedeném obrázku vidíme vstupní vrstvu, první skrytou vrstvu, druhou skrytou vrstvu a výstupní vrstvu. Vstupní vrstva pouze přeposílá signál na všechny neurony, neprovádí se žádný výpočet. V ostatních vrstvách pracují podle schématu popsaného v minulém dílu – sečtou se váhované vstupy, což tvoří potenciál, a je-li potenciál dostatečně velký, neuron na výstupu vyšle signál.

Na příkladu v minulém díle bylo naznačeno, jak by se řešilo rozpoznávání pohlaví. Potřebovali jsme pouze rozlišovat dvě třídy – muž a žena. Jiným příkladem by mohlo být rozlišení číslic od 0 do 9. V této úloze bychom potřebovali rozlišovat celkem 10 tříd. Neuronová síť by v takovém případě měla 10 neuronů ve výstupní vrstvě. Pokud je detekována číslice 0 – 9, pouze jeden výstupní neuron odpovídající detekované číslici vyšle signál.

Na obrázku níže vidíme příklad sítě. Na vstupu jsou zjištěné příznaky o neznámých číslicích. V prvním případě je detekována číslice 0, ve druhém případě číslice 3. Tímto způsobem je možné detekovat libovolný počet tříd. Hodnoty na výstupu samozřejmě nemusejí být diskrétní, jak je to uvedeno na obrázku, nicméně stačí ze všech hodnot vybrat maximum a to odpovídá detekované třídě.

Geometrická interpretace činnosti neuronové sítě

Každý neuron rozděluje prostor na dva poloprostory. První skrytá vrstva, která obsahuje několik neuronů, tak rozdělí prostor na několik různých polorovin – viz obrázek níže. Každá přímka odpovídá jednomu neuronu v první skryté vrstvě.

Takové rozdělení umožňuje prostor dobře zmapovat a najít odlišné polygonální oblasti. Výstup z první skryté vrstvy určuje oblast, ve které neznámý bod leží. Zvětšením množství neuronů se tak zvyšuje množství těchto polygonálních oblastí a tudíž i rozlišovací schopnost – prostor lze popsat více detailně. Pomocí druhé skryté vrstvy se celý problém transformuje do nového prostoru, kde na vstupu již nejsou příznaky, ale příslušnosti k těmto polygonálním oblastem – druhá vrstva tak může zpřesnit rozdělení prostoru „vyhlazením“. Třídy nyní mohou být od sebe odděleny křivkami, nikoliv pouze přímkou, což zpřesňuje výsledek.

Učení – Backpropagation

Nejčastěji používaným algoritmem k učení neuronových sítí je algoritmus Backpropagation. Ten pracuje tak, že vyhodnocené řešení se porovná s očekávaným a tím se zjistí, o kolik se neuronová síť „spletla“. Zpětně se na základě toho vypočítává, o kolik se mají změnit váhy neuronů, aby se tato odchylka od správného řešení co nejvíce snížila. Výsledek učení si lze představit tak, že se uvedená křivka na obrázku výše přizpůsobuje datům.

Představme si graf jako na obrázku níže. Svislá osa odpovídá velikosti chyby, zbylé osy parametrům sítě. Pro různou volbu parametrů sítě je tak přesně dána chyba, které se dopustíme. Cílem učení je najít globální minimum – tedy takové nastavení parametrů sítě, aby chyba byla minimální.

Na začátku učení se zvolí náhodné nastavení parametrů. Takovou náhodnou neuronovou síť lze zanést jako bod do výše uvedeného grafu. Výpočtem lze zjistit směr, ve kterém chyba z tohoto vneseného bodu klesá nejrychleji – nejstrmější propast. Směr této nejstrmější propasti je naznačen červenou šipkou. Tato červená šipka reprezentuje vektor, který nazýváme gradient. Postupně ve směru šipky – gradientu – posouváme myšlený bod (nastavení parametrů neuronové sítě), dokud se nedostaneme do místa s nejnižší chybou.

Algoritmus, který zde byl polopaticky v pár větách popsán, se dá přesně vyjádřit matematicky, což je pro implementaci nezbytné.

Uvedeme si nyní vztahy, pomocí kterých se váhy aktualizují. Jejich odvození vyžaduje hlubší znalost vyšší matematiky, čímž nechci čtenáře zatěžovat.

Uvažujme síť se dvěma skrytými vrstvami jako na schématu níže.

Hodnoty x1 - xNx jsou příznaky na vstupu, na základě kterých klasifikujeme. Parametry ykvrstva jsou výstupy jednotlivých neuronů. A parametry wikvrstva jsou váhy mezi spojeními neuronů (váhy dentritů neuronů ve vrstvě vrstva). Nakonec c1 - cNout jsou očekávané výstupy, které by v ideálním případě, pokud je síť dobře naučená, měly být shodné s výstupy sítě  y1out - yNoutout.

Postup algoritmu Backpropagation je následující:

  1. inicializujeme všechny váhy wjk nahodile v rozsahu –1 až 1.
  2. Vezmeme další vzorek z trénovací sady dat x1 - xNx, u které známe výsledek c1 - cNout a necháme síť tento vstup vyhodnotit, čímž zjistíme hodnoty  yk.
  3. Na základě vzorců uvedených níže vypočteme nové hodnoty vah  wjk.
  4. Pokračujeme krokem 2. dokud neprojdeme všechny vzorky, popř. lze stejné vzorky procházet i vícekrát.

Symbol η je parametr rychlosti učení. Většinou se volí okolo hodnoty 0.1. Vyšší hodnota umožní rychleji se učit avšak na úkor kvality. Parametr γ odpovídá použité aktivační funkci Sigmoid. Jeho hodnota ovlivňuje strmost této aktivační funkce. Většinou se volí γ =  1.0.

Trocha matematiky na závěr snad nikoho neodradilo, nicméně pro implementaci jsou tyto základy nezbytné, což si vyzkoušíme v příštím dílu.

Příště

Příště naprogramujeme v jazyce Java algoritmus neuronové sítě včetně učení pomocí Backpropagace. Tuto síť vyzkoušíme na praktickém příkladu – rozpoznávání scény na fotografiích. Vstupem bude libovolná fotografie a program rozhodne, jestli je na fotografii vyfocena scéna z přírody, v místnosti, noční scéna nebo jestli na fotografii je sken stránky.

Našli jste v článku chybu?

14. 6. 2012 0:44

peci1 (neregistrovaný)

Clanek je psan celkem zajimave, jen by klidne mohl byt delsi =)

Docela mi ale vadi takove ty czenglish slova. 'Sigmoid function' se v cestine jmenuje normalne 'sigmoida' - nevidim duvod, proc ten (pekny) nazev nepouzit. Uplne me dopalila 'backpropagace'... Tak bud 'backpropagation' nebo 'zpetne sireni', ale tohle prosim ne.

14. 6. 2012 8:54

jimi (neregistrovaný)

tesim sa velmi na dalsi diel. implementujte v comkolvel, kazdy si to moze prepisat do 'svojho' jazyka.

Lupa.cz: Teletext je „internetem hipsterů“

Teletext je „internetem hipsterů“

Lupa.cz: Proč firmy málo chrání data? Chovají se logicky

Proč firmy málo chrání data? Chovají se logicky

Podnikatel.cz: Přehledná titulka, průvodci, responzivita

Přehledná titulka, průvodci, responzivita

Lupa.cz: Levný tarif pro Brno nebude. Radní: je to kartel

Levný tarif pro Brno nebude. Radní: je to kartel

Podnikatel.cz: Babiše přesvědčila 89letá podnikatelka?!

Babiše přesvědčila 89letá podnikatelka?!

Vitalia.cz: 9 největších mýtů o mase

9 největších mýtů o mase

120na80.cz: Jak oddálit Alzheimera?

Jak oddálit Alzheimera?

Podnikatel.cz: Podnikatelům dorazí varování od BSA

Podnikatelům dorazí varování od BSA

DigiZone.cz: Flix TV má set-top box s HEVC

Flix TV má set-top box s HEVC

Vitalia.cz: Říká amoleta - a myslí palačinka

Říká amoleta - a myslí palačinka

Podnikatel.cz: Udávání kvůli EET začalo

Udávání kvůli EET začalo

Podnikatel.cz: 1. den EET? Problémy s pokladnami

1. den EET? Problémy s pokladnami

Lupa.cz: Propustili je z Avastu, už po nich sahá ESET

Propustili je z Avastu, už po nich sahá ESET

Měšec.cz: U levneELEKTRO.cz už reklamaci nevyřídíte

U levneELEKTRO.cz už reklamaci nevyřídíte

Měšec.cz: Golfové pojištění: kde si jej můžete sjednat?

Golfové pojištění: kde si jej můžete sjednat?

Lupa.cz: Co se dá měřit přes Internet věcí

Co se dá měřit přes Internet věcí

Vitalia.cz: Mondelez stahuje rizikovou čokoládu Milka

Mondelez stahuje rizikovou čokoládu Milka

Vitalia.cz: Dáte si jahody s plísní?

Dáte si jahody s plísní?

Měšec.cz: Kdy vám stát dá na stěhování 50 000 Kč?

Kdy vám stát dá na stěhování 50 000 Kč?

DigiZone.cz: ČRa DVB-T2 ověřeno: Hisense a Sencor

ČRa DVB-T2 ověřeno: Hisense a Sencor