Neuralis halozatok

1.
Ebben az utolso eloadasban a neuralis halozatokkal fogunk megismerkedni. 
A temakor merete miatt itt csak egy rovid attekintes lesz, a neuralis halozatok es a gepi tanulas alapos bemutatasa egy kovetkezo tanfolyam temakore lesz.

2.
A mesterseges neuralis halozatok a biologiai neuralis halozatok ihlette szamitasi rendszerek. A leggyakoribb alkalmazasi terulet a mintafelismeres, osztalyozas es a klaszterezes. Az abran ket kulonbozo tipusu mesteseges neuralis halozatot lathatunk. A bal oldali kepen agy perceptron van, a kesobbiekben ezzel fogunk foglalkozni. A jobb oldali abran egy tobbretegu halozat lathato, ezeket a halozatokat ebben a kurzusban reszletesen nem targyaljuk.

3.
A kurzusban ismertetett neuralis halozatok csak kozvetett modon fuzodnek a biologiai megfeleloikhez. Most roviden megismerkedunk az agynak azokkal a funkcioival amelyek kihatassal voltak a mesterseges neuralis halozatok fejlodesehez.
Az agy korulbelul 10^11 surun osszekapcsolt elembol all. Az elemenkenti kapcsolatok szamanak nagysagrendje 10^4. Ezeket az elemeket neuronoknak hivjak.
Kozeliteskent azt allithatjuk, hogy a neuronok 3 komponensbol allnak: a dendritekbol, a sejttestbol es az akszonbol. A dendritek azok az idegrostok amelyek az elektromos ingert szallitjak a sejttest fele. A sejttest osszegzi es kuszoboli ezeket a beerkezo jeleket. Az akszon pedig a jeleket tovabbitja azok a neuronok fele amelyekkel ossze van kotve. A pontot ahol egy sejt akszonja talalkozik egy masik sejt dendritjevel szinapszisnak nevezunk. A neuronok elrendezese es az egyes szinapszisok erossege hatarozza meg a neuralis halozat mukodeset.
A biologiai neuralis halozat egesz eleten keresztul valtozik. Az elet kesobbi szakaszara kevesbe jellemzo az uj kapcsolatok kialakitasa es a meglevo kapcsolatok megszunese, inkabb a mar meglevo kapcsolatok intenzitasa csokken vagy novekszik.

4.
Ide egy kepet.
A mesterseges neuralis halozatok kozelt sem annyira osszetettek mint az emberi agy. Megis ket kulcsfontossagu hasonlosag van koztuk:
- az elso, hogy mind a ket halozat epitoeleme egy egyszeru szamitasi eszkoz. Itt ki kell hangsulyozni hogy a mesterseges neuronoknak sokkal egyszerubb a felepitese mint a biologiai neuronnak.
- a masodik, hogy a neuronok kozotti kapcsolatok hatarozzak meg a halozat funkciojat. A neuralis halozatok tervezese altalaban a kapcsolatok erossegenek meghatarozasara iranyul.
Itt erdemes megemliteni, hogy annak ellenere hogy a biologiai neuronok sokkal lassabbak mint az elektromos aramkorok (milliszekundumos kapcsolasi ido nanoszekundumos kapcsolasi idohoz viszonyitva), az agy tovabbra is a feladatok jelentos reszet gyorsabban kepes megoldani mint akarmelyik szamitogep. Ez az agy parhuzamos strukturaja miatt lehetseges ami azt jelenti, hogy az osszes neuron allandoan mukodik.

5.
A mesterseges neuralis halozatoknak megvannak az elonyei es a hatranyai is.
Az elonyok kozul ki kell emelni a kovetkezoket:
- olyan feladatokat is el tud latni amelyeket egy linearis program nem kepes.
- ha a neuralis halozat egy eleme "elromlik", a halozat a parhuzamossag miatt folytatja a mukodest kulonosebb gond nelkul.
- an neuralis halo kepes tanulni.
- barmilyen teruleten alkalmazhato.

A hatranyok a kovetkezok:
- ahhoz hogy a halozat mukodokepes legyen tanitasra van szukseg.
- nagy neuralsi halozatoknal nagy a szamitasi igeny is.

6.
Az abran egy egybemenetu mesterseges neuron modellje lathato. A skalaris p bemenet es a w suly szorzasaval  nyerjuk a wp szorzatot amelyet utana az osszeadora kuldunk. A masik bemenetet, az "egy"-et a b biasszal szorozzuk ossze es utana vezetjuk az osszeadora. Az osszeado kimenete egyben az f atviteli fuggveny bemenete. Az atviteli fuggveny tipusatol fugg, hogy a bemenetbol mekkora kimetetet eredmenyez. Az atviteli fuggvenyt meg aktivacios fuggvenynek is szokas nevezni, a biasz-t pedig offszet-nek.

Komparacio
Ha ezt az egyszeru modellt osszehasonlitjuk a biologiai neuronnal, a kovetkezoket vonhatjuk le:
- a w suly a szinapszis erossegenek felel meg,
- a sejttest megfeleloje az osszegzo, es az atviteli fuggveny
- a neuron "a" kimenete pedig az akszon jelet kepviseli.
A neuron kimenetet a kovetkezo keplet alapjan szamitjuk ki:
a=f(wp+b)
Peldaul, ha w=5,p=2 es b=2.5, a neuron kimenete a=f(5*2+2.5)=f(12.5).
A kimenet fugg az alkalmazott aktivacios fuggvenytol, anelkul nem lehet meghatarozni a kimenetet.
A w es a b is a neuralis halozat modosithato parameterei. 
Tervezeskor altalaban eldontjuk hogy milyen aktivacios fuggvenyt fogunk hasznalni, utana pedig a w es b ertekeket valamilyen betanitasi szabaly alapjan hatarozzuk meg.

7.
Atviteli (aktivacios fuggvenyek)
Az atviteli fuggveny a az n valtozo linearis vagy nemlinearis fuggvenye. A 3 leggyakrabban alkalmazott atviteli fuggveny a kovetkezo:
- hard-limit atviteli fuggveny
- linearis atviteli fuggveny
- log-szigmoidalis atviteli fuggveny
A hard-limit atviteli fuggveny kimeneti erteke vagy 0 vagy 1, attol fuggoen hogy a bemenet elerte-e a kuszobot. Az itt bemutatott fuggvenyen a kuszob 0, de meg lehet hatarozni mas ertekeket is. Ennek a fuggvenynek letezik egy szimmetrikus valtozata is.
A linearis atviteli fuggeny kimeneti erteke mindig a bemeneti ertekkel egyforma. Letezik meg szaturalt linearis atviteli fuggveny is ahol az atviteli gorbe csak a bemeneti ertekek egy meghatarozott tartomanyara linearis, a tartomanyon kivul pedig allando.
A log-szigmoidalis atviteli fuggveny az egyik legpopularisabb fuggveny mert szabalyozni lehet a meredekseget. Hataresetben meg fog egyezni a hard-limit aktivacios fuggvennyel. Ennek a fuggvenynek letezik egy szimmetrikus valtozata is, a kimeneti tartomany akkor -1 es +1 kozott mozog.