Tiedot

Hebbian oppiminen - Samanaikaisen ampumisen ymmärtäminen

Hebbian oppiminen - Samanaikaisen ampumisen ymmärtäminen



We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

Olen alkanut kirjoittaa hermoverkkosimulaattoria Javassa ja ajattelen Hebbian Learningia, mutta olen jumissa yhdestä asiasta:

Mikä saa kaksi neuronia syttymään samalla aikavälillä, kun vain yksi niistä on syötetty ja toinen ei? Syttyykö se itsestään?

Hebbian oppimissääntö sanoo, että "ne tulipalot yhdistävät toisiaan", mutta koska aktivoin vain sisääntulon neuronin, mikä saa toisen sisäisen hermon tuleen? Pitääkö minun saada ne syttymään satunnaisesti toisinaan pelkän painomatriisin sijaan $ W_ {ij} $?

Olen valvomattoman oppimisen fani ja minun on aloitettava yksinkertaisella tapauksella, kuten annan jollekin 3-5 neuronista "1" ja odotan toiselta "0" "EI" -operaattoriksi.


Sinulla on periaatteessa 2 vaihtoehtoa:

  1. Sytytä manuaalisesti molemmat neuronit, jotka haluat yhdistää - tee tämä niin monta kertaa kuin tarvitaan pariliitoksen muodostamiseen. Oppimisen jälkeen riittää, että ammutaan vain yksi neuroni, jotta toinen neuroni voi halutessaan laukaista.
  2. Määritä aloituspaino neuronien väliselle yhteydelle siten, että yhden laukaisu laukaisee toisen. Tämä on pohjimmiltaan lyhentää yllä olevaa oppimisprosessia.

Normaalisti neuroverkkojen oppimisprosessi perustuu useisiin samanaikaisiin panoksiin - ei vain yhteen. Verkko oppii tilastollisen todennäköisyyden, että syöttöneuronit ampuvat yhteen, ja pystyy lopulta ennustamaan ne ilman, että ne ampuvat. Joten yksittäisen neuronin laukaisun testitapausta voidaan käyttää oppimisen jälkeen (ensimmäinen vaihtoehto) tai kun palautat koulutetun verkon aiemmin tallennetun matriisin (toinen vaihtoehto).


Luultavasti tiedät jo useimmat asiat, joista puhun. Mutta haluan tehdä sen selväksi millään tavalla.

Ensinnäkin hebian -oppimisen ei -tieteellisestä näkökulmasta

Luulen, että kun on vain 2 neuronia ja haluat "yhdistää ne yhteen", epäilen, että se ei oppisi mitään. Vuonna ja sinulla voi olla post-synaptinen neuroni, joka syttyy aina, kun esisynaptinen tulipalo.

Mutta kun on vähintään kaksi esisynaptista neuronia, se alkaa olla järkevää. (Ja voit välttää antamasta satunnaisia ​​numeroita)

Pitkän aikavälin potentiaatiosta (LTP) keskustellaan yleensä, kun hebian -oppiminen on käynnissä. Selvän esimerkin vuoksi oletetaan, että 3 esisynaptista neuronia yhdellä niistä (S1) on vahvempi yhteys (paino) post-synaptiseen neuroniin, kun taas kahdella (W1 ja W2) on heikko yhteys (paino).

Jotta se olisi konkreettisempi, annan (neurotieteellisesti epäkelpoiset) merkitykset näille neuroneille. Sanotaan, että post-synaptinen neuroni on neuroni, joka tunnisti moottoripyörät. S1 syttyy, kun näet pyörän, W1 syttyy, kun kuuluu moottorin ääni, ja W2 (tekee sen mielivaltaiseksi), kun se haisee kirsikoille.

Alussa sinulla ei ole aavistustakaan miltä moottoripyörä kuulostaa. Mutta kun näet sen, S1 laukaisee ja koska kuulet sen, myös W1 laukaisee. Kuitenkin W1: n panos on erittäin heikko. S1 voi tuottaa tarpeeksi tuloa post-synaptisen neuronin sytyttämiseen. Koska W1 laukaisi post-synaptisen neuronin ampumisen yhteydessä, yhteys vahvistui. Jos sinulla on paljon syötteitä joidenkin pisteiden jälkeen, jopa ilman S1: n läsnäoloa, post-synaptinen neuroni voi laukaista. Koska se ei tuoksunut kirsikoille, kun sanot, että moottoripyörä W2 pysyi samana.

Joten kotiin vietävä viesti on merkityksellinen, kun esisynaptisia tuloja on useita ja vaikutus on vain toiselle puolelle.

Lainaan Gazzangian "Kognitiivisen neurotieteen" kirjaa

kolme assosiatiivisen LTP: n sääntöä on piirretty:

  1. Yhteistyö. Useampien tulojen on oltava aktiivisia samanaikaisesti.
  2. Assosiatiivisuus. Heikot panokset vahvistuvat, kun niitä esiintyy samanaikaisesti vahvempien panosten kanssa.
  3. Erityisyys. Vain stimuloitu synapsi osoittaa tehostumista.

Koneoppimisen näkökulmasta:

Jos haluat oppia ilman valvontaa hermoverkoissa, sinun kannattaa katsoa:

  • Boltzmann -koneet
  • Stokastinen maksimaalisen todennäköisyyden oppiminen


Katso video: Hebbian Learning Algorithm Part 1 Explained With Solved Example (Elokuu 2022).