Takaisinkytketty neuroverkko
Takaisinkytketty neuroverkko (engl. recurrent neural network) on neuroverkkoarkkitehtuuri, jossa syötteiden informaatio kulkee aika-askelittain eteenpäin. Toisin kuin tavalliset eteenpäin suunnatut neuroverkot, takaisinkytketyt neuroverkot voivat käyttää sisäistä tilaa (muistia) syötteiden käsittelemiseen. Takaisinkytketyt neuroverkot ovatkin omiaan ajallisesti jäsennetyn datan, kuten käsinkirjoituksen, tekstin tai puheen käsittelyyn.
Tavalliset takaisinkytketyt neuroverkot kärsivät katoavan gradientin ongelmasta. Mitä kauemmas aika-akselilla mennään, sitä vähemmän muutokset vaikuttavat lopputulokseen, ja sitä vaikeampi on oppia syy-seuraussuhteita. Esimerkiksi kieltä tuottava verkko oppii hyvin parin sanan mittaisia syy-seurausketjuja, mutta kymmenen sanan päähän ulottuva oppiminen on jo miltei mahdotonta. Katoavan gradientin ongelmaan on kehitetty ratkaisuksi pitkäkestoinen lyhytkestomuisti -arkkitehtuuri (engl. Long Short Term Memory, lyh. LSTM). Tällainen verkko pitää yllä sekä tulos- (output) että piilotettua (hidden) muistikerrosta. LSTM-arkkitehtuuri parantaa huomattavasti pitkien syy-seurausketjujen oppimista.
Takaisinkytketyt neuroverkot (RNN) perustuvat David Rumelhartin, Geoffrey Hintonin ja Ronald J. Williamsin julkaisuun Learning representations by back-propagating errors vuodelta 1986.[1] Pitkä-lyhytkestomuistiverkon esittelivät Sepp Hochreiter ja Jürgen Schmidhuber 1997.[2] LSTM-verkot mullistivat puheentunnistuksen. käsialantunnistuksen, konekäännöksen ja kielimallinnuksen vuodesta 2007 eteenpäin.