Tukivektorikone

Tukivektorikone (engl. support-vector machine) on 1990-luvulla kehitetty lineaarinen luokitinmalli, joka soveltuu luokitteluun ja käyränsovitustehtävään. Tukivektorikone voidaan toteuttaa neuroverkolla.^[1] Tukivektorikoneen yleistämiskyky on MLP-neuroverkkoon verrattuna parempi. Yleistämiskyky kuvaa luokittimen kykyä luokitella ennalta tuntemattomat näytteet oikein.

Perusteet

Tukivektorikoneen perusajatus on sovittaa kahden näytejoukon väliin sellainen taso, että sen kanssa yhdensuuntaisten marginaalitasojen välimatka on mahdollisimman suuri eikä yksikään näyte jää marginaalitasojen väliin. Marginaalitasojen välimatkaa rajoittavia näytevektoreita kutsutaan tukivektoreiksi. Luokittelun tulos riippuu ainoastaan näistä tukivektoreista.

Tukivektorikoneen tulee opetuksen jälkeen osata luokitella mielivaltainen näyte. Luokitin opetetaan opetusaineiston perusteella, ja siksi sen hyvyys osaltaan riippuu opetusaineiston hyvyydestä.

Kun opetusjoukot eivät ole separoituvia, käytetään tukivektorikonetoteutusta, jota kutsutaan joustavan marginaalin luokittimeksi. Menetelmä etsii opetusaineistosta ne näytevektorit, jotka määrittävät eri luokkien rajat.

Optimimarginaaliluokitin

Optimimarginaaliluokitin on tukivektorikoneen toteutus separoituville näytejoukoille. Optimimarginaaliluokitin määrää päätöstason $\mathbf {w} ^{T}\mathbf {x} +b=0$ kahden separoituvan näytejoukon välille. Lisäksi vaaditaan että kummankin luokan päätöstasoa lähimmän pisteen ja päätöstason välinen etäisyys on mahdollisimman suuri. Tämä tarkoittaa sitä että kummankin luokan lyhin etäisyys pintaan nähden on sama, koska kokonaisuuden kannalta lyhin etäisyys määrittyy lähempänä olevan luokan perusteella.

Luokat ovat lineaarisesti separoituvia silloin kun kahden eri luokan yksikäsitteinen erottaminen yhdellä tasolla on mahdollista.

Etsitään piirreavaruuden $R^{N}$ tasoa $(\mathbf {w} ,b)$ siten, että näytevektorille $\mathbf {x} _{i}$ pätee

{\begin{cases}\mathbf {w} ^{T}\mathbf {x} _{i}+b>0\quad ,{\mbox{kun }}\mathbf {x} _{i}{\mbox{ kuuluu luokkaan a}}\\\mathbf {w} ^{T}\mathbf {x} _{i}+b<0\quad ,{\mbox{kun }}\mathbf {x} _{i}{\mbox{ kuuluu luokkaan b}}\end{cases}}

.

Sovitaan, että luokan $a$ pisteitä vastaa $y$ :n arvo $+1$ ja luokan $b$ $-1$ . Muodostetaan yhtälö

y(\mathbf {w} ^{T}\mathbf {x} +b)>0

,

joka pätee kummankin luokan pisteille. Jos opetustieto koostuu $l$ eri pisteestä, jotka ovat $\mathbf {x} _{i}$ , kun $i=1,\dots ,l$ , ja $y_{i}$ ovat niiden vastaavat luokat (joko $+1$ tai $-1$ ), niin vaadimme että luokat erottava taso $(\mathbf {w} ,b)$ toteuttaa ehdon

y_{i}(\mathbf {w} ^{T}\mathbf {x} _{i}+b)>0\quad \forall i=1,\dots ,l

.

Näytepisteen euklidinen etäisyys tasoon $(\mathbf {w} ,b)$ on

\min _{i=1}^{l}{\frac {|\mathbf {w} ^{T}\mathbf {x} _{i}+b|}{\|\mathbf {w} \|}}

.

Päätöstason löytämiseksi on olemassa useita ratkaisutapoja. Kirjallisuudessa usein esiintyvä ratkaisutapa perustuu neliölliseen optimointiin. Toinen tapa on etsiä kummallekin luokalle konveksipeitteet, ja sen jälkeen etsiä konveksipeitteiden välinen lyhin etäisyys ja tätä vastaavat pisteet $p_{a}$ ja $p_{b}$ peitteiden pinnalla. Päätöstason normaalivektori $\mathbf {w}$ on pisteiden $p_{a}$ ja $p_{b}$ erotus vektorin suuntainen, ja $b$ on näiden pisteiden keskiarvo.

Ratkaiseminen neliöllisellä optimoinnilla

Optimimarginaaliluokitin määritetään ratkaisemalla seuraava neliöllinen optimointiongelma. Ratkaistaan päätöstaso minimoimalla lauseke ${\frac {1}{2}}\|\mathbf {w} \|^{2}$ tason normaalivektorin $\mathbf {w}$ suhteen ehdolla

y_{i}(\mathbf {w} ^{T}\mathbf {x} _{i}+b)\geq 1\quad \forall i=1,\dots ,l

.

Muuttuja $b$ ratkaistaan ehdosta.

Päätöstason yksiselitteiseen määrittämiseen tarvitsee tuntea kaksi tasoa lähinnä olevaa pistettä $\mathbf {x} _{n}$ ja $\mathbf {x} _{m}$ . Pisteen $i$ euklidinen etäisyys tasoon $\mathbf {w}$ on

\delta _{i}={\frac {|\mathbf {w} ^{T}\mathbf {x} _{i}+b|}{\|\mathbf {w} \|}}

,

missä $\|\mathbf {w} \|$ on normalisointitermi.

Taso $(\mathbf {w} ,b)$ on yhdensuuntainen tason $(c\mathbf {w} ,cb)$ kanssa, kun $c>0$ , josta seuraa että $c$ voidaan valita siten, että $|c\mathbf {w} ^{T}\mathbf {x} _{i}+cb|=1$ pisteille $\mathbf {x} _{n}$ ja $\mathbf {x} _{m}$ . Tällöin euklidisten etäisyyksien summaksi saadaan

\delta _{n}+\delta _{m}={\frac {|c\mathbf {w} ^{T}\mathbf {x} _{n}+cb|}{\|c\mathbf {w} \|}}+{\frac {|c\mathbf {w} ^{T}\mathbf {x} _{m}+cb|}{\|c\mathbf {w} \|}}={\frac {2}{\|c\mathbf {w} \|}}

.

Tämän seurauksena rajoittamalla reunaehdot annetun tehtävän mukaisesti ja minimoimalla $\|\mathbf {w} \|$ , marginaalitasoilla sijaitsevien pisteiden m ja n etäisyys maksimoituu.

Joustavan marginaalin luokitin

Joustavan marginaalin luokitin (C-SVM) optimimarginaaliluokittimen yleistys ei-separoituville näytejoukoille. Lähes kaikissa käytännön luokittelutehtävissä näytejoukot ovat ei-separoituvia. Ei-separoituvuus huomioidaan määrittämällä jokaiselle väärään luokkaan luokittuvalle näytteelle ns. slack-vakio $\gamma _{i}$ , mikä on näytteen etäisyys päätöspintaan. Vakio $\gamma _{i}=0$ , kun näyte luokittuu oikein.

Kahteen luokkaan luokitteleva joustavan marginaalin luokitin määritetään ratkaisemalla neliöllinen optimointiongelma

\min {\frac {1}{2}}\|\mathbf {w} \|^{2}+C\sum _{i=1}^{l}\gamma _{i}

muuttujien $\mathbf {w}$ , $b$ ja $\gamma _{i}$ suhteen kun reunaehdot ovat

y_{i}(\mathbf {w} ^{T}\mathbf {x} _{i}+b)\geq 1-\gamma _{i}

ja

\gamma _{i}\geq 0

kun $i=1,\dots ,l$ . Ongelma voidaan ratkaista ratkaisemalla Lagrangen menetelmällä konstruoitu duaaliongelma

\min {\frac {1}{2}}\sum _{i=1}^{l}\sum _{j=1}^{l}\alpha _{i}\alpha _{j}K(\mathbf {x_{i}} ,\mathbf {x_{j}} )-C\sum _{i=1}^{l}\mathbf {\alpha } _{i}

missä $C$ on regularisointitermi ja reunaehdot ovat

\mathbf {\alpha } _{i}\geq 0

ja

\mathbf {y} ^{T}\mathbf {\alpha } =0

missä $\mathbf {\alpha } _{i}$ ovat Lagrangen kertoimet ja $\mathbf {y} =[y_{1},\dots ,y_{l}]^{T}$ .

Epälineaarinen tukivektorikone

Coverin teoreeman mukaan kaksi ei-separoituvaa näytejoukkoa separoituvat suuremmalla todennäköisyydellä, kun ne kuvataan epälineaarisesti korkeampiulotteiseen avaruuteen. Tukivektorikoneen suorituskykyä voidaan parantaa kuvaamalla piirreavaruus kernelifunktiolla $K(\mathbf {x} ,\mathbf {y} )$ , joka implisiittisesti määrittelee kuvauksen.

Mercerin teorian perusteella kernelifunktiolle $K$ on olemassa sisätuloavaruus jos matriisi $M$ on positiivisemidefiniitti ja $K$ on symmetrinen funktio, kun $M_{ij}=K(\mathbf {x} _{i},\mathbf {x} _{j})$ kaikille $i,j=1,\dots ,l$ . Luokittelu suoritetaan sisätuloavaruudessa lineaarisesti, mutta päätöspinta kuvautuu piirreavaruuteen epälineaariseksi, kuten ympyräksi tai ellipsiksi radiaalisella kernelifunktiolla. Mercerin teoria mahdollistaa epälineaarisen luokittimen määrittämisen intuitiivisesti.

Mielivaltainen piste $\mathbf {x}$ luokitellaan luokkaan $+1$ , kun

d=\sum _{i=1}^{l}\alpha _{i}K(\mathbf {x} _{i},\mathbf {x} )>0

ja muussa tapauksessa luokkaan $-1$ .

Havaitaan, että kun $\alpha _{i}>0$ , niin $\mathbf {x} _{i}$ on tukivektori. Näin ollen luokittelu riippuu ainoastaan tukivektoreista.

Kernelifunktiota

Yleisimpiä kernelifunktiota ovat

polynominen kernelifunktio $K(\mathbf {x} _{i},\mathbf {x} )=(\mathbf {x} ^{T}\mathbf {x} _{i}+1)^{p}$ , kun $p$ on positiivinen kokonaisluku
radiaalinen kernelifunktio $K(\mathbf {x} _{i},\mathbf {x} )=\exp(-{\frac {1}{2\sigma ^{2}}}\|\mathbf {x} -\mathbf {x} _{i}\|^{2})$ , kun $\sigma >0$

Polynominen kernelifunktio erottelee piirteet lineaarisesti lähtöavaruudessa kun taas radiaalinen funktio erottelee piirteet lineaarisesti tietyssä korkeaulotteisessa avaruudessa. Lähtöavaruuden näkökulmasta radiaalinen kernelifunktio erottelee näytteet epälineaarisesti ja se voi näin ollen sen suorituskyky on joissain tilainteissa polynomista luokitinta parempi.