Käytettävyyden arviointi etämenetelmin

Käytettävyyden arviointia etämenetelmien avulla suoritettaessa tapahtuma siirretään perinteisen käytettävyyslaboratorion ulkopuolelle erilaisten ohjelmien avulla. Tarkoituksena on arvioida esimerkiksi www-sivuston tai tietokoneohjelman toimintaa käyttäjäryhmän näkökulmasta.

Aika ennen etämenetelmiä

Aikaisemmin käytettävyyttä arvioitiin haastatteluiden avulla. Haastatteluissa on muutamia huonoja puolia, kuten ajan kulutus, mielipiteisiin vaikuttamisen mahdollisuus ja ne vaativat huomattavasti työtä. [Lister, 2001].

Nykyinen metodi tutkimuksen tekemiseen on suorittaa käytettävyystutkimuksia käytettävyyslaboratoriossa . Kuten haastattelututkimuksessakin, koehenkilöiden on tultava paikalle ja testien suorittajilta vaaditaan huomattavaa määrää työtä testien suorittamiseen ja niiden analysoimiseen. [Thompson et al., 2004].

Etätestaus menetelmänä

Etätestaus on menetelmänä hyvin samankaltainen kuin perinteinen käytettävyystestauskin. Koehenkilö istuu omalla koneellaan ja suorittaa valvojan antamia, ennalta laadittuja tehtäviä. Koehenkilön kuva, selaimen kuva ja kommunikaatioyhteys ovat pakollisia ominaisuuksia. Kuten perinteisissäkin käytettävyystestausmenetelmissä, myös koehenkilön äänen olisi hyvä välittyä testin valvojalle, jotta tämä kuulee koehenkilön ääneen ajattelun. Testitilanteesta saa myös kerättyä enemmän tietoa jos käytössä on jokin ohjelma, joka lähettää koehenkilön ohjelmassa tekemistä toiminnoista dataa suoraan valvojalle.

Työkalut

Testien tekemisen helpottamiseksi on suunniteltu erilaisia ohjelmia, jotka pystyvät analysoimaan käyttäjien tekemiä asioita testitilanteen aikana. Tullis et al. [2005] mainitsevatkin, että etätyökalujen avulla tehtyjen käytettävyystutkimusten tulokset osoittavat joissakin tapauksissa käyttäjien löytävän enemmän käytettävyysongelmia tällä tavoin ja vastaavan kuitenkin laadultaan nykyisiä metodeja. Tämä saattaa selittyä sillä, että etätestaus mahdollistaa sekä useiden erilaisten käyttäjäryhmien että suurempien käyttäjämäärien testaamisen [Tullis et al., 2002]. Tällaisten työkalujen ansiosta testaus ei ole enää sidottu aikaan eikä paikkaan, vaan käyttäjät pystyvät tekemään testinsä omalta koneeltaan.

Lister [2001] kuvaa tapaa testien tekemiseen, jossa käyttäjä istuu omalla koneellaan varusteinaan web-kamera ja testin tekemiseen muunnettu selainohjelma. Selainohjelma nauhoittaa käyttäjän selaimen välityksellä tekemät toimet kuten osoittimen liikuttamisen sekä linkkien, painikkeiden ja valikoiden käytön. Myös käyttäjän ääni ja kuva välittyy web-kameran avulla, joten on mahdollista nauhoittaa myös käyttäjän reaktiot hämmentävissä tilanteissa.

Thompson et al. [2004] ovat testanneet erilaisia tarjolla olevia www-ohjelmistoja, jotka tarjosivat mahdollisuuksia sivustojen etätestaamiseen. Ominaisuuksiltaan ohjelmat tarjoavat mahdollisuudet jaetun näytön käyttöön, testitilanteen ja siinä tapahtuvien tilanteiden nauhoittaminen, jaettuun tilaan kommunikoinnille (esimerkiksi whiteboard) ja selaimen etähallintaan.

Työkalujen ominaisuudet

Ominaisuus:	Pakollinen	Suositeltava
Selainohjelma	X
Web-kamera	X
Väline tehtävien toimittamiseen	X
Mikrofoni		X
Selaimen etähallinta		X
Hiiren datan nauhoitusohjelma		X
Yhteinen tila, esimerkiksi whiteboard		X

Hyviä ja huonoja puolia

Tällaiset etätestausmenetelmät tuovat mukanaan sekä huonoja että hyviä ominaisuuksia. Hyviä ominaisuuksia ovat käyttömahdollisuudet paikasta ja ajasta riippumatta, järjestelyiden minimaalisuus sekä kerättävän tiedon automaattinen siirtäminen normaalien tiedonsiirtoprotokollien avulla. Videotallenne on myös helppo jakaa sellaisenaan eteenpäin asiakkaille.

Huonoina puolina tällaisissa testitilanteissa voi olla testien kontrolloimattomuus. Esimerkiksi laitteiden ja ohjelmien asennus voivat aiheuttaa ongelmia tavallisille ihmisille. Testejä ei myöskään pystytä valvomaan niin tehokkaasti kuin laboratorio-olosuhteissa, esimerkiksi käyttäjän opastaminen mahdollisissa ongelmatilanteissa tai ääneen ajattelusta muistuttaminen ovat huomattavasti vaikeampia. Lister [2001] kuitenkin esittää tämän asian hyötynä siten, että testihenkilöiden mielipiteisiin on vaikea vaikuttaa.

Useat etätestaamiseen soveltuvat ohjelmat kuitenkin ovat todella kalliita, koska kaikille käyttäjille tarvitsisi hankkia lisenssi. Thompson et al. [2004] havaitsivat tekemissään testeissä muun muassa seuraavanlaisia ongelmia: hiiren napin painallukset eivät tallentuneet ennen kuin www-sivu oli kokonaan latautunut, kaikki ohjelmistot eivät suostuneet toimimaan palomuurien kanssa, jotkut ohjelmista eivät tukeneet useampaa kuin kahta yhtaikaista käyttäjää ja muutamilla ohjelmistoilla oli ongelmia eri käyttöjärjestelmissä toimimisen kanssa.

Tärkeimmät ohjesäännöt käytettävyyden etätestaamiseen

• Testit kannattaa suorittaa koehenkilön ja testihenkilön ollessa samanaikaisesti koneella.
• Työkalun tarvitsee kyetä ainakin jaetun näkymän toimittamiseen molempien tietokoneille.
• Myös äänen nauhoittamisen pitäisi onnistua, jotta ääneen ajattelu onnistuu.
• Käyttäjälle tarvitsee opastaa ohjelman käytössä ja varmistaa, että kaikki laitteet varmasti toimivat.
• Toimita testimateriaalit luotettavia väyliä pitkin koehenkilöille ja varmista, etteivät he perehdy niihin etukäteen ja keskustele muiden ihmisten kanssa niistä.

Thompson et al. [2004]

Esimerkkityökaluja

WebEx [1]

• Toimii internet-selaimen välityksellä, salatussa verkossa.
• Toimittaa videota ja ääntä.
• Mahdollisuus estää kaikkia näytöllä olevia ikkunoita näkymästä toisille.
• Mahdollistaa yhteistyön tekemisen selaimen välityksellä (esimerkiksi tehtävien toimittamisen).
• Käyttöjärjestelmäriippumaton.
• Maksullinen.
• Ei ole tarkoitettu käytettävyystestaukseen, useita tarpeettomia ominaisuuksia.

WebQuilt [2] (Arkistoitu – Internet Archive)

• Käyttää välityspalvelinta.
• Lokitiedostoihin tallentuvat kaikki käyttäjän ja sivuston väliset vuorovaikutustapahtumat.
• Tallettaa myös ajan.
• Ei pysty seuraamaan kaikkia tapahtumia (esimerkiksi pop-up ikkunat ovat mahdottomia seurata).
• Visualisointi-ominaisuus, joka näyttää käytettävyysongelmat ja sivustolla liikkumisen.
• Käyttöjärjestelmä- ja selainriippumaton.

Vividence [3]

• Yhteisö, jonka jäsenien avulla on mahdollista tehdä tutkimuksia sivustoista.
• Noin 150000 arvioijaa saatavilla.
• Selainohjelma nauhoittaa vuorovaikutuksen ja arvioijien suoritukset.
• Arvioijat saavat myös antaa omia kommenttejaan.
• Ei anna muuta informaatiota kuin tilastoja.
• Maksullinen.

Snag-It [4]

• Kuvankaappaukseen käytettävä ohjelmisto.
• Saatavilla myös ilmaisia kokeiluversioita.
• Ohjelman avulla pystyy luomaan havainnollistavia esimerkkejä koehenkilön tekemistä asioista.
• Ohjelman käyttö ei näy koehenkilölle, koska ohjelmaa käytetään valvojan koneella.
• Erittäin hyödyllinen sellaisissa tilanteissa, joissa ei ole mahdollista kerätä dataa koehenkilön tekemistä asioista muilla tavoin.

Lähteet

• Lister [2001], Mike Lister. Usability testing software for the internet. Conference on human factors in computing systems, CHI '01, 17-18. ACM Press.
• Thompson et al. [2004], Katherine Thompson, Evelyn P. Rozanski and Anne R. Haake. Here, there, anywhere: remote usability testing that works. In: Proceedings of SIGITE'04, 2004, 132-137. ACM Press.
• Tullis et al. [2002], Tullis, T., Fleischman, S., McNulty, M., Cianchette, C., and Bergel, M. An Empirical Comparison of Lab and Remote Usability Testing of Web Sites. Usability Professionals Association Conference, July 2002.