Keskustelu Wikipediasta:ORES/Arkisto 1

Tämä sivu on arkisto. Älä muokkaa tätä sivua.

ToDo

@4shadoww:. Ensinmäinen vaihe tehty, eli nyt saa API:lla pisteitä. Kiitokset. Jaksatko vetää läpi vielä nuo käyttöönoton advanced ja review tool -kohdat? --Zache (keskustelu) 27. maaliskuuta 2017 kello 15.00 (EEST)

Joo voin hoitaa nuokin vielä. Varmaankin viikonloppuna olisi aikaa tiketit aukaista. --4shadoww (keskustelu) 27. maaliskuuta 2017 kello 15.09 (EEST)

Lisätään nyt vielä tännekin sitten, eli avasin nyt tiketin phab:T161905. --4shadoww (keskustelu) 31. maaliskuuta 2017 kello 19.35 (EEST)

Hyvä! Lisäsin projektisivulle muutaman työkalun jolla voi katsoa miten nuo pisteytykset tällä hetkellä menee. Tulos oli vielä jokseenkin se, että kaikki ip-muokkaukset ovat ORES:n mukaan epäluotettavia ja vakiokäyttäjien OK mikä oli osumatarkkuuden puolesta ihan odotettava taso nyt kun tuota ei ole opetettu muuten kuin hyvin minimaalisella sanalistalla. --Zache (keskustelu) 1. huhtikuuta 2017 kello 06.34 (EEST)

Muokkauksen laatu (20k otos) -kampanja

Kuten varmaan huomasitte, niin Halfak teki uuden tiketin phab:T163013 muokkauksen laatu (20k otos) -kampanjan tekemisestä. Eli käytännössä tuossa on kaksi eri asiaa jotka ovat, että otoksen sisältämät 5542 muokkausta pitäisi arvioida JA se, että yhteisölle pitäisi tiedottaa otoksen arviointikampanjasta. Olettaisin, että tiedottamisen päämääränä on sekä kertoa, että ollaan tulevaisuudessa tekemässä koneoppimiseen perustuvaa vandalismintorjuntaa jotta se ei tule yllätyksenä sekä se, että saadaan lisää porukkaa arvioimaan noita muokkauksia jolloin muokkausten läpikäynti tapahtuu nopeammin.

Tein tälle nyt otsikon tuohon projektisivulle, mutta tuo tiedottaminen pitäisi vielä käytännössä tehdä. Haluaisitko sinä 4shadoww hoitaa taas nämä käytännön taskit tiedottamiseen liittyen? Voisin kuvitella, että viesti tekniikan kahvihuoneeseen siitä, että Muokkauksen laatu (20k otos) -kampanja on avattu ( announce the campaign) , etenemisraportti silloin kun 50% on täynnä (status update no. 1) ja toinen etenemisraporrti kun >90% on täynnä (status update no. 2) olisivat sopivia tuohon. --Zache (keskustelu) 15. huhtikuuta 2017 kello 12.47 (EEST)

Joo voin hoitaa tiedotuksen myöhemmin tänään. --4shadoww (keskustelu) 15. huhtikuuta 2017 kello 13.02 (EEST)

Kampanja tulikin valmiiksi jo näin nopeasti joten toinen etenemisraportti lienee se, että kerrotaan valmistumisesta ja siitä, että seuraavat nakit ovat tuon Ext-ORESin kääntäminen sekä Tuoreiden muutosten uusien suodattimien käännösten tekeminen. Tein niille translatewikiin ihan perinteiset listat (eri-rcfilters, rcfilters,ores-rcfilters), koska noita käännettäviä tekstejä ei löytynyt erillisenä ryhminä vaan ne olisivat olleet core-ryhmässä jossa on tuhansia käännettäviä tekstejä. --Zache (keskustelu) 24. huhtikuuta 2017 kello 01.59 (EEST)

Papukaijamerkki

Tiedosto:Robot.svg

Kiitos kun opetitte minua tunnistamaan muokkausten laatua –– ORES-the-Robot 24. huhtikuuta 2017 kello 22.31 (EEST) (Palkinnot)

{{Tunnustus|image=Robot.svg | text=Kiitos kun opetitte minua tunnistamaan muokkausten laatua –– [[Wikiprojekti:ORES|ORES-the-Robot]] ~~~~~}}

@4shadoww: Olisko tälläinen sopiva papukaijamerkki 20k-kampanjaan osallistuneille? --Zache (keskustelu) 24. huhtikuuta 2017 kello 22.31 (EEST)

Joo tuo on ihan hyvä. --4shadoww (keskustelu) 25. huhtikuuta 2017 kello 09.03 (EEST)

Käännös Ext-ORES

Ext-ORES -ryhmä on nyt alustavasti käännetty, joskin ei varmaan vielä hirveän yhteneväisesti, mutta noita voisia alkaa oikolukemaan. Käytin loppuvaiheessa seuraavia termejä, mutta ei ole alkupään käännöksissä vielä yhtenevät :

ORES scores

ORES-pisteet

prediction

Ennuste

Needs review

kaipaa huomiota

--Zache (keskustelu) 24. huhtikuuta 2017 kello 12.32 (EEST)

@4shadoww: voitaisiin muuten yrittää kääntää tämä loppuun ennen kuin ORES:n new edit filters tulee käyttöön 9.5. (ne käännöslinkit todo-listassa) --Zache (keskustelu) 2. toukokuuta 2017 kello 17.40 (EEST)

Joo voin varmaan huomenna käännellä nuo. --4shadoww (keskustelu) 2. toukokuuta 2017 kello 19.16 (EEST)

Tuoreet odottavat muutokset -pienoisohjelma

Lisäsin asetuksiin tuoreet odottavat muutokset -pienoisohjelman, joka näyttää vasemman reunan valikossa tuoreiden muutosten yläpuolella "tuoreet odottavat muutokset" -linkin joka suodattaa muut kuin arvioimattomat muutokset pois sekä värittää ORES:lla muutokset jos uudet suodattimet on beeta-asetuksista valittu käyttöön. Linkki itsessään on määritelty sivulla Järjestelmäviesti:Sidebar ja jos on ehdotuksia/toivomuksia siitä miten asetuksia voisi muuttaa, niin muutoksia voi ehdottaa. --Zache (keskustelu) 11. toukokuuta 2017 kello 04.17 (EEST)

Uusia seulojia tilasto

Lisäsin edellisen 50 muokkauksen ORES-keskiarvot Käyttäjä:Fiwiki-tools-bot/uusia seuloja -tilastoon ja ne ovat siinä viimeisinä sarakkeina. Automaattiseulotut pärjäävät todennäköisesti noin hyvin, koska automaattiseulojana oleminen on ehkä yksi asia joka huomioidaan arvioinnissa (tai sitten se on tuon tuloksen ulkopuolinen painotus) --Zache (keskustelu) 20. toukokuuta 2017 kello 04.17 (EEST)

ORES review tool ja Article quality models

Uudet ORES-suodattimet tulivat eilen illalla, ja näyttävät toimivan hyvin. Katselin tuota Todo listaa, ja siellä näkyi olevan kohta "Review tool". Korvaako nuo uudet suodattimet nyt kokonaan tuon työkalun? En-wikistä on ainakin hävinnyt tuo beta kohdasta, ja ymmärtääkseni nuo uudet suodattimet ajaa samaa asiaa, kuin tuo Review tool.

On olemassa myös mahdollisuus saada Article quality models tuki, joka arvioi artikkelien laatua. Mietin että aiotaanko tehdä tuonkin lisäämisestä pyyntö. Ei näytä olevan kovinkaan useassa wikissä vielä käytössä. --4shadoww (keskustelu) 10. toukokuuta 2017 kello 09.51 (EEST)

Ei varmaankaan tarvitse tuota review toolia enää saada päälle, koska luulen että nuo uudet suotimet tulevat kesänaikana tai viimeistään syksyllä, joka tapauksessa vakiona käyttöön ja tuo vanha systeemi katoaa. Se mitä pitäisi varmaankin selvittää on, että miten saadaan ilmoitettua virheellisistä arvioista esim ja saadaanko osumatarkkuutta parannettua jotenkin. --Zache (keskustelu) 10. toukokuuta 2017 kello 19.24 (EEST)

Article quality modelista, niin voi olla, että sen pystyyn virittäminen olisi mielenkiintoinen, koska sillä saa tehtyä nimensä mukaisesti laatuarviointia. Ne on sillä saanut mitattua mm. en:Wikipedia:WikiProject Women scientists projektin vaikutuksia ja sillä saa vertailtua eri aihealueita. --Zache (keskustelu) 21. toukokuuta 2017 kello 19.27 (EEST)

Aaron Halfakerin AMA Redditissä

Halfaker pitää Ask Me Anything -session Redditissä tänään kl 24.00 jos oikein katsoin ( June 1st at 21:00 UTC ) [1] . Lisäksi Wikimedia Hackathonin esitys löytyy Youtubesta: Wikimedia Hackathon 2017 - Aaron Halfaker on ORES yhden paikallaolijoista nauhoittamana. --Zache (keskustelu) 1. kesäkuuta 2017 kello 08.51 (EEST)

SeulojaBot

Lisäsin seulojabot:iin kokeeksi säännön ORES:lle (ks. arviointilogi ja kehittynyt arviointilogi) ja nuo arvioinnit tehtiin säännöllä goodfaith true >0.85 ja goodfaith false < 0.15 ja osittain valitsin arvot sen perusteella, että näytin tuon botin toimintaa täällä ja tuossa voisi olla jotain varmistuksia sille, että muokkausta ei hyväksytä jos on jokin asia joka estäisi hyväksynnän (esim. muokkaus on liputettu väärinkäyttösuodattimella) Lisätään vielä, että kävin nuo hyväksynnät jälkikäteen vielä läpi ja ne näyttivät minusta ihan ok:lta. --Zache (keskustelu) 21. toukokuuta 2017 kello 20.57 (EEST)

Paitsi tämä ei ollut ihan ok [2]. Oliko tämä lyhyt koe, vai seulooko botti nyt tästä eteenpäin? Siitä voisi varmaan ilmoittaa jossain yleisellä keskustelusivulla? Kävin itsekin joitakin läpi, ja näyttivät OK:lta, mutta vähän arveluttaa että botti hyväksyy henkilön merkitsemisen kuolleeksi, vaikka se menikin ihan sääntöjen mukaan, mutta tietääkö botti mikä tuo lähde on? Sehän voisi olla joku epäluotettavakin linkki. -kyykaarme (keskustelu) 22. toukokuuta 2017 kello 09.46 (EEST)

Botti itsessään on ollut pidempään käytössä, mutta nuo ORES-pohjainen hyväksyntä on jotain mitä tein nyt viikonloppuna ja se ei ole päällä muuten kuin silloin kun ajan tuota käsin. Nuo käytetyt ORES säännöt eivät sinänsä ymmärrä tuossa mitään siinä mielessä mitä ymmärryksellä tarkoitetaan vaan se tunnistaa juttuja sen perusteella miltä ne näyttävät eli kuolleeksi merkitseminen hyväksyttiin, koska siinä artikkeliin lisättiin asioita joita tyypillisesti hyviksi eikä siinä tehty mitään sellaista jotka ovat tyypillisiä huonoille muokkauksille. Se ei kuitenkaan ymmärrä sitä, että artikkelissa merkittiin joku kuolleeksi. Tuo toinen oli selkeästi virheellinen arvio ja ainakin periaatteessa ne pitäisi pystyä tunnistamaan ORES:lla kun systeemiä hiotaan tarkemmaksi (versioidan saamat pistemäärät näkee täältä: [3]) --Zache (keskustelu) 22. toukokuuta 2017 kello 10.12 (EEST)

Ajoin ORES-arvioinnin. --Zache (keskustelu) 24. toukokuuta 2017 kello 12.34 (EEST)

Virheellinen arviointi, konekäännös https://fi.wikipedia.org/w/index.php?title=Baskin-Robbins&type=revision&diff=16499435&oldid=16016688  –Kommentin jätti Zache (keskustelu – muokkaukset) 24. toukokuuta 2017 kello 12.38‎

PendingChangesBot

@4shadoww: Pistin pywikibottia käyttävän version githubiin: https://github.com/zache-fi/PendingChangesBot . Hirveästi tuosta ei ole hyöty odottavien muutosten arvioinnissa näin kesän ajalla, kun odottavien muutosten jono on sen verran lyhyt. Ensiarvioimattomia tuota kuitenkin saa ihan mielellään ajella esim seuraavilla asetuksilla. Tuo daylimit on sikäli oleellinen, että ilman sitä hyvin herkästi saadaan tukittua odottavien muutosten jono osittain arvioiduilla muokkauksilla.

$ python pwb.py PendingChangesBot/pendingchanges.py -lang:fi -family:wikipedia -unreviewedpages -daylimit:30

--Zache (keskustelu) 4. kesäkuuta 2017 kello 23.58 (EEST)

Ok, kiitos tiedosta. --4shadoww (keskustelu) 5. kesäkuuta 2017 kello 10.53 (EEST)

Mielenkiintoista meininkiä odottavissa muutoksissa. On ensiarvioitu vuosia vanhoja versioita ja sen jälkeiset ovat jonossa? -kyykaarme (keskustelu) 17. kesäkuuta 2017 kello 15.56 (EEST)

Kutakuinkin noin, tosin ei tarkoituksella. Botin toimintaperiaate on se, että se menee lähtee artikkelin vanhimmasta odottavasta muutoksesta ja menee yksi kerrallaan versioita läpi kunnes tulee sellaiseen muutoksen jota se ei pysty enää arvioimaan. Se mikä tuossa ei toiminut oli se, että minulla ei ollut päällä asetusta jolla valitaan kuinka vanhoja versioita sallitaan arvioitavan. Tuon asetuksen oli tarkoitus nimenomaan estää se, että arviointijonoon tulee esimerkiksi 10-vuotta vanhoja muutoksia. --Zache (keskustelu) 17. kesäkuuta 2017 kello 23.17 (EEST)

Tarkkuuden parantaminen

Kyselin tässä sähköpostitse Halfakerilta ORES:in tarkkuuden kehittämisestä. Ja tällä hetkellä parhaita tapoja parantaa tarkkuutta olisi raportoida virheellisistä osumista tällä wiki-sivulla, tai pistää uusi kampanja pystyyn. Tällä hetkellä on kuulema kehitteillä myös jokin systeemi, jolla voisi noista vääristä osumista ilmoittaa.

Tässä on vielä kokonaisuudessaan sähköposti jonka sain vastauksena:

So, there are two good ways to make the model work better (1) help us know where it's not working so that we can make fixes to the training process, (2) provide more training data via wikilabels. Regretfully, there's a set of problems with trying to retrain ORES based on giving it false-positives directly because ORES prediction affects people's judgements.

For (1), we're working on a system for recording false-positives, but in the meantime, the best way to track this is on a wiki page. You could file reports here: https://www.mediawiki.org/wiki/ORES/Issues/Edit_quality Or make a page that is local to your wiki. Here's what they did on Italian Wikipedia https://it.wikipedia.org/wiki/Progetto:Patrolling/ORES

For (2), the best way to do this is to have us set up a secondary labeling campaign in Wiki labels. I think we could get a substantial boost in overall accuracy by doubling the training data. I created https://phabricator.wikimedia.org/T166558. We can get to work on that this week.

Generally, we're always working on ways to improve ORES' learning algorithms. You might find that ORES will also improve over time as we teach it how to learn better. Right now, my biggest hope is https://phabricator.wikimedia.org/T145812

Niin ja tuossa viestissä käy myös se ilmi, että uusi kampanja olisi suunnitteilla, ja mahdollisesti tällä viikolla aloitettaisiin. --4shadoww (keskustelu) 30. toukokuuta 2017 kello 20.47 (EEST)

Lisäksi siellä on myös phab:T166235 , joka perustuu sen pohjalle mitä juttelin Halfakerin kanssa Hackatonissa lyhyesti. Tuo voi toteutua tai sitten ei, mutta idea tuossa on siis käyttää positiivisina muokkauksina käsintehtyjä hyväksyntöjä ja negatiivisina kumouksia. Mahdollisesti tuota pitäisi suodattaa vielä siten, että huomioitaisiin arvioinnit joissa on hyväksytty ainoastaan yhden käyttäjän tekemät muokkaukset ja kumoukset joissa on kumottu pelkästään yhden käyttäjän tekemiä kumouksia. --Zache (keskustelu) 1. kesäkuuta 2017 kello 09.15 (EEST)

@4shadoww:, huomasitkin varmaan, että phab:T166235:een tuli tuloksia. (ks. meta:Research_talk:Automated_classification_of_edit_quality/Work_log/2017-07-26 ja makefile). Jos aikaa ja kiinnostusta riittää, niin voisi yrittää selvittää mitä nuo tulokset tarkoittavat ja tehtyä lokaalisti tuo minkä awight tuolla tiketillä teki. Oma ymmärrykseni on tällä hetkellä tasolla, että välillä 0 -> 1, niin ykköstä lähempänä olevat luvut ovat parempia, mutta en esimerkiksi ole lähtenyt kokeilemaan koodilla vielä. --Zache (keskustelu) 29. heinäkuuta 2017 kello 13.50 (EEST)

@4shadoww: tämäkin näemmä etenee --Zache (keskustelu) 17. tammikuuta 2018 kello 19.00 (EET)

Hyvä että edistystä tapahtuu. --4shadoww (keskustelu) 18. tammikuuta 2018 kello 09.56 (EET)

PendingchangesBot arviointitesti 28.5.2018

@4shadoww: Tein sellaisen huomion, että ORES:n pisteytys varsinkin Goodfaithin kohdalla on muuttunut lähemmäksi ääripäitä, eli se hyvin helposti antaa 95% todennäköisyyden sille, että muokkaus on hyvä tai huono. Syy tähän on tuntematon. Joka tapauksessa ajoin seulojabotilla odottavat muutokset vanhoilla asetuksilla läpi ja ajattelin tsekata käsin tarkistukset ja katsoa onko siellä virheitä. Käytännössä olisin kiinnostunut jos läpipääseistä löytyy selkeää vandalismia jolloin näkisin millaisia pisteitä ne muokkaukset saavat. Jos kiinnostaa osallistua läpikäyntiin, niin pistin nuo arvioinnit 50 muokkauksen palasiksi ja listaan saa merkitä jos lähtee tsekkaamaan noita hyväksyntöjä läpi. --Zache (keskustelu) 28. toukokuuta 2018 kello 21.45 (EEST)

Hyväksynnät

• 0-50 (Tsekkaan näitä --Zache (keskustelu) 28. toukokuuta 2018 kello 21.45 (EEST))
• 50-100 (Tsekkaan näitä --Zache (keskustelu) 28. toukokuuta 2018 kello 22.01 (EEST))
• 100-150 (Tsekkaan näitä --Zache (keskustelu) 28. toukokuuta 2018 kello 22.27 (EEST))
• 150-200 (Tsekkaan näitä. --Zache (keskustelu) 29. toukokuuta 2018 kello 03.29 (EEST))
• 200-250 (Tsekkaan näitä --Zache (keskustelu) 29. toukokuuta 2018 kello 05.42 (EEST))
• 250-300 (Tsekkaan näitä --Zache (keskustelu) 29. toukokuuta 2018 kello 06.06 (EEST))
• 300-350 (Tsekkaan näitä --Zache (keskustelu) 29. toukokuuta 2018 kello 06.14 (EEST))
• 350-400 Jos nyt tän katon --4shadoww (keskustelu) 28. toukokuuta 2018 kello 23.06 (EEST)

Ongelmallisia muokkauksia kumoustilaston perusteella

• 17333809, diff (damaging true = 0.43 ; goodfaith true = 0.85)
• 17333444 diff (damaging true = 0.055 ; goodfaith true = 0.99)
• 17333439 diff (damaging true = 0.056 ; goodfaith true = 0.99)
• 17333423 diff (damaging true = 0.19 ; goodfaith true = 0.95)
• 17332998 diff (damaging true 0.05 ; goodfaith true 0.98)
• 17332891 diff (damaging true 0.60 ; goodfaith true 0.847)
• 17332895 diff (damaging true 0.384 goodfaith true 0.843)
• 17332882 diff (damaging true 0.41, goodfaith 1)
• 17332753 diff (damaging true 0.20, goodfaith 0.99)
• 17328343 diff (damaging true 0.566 ; goodfaith 0.966)

Keskustelu

Käytännössä näyttäisi siltä, että itse arviointi meni läpi ihan kohtuullisesti. Ainoa joka ei toiminut oli ORES:n goodfaith sääntö jonka tiesin entuudestaankin, mutta siitä huolimatta lähes kaikki oli mitä hyväksyttiin oli ns. hyväntahtoista kun tsekkasin ne läpi käsin. Nyt saatujen lukujen perusteella käyttökelpoiset rajat näyttäisivät olevan, että muokkaus on ok jos "damaging true" on alle 0.05 ja "goodfaith true" on yli 0.97. Systemaattisia fucked by design tyyppisiä ongelmia on, että hyväksyntä seuraa artikkeleihin ilmestyviä uusia sanoja JA jos tekstiä poistetaan niin se hyväksyy poistot helpommin kuin lisäykset.

@4shadoww: näkyykö muuten vakautusbotin logeista se milloin noiden pistemäärien muutos olisi tapahtunut? Eli se muutos jonka jälkee käytännössä kaikki muokkaukset saavat pistemääräksi goodfaith true = 0.99 --Zache (keskustelu) 29. toukokuuta 2018 kello 11.12 (EEST)

Botti ei lokita oresin piste määriä, eikä edes tulosta niitä. Vakautusloki pelkästään tallentaa eri testeistä saadut pisteet, niin ei käytännössä ole missään muodossa tallennettuna oresin pisteitä. --4shadoww (keskustelu) 29. toukokuuta 2018 kello 12.46 (EEST)

Pistin user:seulojaBot:n sääntöihin ORES-hyväksynnän käyttöön. Siinä on nyt kolme eri tasoa. 1.) mikäli artikkeli on mustallalistalla, niin älä hyväksy sitä ORES:n perusteella. Täällä he hetkellä nämä ovat Elävät henkilöt-luokassa olevat artikkelit. 2.) hyväksy mikäli goodfaith on parempi kuin 0.99 ja damaging pienempi kuin 0.02. 3.) hyväksy whitelistalla olevat artikkelit mikäli goodfaith on parempi kuin 0.95 ja damaging pienempi kuin 0.15. Näitä ovat salkkari, pokemon ja kasvi-artikkelit. --Zache (keskustelu) 8. kesäkuuta 2018 kello 01.19 (EEST)

ORES article quality

@Zache: Taisi olla joskus toiveena jokin artikkelianalysaattori tms, ja oli ehdotuksena ottaa käyttöön ORES:in article quality algoritmi. Ilmeisesti sen käyttöönotto vaatii selvityksen suomenkielisen Wikipedian artikkelin laadun määrittelevästä systeemistä. Ymmärtäneeksi täällä on hyvin yksinkertainen systeemi. On luokat huonommasta parhaimpaan LA, HA ja SA, eikä ilmeisestikään muuta. Toisaalta hyvän algoritmin esteeksi taitaa tulla noiden laadukkaiden artikkeleiden määrä. Jos nuo luvut pitävät paikkaansa näillä sivuilla niin, LA 3066, HA 396 ja SA 313. Ymmärsinkö oikein laatuluokittelun? --4shadoww (keskustelu) 22. kesäkuuta 2018 kello 18.13 (EEST)

{{Tynkä}}:n voi ajatella olevan pohjinmainen arviointitaso, mutta muuten noin. Lisäksi sellainen huomio noista arviointitasoista. LA/HA/SA ovat ORES:n näkökulmasta vaatimuksiltaan kaikki hyvin samantapaisia ja niissä ainoastaan artikkelin pituus vaihtelee. Noista ainakin HA:n ja SA:n pystyisi yhdistämään yhdeksi ryhmäksi jos määrä on muuten liian pieni. --Zache (keskustelu) 23. kesäkuuta 2018 kello 15.32 (EEST)

ORES damaging tarkkuus

Tutkin hiukan vakauttajabotin lokeja ja virheellisten ja oikeiden vakautuspäätösten suhdetta. Nykyinen loki ei pidä ihan ensimmäisiä vakautuksia sisällään, mutta sieltä löytyy päivästä 2017-07-09 lähtien kaikki vakautuspäätökset (eivät välttämättä kaikki ole pakosti toteutuneet 5 min. odotusajan takia). Tein sitten skriptillä lokista json:in mikä sisältää tiedon onko muutos kumottu, ja kokeilumielessä lisäsin vielä ORES:in goodfaith ja damaging arviot, joilla voisi vähän saada kuvaa sen nykyisestä tarkkuudesta. Virheellisiä vakautuspäätöksiä oli 551 ja oikein menneitä 3662 eli 12.25 % / 87.75 % mikä ei mielestäni ole kamalan paha tulos huomioon ottaen botin käyttötarkoitus. Tulokset kun olin saannut, niin kokeillin sitten katsoa ORES:in pisteitä. Goodfaith ei kumottujen muutosten löydössä ollut päätä huimaava tekemällä 515 (16.55 %) virhettä ja 2597 (83.35 %) oikeaa osumaa. Damaging oli taas positiivinen yllätys sen tehdessä 0 virhettä ja 368 oikeaa osumaa. Oikeiden osumien määrä ei tässä ollut ihmeellinen juttu, vaan se ettei yhtään virhettä tullut. Säädöt olivat kummassakin false < 0.25 ja true > 0.85.

Tästä testistä ei kannata kuitenkaan mitään kamalia johtopäätöksiä tehdä datan vähän määrän takia ja yksinkertaisesti sen takia, että virheellisiä osumia datassa oli niin vähän suhteessa oikeisiin osumiin. Aion kuitenkin tehdä isommalla data määrällä vielä toisen testin. Jos toinen testi antaa tyydyttävät tuloksen, niin voisi alkaa miettimään bottia mikä kumoaa sotku muutoksia. Tärkein juttu olisi ettei botti käytännössä tee yhtään virhettä.

@Zache: Olikos sulla joku viritelmä mikä suoraan databasesta tarkisti onko muutos kumottu? API:n yli tuon tarkastaminen sha1:llä on vähän turhan raskas prosessi.

Jos kiinnostaa nuo datasetit tai lokit, niin ne löytyy toolserveriltä: /data/project/thanatos/bot/ores-re/data.db.bak ja vakauttajabotin loki: /data/project/stabilizerbot/stabilizerbot/logs/stable.log. Ne voit helposti kopioida itsellesi, ja sitten vaikka ladata ssh:lla koneellesi. --4shadoww (keskustelu) 24. kesäkuuta 2018 kello 18.41 (EEST)

PendingChangesBot ja siellä:

• reverted – test if revision was reverted http://tools.wmflabs.org/fiwiki-tools/pendingchanges/?lang=fi&action=reverted&family=wikipedia&rev_id=17393631
• revert – test if revision was revert to reviewed version http://tools.wmflabs.org/fiwiki-tools/pendingchanges/?lang=fi&action=revert&family=wikipedia&rev_id=17393875

Reverted tsekkaus tapahtuu tällä SQL-kyselyllä (jostain syystä ei toimi Quarryssä). Tuo tunnistaa kumoukset sha1:llä ja siten, että maksimissaan 9 muokkausta saa olla matchaavien sha1:n välillä. --Zache (keskustelu) 24. kesäkuuta 2018 kello 21.26 (EEST)

Kiitos, tällä homma hoitunee. --4shadoww (keskustelu) 24. kesäkuuta 2018 kello 21.58 (EEST)

Tein nuo suuremmat testit muutama päivä sitten ja niissä oli sama ilmiö, kuin aikaisemmassa, eli damaging ei tehnyt yhtään virheellistä positiivista, mutta taas paljon jäi huomaamatta haitallisia muutoksia. Tein tämän johdosta kumousbotin, mikä on tällä hetkellä testissä, siten ettei se kuitenkaan kumoa mitään, vaan tallentaa vain tulokset. Niin voisi saada sen mahdollisesta käyttöönotosta vähän enemmän tosissaan otettavaa dataa. Lähdekoodi löytyy täältä: https://gitlab.com/4shadoww/undobot. --4shadoww (keskustelu) 28. kesäkuuta 2018 kello 22.37 (EEST)