Skip to content
Snippets Groups Projects
Commit 68f0ce06 authored by Riku-Laine's avatar Riku-Laine
Browse files

Thesis related, multiple chapters finalized, references and figures added

parent 58339009
No related branches found
No related tags found
No related merge requests found
Hide whitespace changes
Inline Side-by-side
Kandi.tex
+ 136
− 271
View file @ 68f0ce06
...@@ -132,14 +132,13 @@ Tämän tutkielman on tarkastanut XYZ. ...@@ -132,14 +132,13 @@ Tämän tutkielman on tarkastanut XYZ.
\chapter{Johdanto}\label{johd} \chapter{Johdanto}\label{johd}
Erilaisissa instituutioissa tehdään päivittäin lukemattomia ihmisten elämään suuresti vaikuttavia päätöksiä: tuomarit päättävät epäiltyjen syyllisyydestä ja lääkärit potilaiden hoidosta. Vaikka nämä päätöksentekijät ovat alansa ammattilaisia ja erikoisosaajia, ovat he kuitenkin ihmisiä, jotka voivat tehdä virheitä ja olla ennakkoluuloisia tiettyjen ihmisryhmien edustajia kohtaan. Oikeudessa annettujen päätöksien reiluutta on analysoitu paljon päätöksenteon jälkeen, on esimerkiksi tutkittu syrjitäänkö miehiä huoltajuuskiistoissa. Erilaisissa instituutioissa tehdään päivittäin lukemattomia ihmisten elämään suuresti vaikuttavia päätöksiä: tuomarit päättävät epäiltyjen syyllisyydestä ja lääkärit potilaiden hoidosta. Vaikka nämä päätöksentekijät ovat alansa ammattilaisia ja erikoisosaajia, ovat he kuitenkin ihmisiä, jotka voivat tehdä virheitä ja olla ennakkoluuloisia tiettyjen ihmisryhmien edustajia kohtaan. Oikeudessa annettujen päätöksien reiluutta on analysoitu paljon päätöksenteon jälkeen, on esimerkiksi tutkittu syrjintää tapaamisoikeuteen liittyvissä kiistoissa. \cite{sanz19}
Viime aikoina päätöksiä on alettu tehdä myös erilaisten algoritmien tukemana ja määräämänä. Esimerkiksi Yhdysvalloissa on luotu COMPAS-algoritmi (Correctional Offender Management Profiling for Alternative Sanctions), jolta tuomarit saavat oikeuskäsittelyn eri vaiheissa arvion epäillyn taipumuksesta tehdä uusi rikos, jos hänet päästetään vapaaksi. \cite{compas} Myöhemmin on kuitenkin huomattu, että kyseisen algoritmin ennusteet ovat olleet syrjiviä ja niiden yksinomainen käyttö vangitsemispäätöksen perusteena on sittemmin kielletty Yhdysvaltain korkeimman oikeuden päätöksellä. Viime aikoina päätöksiä on alettu tehdä myös erilaisten algoritmien tukemana ja määräämänä. Esimerkiksi Yhdysvalloissa on luotu COMPAS-algoritmi (Correctional Offender Management Profiling for Alternative Sanctions), jolta tuomarit saavat oikeuskäsittelyn eri vaiheissa arvion epäillyn taipumuksesta tehdä uusi rikos, jos tämä päästetään vapaaksi. \cite{compas} Vaikka alkuperäinen artikkeli herätti paljon keskustelua, vuonna 2016 Wisconsinin korkein oikeus päätti, että COMPAS-algoritmin riskiarvioita voidaan käyttää yhdessä muiden tekijöiden kanssa epäiltyjen vaarallisuuden arvioinnissa. \cite{statevloomis}
Yleisesti ottaen päätöksien automatisoinnin tavoitteena ei ole päätöksenteon nopeuttaminen tai tehostaminen vaan laadittujen päätöksien ja ennusteiden laadullinen parantaminen syrjinnän ja virheellisten päätösten poistamiseksi. Jotta syrjintä ja virheet voidaan poistaa, on ennustemallit ja algoritmit auditoitava. Yleisesti ottaen päätöksien automatisoinnin tavoitteena ei ole päätöksenteon nopeuttaminen tai tehostaminen vaan laadittujen päätöksien ja ennusteiden laadullinen parantaminen syrjinnän ja virheellisten päätösten poistamiseksi. Jotta syrjintä ja virheet voidaan poistaa, on ennustemallit ja algoritmit auditoitava. Tarkkuuden ja tasapuolisuuden arviointi on tavallisimmissa sovelluksissa jokseenkin triviaalia ja useita metriikoita, kuten residuaalien neliösumma tai muut vastaavat, on ehdotettu. Edellä mainituissa rikosoikeudellista prosessia koskevissa tapauksia näitä ei voi kuitenkaan soveltaa, koska tietyltä osalta havainnoista puuttuu vastemuuttujan arvo.
Tarkkuuden ja tasapuolisuuden arviointi on tavallisimmissa sovelluksissa jokseenkin triviaalia ja useita metriikoita, kuten residuaalien neliösumma tai muut vastaavat, on sovellettu, mutta esimerkiksi edellä mainituissa oikeusprosessia koskevissa tapauksia näitä ei voi soveltaa, koska tietyltä osalta havainnoista puuttuu vastemuuttujan arvo.
Sivuutan tässä tutkielmassa mallien sekä algoritmien reiluuden tarkastelun ja keskityn niiden suorituskyvyn arviointiin. Algoritmien reiluutta (engl. \emph{algorithmic fairness}) on tutkittu paljon ja johdatuksia voi löytää esimerkiksi Xltä ja Yltä. Käsittelen ... Sivuutan tässä tutkielmassa mallien sekä algoritmien reiluuden tarkastelun ja keskityn niiden suorituskyvyn arviointiin. Algoritmien reiluutta (\emph{algorithmic fairness}) on tutkittu paljon ja alan aktiivisia tutkijoita ovat esimerkiksi Cornellin yliopiston professori Jon Kleinberg ja Helsingin yliopistosta muun muassa ohjaajani Michael Mathioudakis.
\section{Puuttuvuus ja imputointi}\label{puuttuvuus} \section{Puuttuvuus ja imputointi}\label{puuttuvuus}
...@@ -147,17 +146,15 @@ Havaintoja voi puuttua erilaisissa tutkimuksissa useista eri syistä. Kyselytutk ...@@ -147,17 +146,15 @@ Havaintoja voi puuttua erilaisissa tutkimuksissa useista eri syistä. Kyselytutk
Tässä tutkielmassa tarkasteltavassa asetelmassa havaintojen puuttuminen liittyy sekä havaittuihin että havaitsemattomiin muuttujiin. Puuttuneisuuden voidaan sanoa olevan \emph{satunnaista ehdollisesti}, koska aineistoa puuttuu vain yksilöiltä, joilla on korkea todennäköisyys haitalliseen tulokseen. (Erilaisia aineiston puuttuneisuusmekanismeja esitellään laajemmin esimerkiksi Laaksosen kirjassa \emph{Surveymetodiikka}. \cite{laaksonen13}) Puuttuneisuutta voidaan korjata imputoinnilla, jolla yritetään tehdä mahdollisimman hyvä arvaus puuttuvasta arvosta. Imputoinnin filosofinen perusta nojaa ajatukseen, että havaintoyksikön vasteella on jokin arvo, mutta sitä ei ole vain havaittu. Tässä tutkielmassa tarkasteltavassa asetelmassa havaintojen puuttuminen liittyy sekä havaittuihin että havaitsemattomiin muuttujiin. Puuttuneisuuden voidaan sanoa olevan \emph{satunnaista ehdollisesti}, koska aineistoa puuttuu vain yksilöiltä, joilla on korkea todennäköisyys haitalliseen tulokseen. (Erilaisia aineiston puuttuneisuusmekanismeja esitellään laajemmin esimerkiksi Laaksosen kirjassa \emph{Surveymetodiikka}. \cite{laaksonen13}) Puuttuneisuutta voidaan korjata imputoinnilla, jolla yritetään tehdä mahdollisimman hyvä arvaus puuttuvasta arvosta. Imputoinnin filosofinen perusta nojaa ajatukseen, että havaintoyksikön vasteella on jokin arvo, mutta sitä ei ole vain havaittu.
Aineistoa voidaan imputoida erilaisilla menetelmillä ja malleilla. Jos aineistoa ei haluta imputoida, puuttuvaa tietoa sisältävät havainnot voidaan poistaa. Eräs yleisesti käytetty imputointimalli on lineaarinen regressiomalli. Kun lineaarista regressiota käytetään imputointiin, puuttuvan muuttujan arvoja pyritään selittämään havaittujen muuttujien avulla. Tällaista lähestymistapaa, jossa imputointi tehdään estimoidun mallin avulla, sanotaan \emph{malliluovuttajalähestymistavaksi}. Vaihtoehtoisesti puuttuva arvo voidaan imputoida toisen vastaajan arvolla, mitä kutsutaan \emph{vastaajaluovuttajalähestymistavaksi}. Aineistoa voidaan imputoida erilaisilla menetelmillä ja malleilla. Jos aineistoa ei haluta imputoida, puuttuvaa tietoa sisältävät havainnot voidaan poistaa. Eräs yleisesti käytetty imputointimalli on lineaarinen regressiomalli. Kun lineaarista regressiota käytetään imputointiin, puuttuvan muuttujan arvoja pyritään selittämään havaittujen muuttujien avulla. Tällaista lähestymistapaa, jossa imputointi tehdään estimoidun mallin avulla, sanotaan \emph{malliluovuttajalähestymistavaksi}. Vaihtoehtoisesti puuttuva arvo voidaan imputoida toisen vastaajan arvolla, mitä kutsutaan \emph{vastaajaluovuttajalähestymistavaksi}. \cite{laaksonen13}
% Jos MCAR, niin keskiarvoimputointi
\section{Valikoiva luokittelu -- seulotun aineiston ongelma}\label{sl} \section{Valikoiva luokittelu -- seulotun aineiston ongelma}\label{sl}
Valikoiva luokittelu (engl. \emph{selective labels}) aineiston luovana mekanismina on esitetty kuvassa \ref{valikoitumisharha}. Valikoivasti luokitellussa aineistossa päätöksentekijä tekee päätöksen henkilön piirteisiin perustuen. Hänen tavoitteena on estää haitallisen tuloksen $Y=0$ havaitseminen. Jos päätös on kielteinen $T=0$, tulosta ei havaita.\footnotemark Päätöksentekijä tekee siis päättäessään ennusteen: Mikä on tämän henkilön kohdalla epäonnistumisen todennäköisyys? Valikoiva luokittelu (engl. \emph{selective labels}) aineiston luovana mekanismina on esitetty kuvassa \ref{valikoitumisharha}. Valikoivasti luokitellussa aineistossa päätöksentekijä tekee päätöksen henkilön piirteisiin perustuen. Hänen tavoitteena on estää haitallisen tuloksen $Y=0$ havaitseminen. Jos päätös on kielteinen $T=0$, tulosta ei havaita.\footnotemark Päätöksentekijä tekee siis päättäessään ennusteen kyseisen henkilön epäonnistumisen todennäköisyydestä?
\footnotetext{Ongelma voidaan esittää vaihtoehtoisesti myös muodossa, jossa kielteinen päätös $T=0$ määrää havainnon arvon positiiviseksi $Y=1$.} \footnotetext{Ongelma voidaan esittää vaihtoehtoisesti myös muodossa, jossa kielteinen päätös $T=0$ määrää havainnon arvon positiiviseksi $Y=1$.}
Havainnollistan aineiston generoivaa mekanismia tässä tutkielmassa usein lääketieteestä tai oikeuskäsittelyistä lainatuilla esimerkeillä. Henkilö on ensin mainitussa potilas ja jälkimmäisessä epäilty. Päätöksentekijä voi olla esimerkiksi lääkäri, joka päättää annetaanko potilaalle vahvempaa -- ja ehkä kalliimpaa -- lääkettä, jolloin tauti ei uusiudu. Oikeuskäsittelyissä päättäjällä voidaan tarkoittaa tuomaria, joka päättää epäillyn vapauttamisesta takuita vastaan ilman pelkoa rikoksen uusimisesta. Molemmilla päättäjillä on selkeä kannustin estää haitalliset tulokset pitäen samalla päätöksistä aiheutuvat rasitteet yhteiskunnalle ja yksilöiden elämille mahdollisimman pienenä. Havainnollistan aineiston generoivaa mekanismia tässä tutkielmassa usein lääketieteestä tai rikosoikeudesta lainatuilla esimerkeillä. Arvioitava henkilö on ensin mainitussa potilas ja jälkimmäisessä epäilty. Päätöksentekijä voi olla esimerkiksi lääkäri, joka päättää annetaanko potilaalle vahvempaa -- ja ehkä kalliimpaa -- lääkettä, jolloin tauti ei uusiudu. Oikeuskäsittelyissä päättäjällä voidaan tarkoittaa tuomaria, joka päättää epäillyn vapauttamisesta takuita vastaan ilman pelkoa rikoksen uusimisesta. Molemmilla päättäjillä on selkeä kannustin estää haitalliset tulokset pitäen samalla päätöksistä aiheutuvat rasitteet yhteiskunnalle ja yksilöiden elämille mahdollisimman pienenä.
Valikoiva luokittelu luo siis aineistoon havaintoja, joilta puuttuu vasteen arvo, jolla ei ole realisaatiota tai jota ei ole olemassa. Tällöin tarvitaan siis \emph{kontrafaktuaaleja}, joiden avulla voidaan arvioida, miten olisi käynyt, jos päätös olisi ollut toinen. Valikoiva luokittelu luo siis aineistoon havaintoja, joilta puuttuu vasteen arvo, jolla ei ole realisaatiota tai jota ei ole olemassa. Tällöin tarvitaan siis \emph{kontrafaktuaaleja}, joiden avulla voidaan arvioida, miten olisi käynyt, jos päätös olisi ollut toinen.
...@@ -170,54 +167,11 @@ Valikoiva luokittelu luo siis aineistoon havaintoja, joilta puuttuu vasteen arvo ...@@ -170,54 +167,11 @@ Valikoiva luokittelu luo siis aineistoon havaintoja, joilta puuttuu vasteen arvo
\section{Kausaatio ja kontrafaktuaalit} \section{Kausaatio ja kontrafaktuaalit}
Perinteisen tilastollisen tutkimuksen tavoitteena on havaita \emph{assosiaatioita} tapahtumien välillä ja tehdä niiden pohjalta päättelyä. \cite{kalisch13} Luonnossa havaitaan tapahtumia ja niiden yhteyksiä sovitetaan erilaisiin malleihin ja lopulta näiden yhteyksien avulla voidaan pyrkiä ennustamaan tapahtumia. Usein kuitenkin tutkijat haluavat vastauksia syy-seuraussuhteita eli \emph{kausaatiota} sisältäviin kysymyksiin, kuten "Paraniko henkilö, koska hän sai lääkettä?" tai "Maksetaanko naisille vähemmän palkkaa?". Perinteisen tilastollisen tutkimuksen tavoitteena on havaita \emph{assosiaatioita} tapahtumien välillä ja tehdä niiden pohjalta päättelyä. \cite{kalisch14} Luonnossa havaitaan tapahtumia ja niiden yhteyksiä sovitetaan erilaisiin malleihin ja lopulta näiden yhteyksien avulla voidaan pyrkiä ennustamaan tapahtumia. Usein kuitenkin tutkijat haluavat vastauksia syy-seuraussuhteita eli \emph{kausaatiota} sisältäviin kysymyksiin, kuten "Paraniko henkilö, koska hän sai lääkettä?" tai "Maksetaanko naisille vähemmän palkkaa?".
Kuten tavallisissa tilastollisissa ongelmissa, syy-seuraussuhteita sisältävien ongelmien käsittelyyn tarvitaan malli. Mallit ovat ilmiöiden yksinkertaistuksia, jotka perustuvat teorioihin ja tietoon havainnoitavista ilmiöistä (kimmo). Kahden muuttujan $x$ ja $y$ lineaarista yhteyttä voidaan havainnollistaa lineaarisella mallilla $y = \beta x + \epsilon$, missä $\epsilon$ ilmaisee malliin liittyvää epävarmuutta. Tällainen yksinkertainen assosiatiivinen yhteys voidaan kääntää muotoon $x = \frac{y}{\beta}$. Kausatiivissa kysymyksissä syytä ei voida kuitenkaan vaihtaa seuraukseksi, joten malli on luontevaa määrittää verkkona. Tällaisia verkkomalleja sanotaan rakenteellisiksi kausaalimalleiksi (\emph{structural causal model}) ja ne rakennetaan kuten mikä tahansa muu malli, parhaan mahdollisen nykytiedon pohjalle.
Kausaalimallin avulla voidaan määrittää myös vaihtoehtoisia totuuksia, eli kontrafaktuaaleja. Kontrafaktuaalien avulla jossittelu voidaan määrittää matemaattisena ilmiönä. Kontrafaktuaalit vastaavat kysymyksiin miten olisi käynyt jos asiat olisivat olleet toisin. Kausaatiota voidaan määrittää kolmella eri tavalla, Rubin vs Pearl vs Arjas + ? (eerola). Pearl on kuitenkin osoittanut, että Rubinin malli on yhtäpitävä hänen esittämänsä version kanssa.
%Tämän tutkielman tavoitteena on luoda kausaalipäättelyn avulla algoritmi, jolla voimme arvioida ennustavien mallien todellista ennustuskykyä, kun käytettävissä on ainoastaan valikoitumisharhasta kärsivää aineistoa. Samankaltaista asetelmaa ovat julkaisuissaan käsitelleet muun muassa Lakkaraju ja Madras \cite{lakkaraju17, madras18}. Pyrin tutkielmassani luomaan joustavamman ja tarkemman vaihtoehdon Lakkarajun luomalle supistusalgoritmille, mutta esitän ensin yleistä taustaa kausaalipäättelystä ja valikoitumisharhasta.
%Tässä kappaleessa esittelen tutkielman taustaa ja yhdysvaltalaisen oikeuslaitoksen takuukäsittelyprosessin yleisellä tasolla. Sen jälkeen paneudun hieman vangitsemispäätöksen yhteiskunnalliseen merkitykseen: minkä takia ihmisiä vangitaan ja mitä perusteita on vangitsemattajättämispäätökselle. Pyrin luvun aikana myös hieman selvittämään takuujärjestelmän käyttöä Suomessa ja kappaleen lopussa pohdin hieman kausaalipäättelyä paradigman muutoksena tilastotieteen kentällä. Jätän kuitenkin tarvittavien merkintöjen esittämisen kappaleeseen \emph{\nameref{kausaalimerk}} ja mallin esittelyn \emph{\nameref{kausaalimalli}}-lukuun.
% https://julkaisut.valtioneuvosto.fi/bitstream/handle/10024/76171/omkm_2009_2.pdf
%%%%%%%%%
%\section{Takuukäsittely prosessina}\label{pros}
%
%% Johdanto, yhdysvallat, Suomi, kritiikki
%
%Yhdysvalloissa, kuten monissa muissa anglosaksisissa maissa, on käytössä järjestelmä, jota nimitetään takuu- tai vakuusjärjestelmäksi. Takuujärjestelmä on epäillyn vaihtoehto tutkintavankeudelle hänen odottaessaan oikeudenkäyntiä ja Yhdysvalloissa oikeus takuuseen periytyy maan perustamisen ajalta \cite{okm, zaniewski14}. Suomen oikeus- ja sisäasiainministeriön alaisen esitutkinta- ja pakkokeinotoimikunnan mukaan takuujärjestelmiä on kolmenlaisia: kahdessa niistä epäilty maksaa itse käteisellä vakuuden tai asettaa omaisuuttaan vakuudeksi ja kolmannessa jokin ulkopuolinen taho ''menee takuuseen epäillyn velvollisuuksien täyttämisestä'' \cite{okm}.
%
%Yhdysvalloissa epäillyn pidätyksen jälkeen hänet viedään paikallisen oikeusviranomaisen järjestämään takuukuulemiseen (bail hearing) \cite{zaniewski14}. Kuulemisessa päätetään takuun myöntämisestä, eli voidaanko epäilty vapauttaa, vai halutaanko hänet asettaa vankeuteen ennen oikeudenkäyntiä. Kuulemisessa päätetään myös mahdollisen takuun määrästä sekä vapauttamisen ehdoista \cite{zaniewski14}. Takuu voidaan suorittaa taattuna tai takaamattomana maksusitoumuksena tai maksaa suoraan -- erityistapauksissa epäilty voidaan vapauttaa myös pelkällä kirjallisella sitoumuksella (release on personal recognizance (ROR)) \cite{zaniewski14}.
%
%% Tilastoja?
%
%%%%%%%%%%
%
%\section{Yhteiskunnallinen merkitys ja kritiikki}\label{ykmerk}
%
%Zaniewski toteaa lyhyessä kirjallisuuskatsauksessaan, että takuujärjestelmän vuoden 1982 uudistus ei onnistunut laskemaan tarpeettomia vangitsemisia -- päinvastoin niiden suhteellinen määrä kaksinkertaistui 22\%:sta 49\%:iin vuodesta 1984 vuoteen 2007. Nykyisellään sikäläinen oikeusjärjestelmä suosii suoraan rahalla maksettavia tai taatuilla maksusitoumuksilla hoidettuja takuita, mikä asettaa huonossa taloustilanteessa olevat epäillyt eri tilanteeseen. \cite{zaniewski14}
%
%Suomessa vakuusjärjestelmää ei ole käytetty, vaikka aiemmin mainittu toimikunta toteaakin sen sisältyvän tullilain 44 §:ään. Kyseisessä pykälässä ''- - säädetään mahdollisuudesta asettaa pidätetyn tai vangitun vapaaksi päästämi[s]en ehdoksi, että hän asettaa vakuuden, jonka harkitaan takaavan hänen saapumisensa oikeudenkäyntiin ja ehkä tuomittavien seuraamusten suorittamisen''. Kuten he tarkentavat, lisäksi usein edellytetään, että epäilty ei asu Suomessa, ja epäillään hänen pakenevan maasta ennen oikeudenkäyntiä tai rangaistusta \cite{okm}. Sekä yhdysvaltalaiselle että suomalaiselle järjestelmälle on yhteistä, että takuu tuomitaan menetettäväksi valtiolle, jos vapauden ehtoja rikotaan.
%
%Kritiikkiä on esitetty molemmissa maissa osaltaan samoihin asioihin. Suomessa pykälää ei ole sovellettu, koska luultavasti sen tulkintaohjeet ovat niin niukat, kuten myös sääntely \cite{okm}. Yhdistävänä kritiikkinä sekä Zaniewski että esitutkinta- ja pakkokeinotoimikunta mainitsevat muun muassa sen, kuinka takuumaksujen toimeenpano vaikuttaa tai Suomen tapauksessa vaikuttaisi pienituloisten taloustilanteeseen \cite{zaniewski14, okm}. Suomalainen toimikunta esittää lisäksi monia muitakin ongelmakohtia, sikäli takuujärjestelmä haluttaisiin ottaa Suomessa käyttöön, esimerkkinä he toteavat, että vakuusmaksujen maksamiseen tulisi todennäköisesti liittymään ''epätoivottavia lieveilmiöitä'' \cite{okm}. Tähän ongelmaan on Yhdysvalloissa jo osittain reagoitukin, sillä esimerkiksi Californian osavaltio päätti viime vuonna poistaa takuumaksut käytöstä \cite{cnn}.
%Kritiikkiä on esitetty niin itse takuun rahallisesta määrästä (lähde?) kuin perusteista (propublica).
%Ongelmana tässä on se, millä perustein tuomarit tekevät päätöksen bailille pääsemisestä on käynyt ilmi (linkkaa propublica), että vaikka he käyttävät yhdysvaltalaisen yhtiön North
Kuten tavallisissa tilastollisissa ongelmissa, syy-seuraussuhteita sisältävien ongelmien käsittelyyn tarvitaan malli. Mallit ovat ilmiöiden yksinkertaistuksia, jotka perustuvat teorioihin ja tietoon havainnoitavista ilmiöistä. (Kimmo) Kahden muuttujan $x$ ja $y$ lineaarista yhteyttä voidaan havainnollistaa lineaarisella mallilla $y = \beta x + \epsilon$, missä $\epsilon$ ilmaisee malliin liittyvää epävarmuutta ja $\beta \in \R$ on jokin kerroin. Tällainen yksinkertainen assosiatiivinen yhteys voidaan kääntää muotoon $x = \frac{y}{\beta}$. Kausatiivissa kysymyksissä syytä ei voida kuitenkaan vaihtaa seuraukseksi, joten malli on luontevaa määrittää verkkona. Tällaisia verkkomalleja sanotaan rakenteellisiksi kausaalimalleiksi (\emph{structural causal model}) ja ne rakennetaan kuten mikä tahansa muu malli, parhaan mahdollisen nykytiedon pohjalle.
% miksi halutaan siirtyä (frekventistisen / bayes-päättelyn ongelmat), edut, esiintyminen, erot, käyttö Kausaalimallin avulla voidaan määrittää myös kontrafaktuaaleja, jotka kuvaavat jonkin muuttujan mahdollisia arvoja, jos tilanne olisi ollut toinen. Niiden avulla jossittelu voidaan määrittää matemaattisena ilmiönä. Kontrafaktuaalit vastaavat kysymyksiin, miten olisi käynyt jos asiat olisivat olleet toisin: olisiko henkilö parantunut, jos hän ei olisi saanut lääkettä.
%Judea Pearl ja Mackenzie esittävät kirjassaan Miksi, että ihmisillä on luontainen kausaalisen päättelyn taito \cite{miksi}. Tavalliset tilastollisen päättelyn menetelmät eivät tarjoa tapaa määritellä kausaalista yhteyttä: aineistosta voidaan päätellä erilaisia \emph{korrelaatioita}, mutta kausaalista päättelyä \emph{A johtuu B:stä} ei voida tehdä perinteisen tilastotieteen keinoin. Käytännön tutkimuksessa kausaaliset yhteydet kiinnostavat erityisesti lääketieteen alalla \cite{pearl10}. Kuten Kalisch toteaa, aiemmin kausaalisuuden päättely on perustunut korrelaatioiden havaitsemiseen. On hypotetisoitu, että jonkinlaisen biomarkkerin ja taudin samanaikainen havaitseminen viittaisi siihen, että markkeri aiheuttaa taudin. Voimmeko siis markkeria käsittelemällä vaikuttaa tautiin tai jopa parantaa sen? \cite{kalisch14}
%
%Syy-seuraussuhteen matemaattinen määrittely vaatii uutta lähestymistä myös todennäköisyyslaskentaan. Kausaalipäättelyyn liittyvät oleellisesti kontrafaktuaalit, jotka kuvaavat muuttujien mahdollisia arvoja, jos jokin toinen muuttuja olisi ollut erilainen -- "palkan määrä, jos olisi hankkinut korkeamman tutkinnon". Kontrafaktuaalien määrittämiseen rakenneyhtälömallit ja kausaaliset rakennemallit
%
%Esimerkiksi muuttujan $Y$ arvoa, jos $X$ olisi ollut $x$ asteikolla $u$ merkittäisiin $Y_x(u)$. Tässä tutkielmassa käsittelen kuitenkin vain Pearlin kausaalimallia.
%%%%%%%%%
%%%%%%%%% %%%%%%%%%
%%%%%%%%% %%%%%%%%%
...@@ -225,21 +179,19 @@ Kausaalimallin avulla voidaan määrittää myös vaihtoehtoisia totuuksia, eli ...@@ -225,21 +179,19 @@ Kausaalimallin avulla voidaan määrittää myös vaihtoehtoisia totuuksia, eli
\chapter{Määritelmät ja teoria} \chapter{Määritelmät ja teoria}
Erilaisten algoritmien ja mallien suorituskyvyn arviointiin on kehitetty useita tapoja. Tavan valinta liittyy usein läheisesti vastemuuttujan arvojoukkoon: binäärisiä muuttujia on luontevaa arvioida eri tavoin kuin jatkuvia. Koska tuloksen $Y$ havaitseminen riippuu päätöksestä $T$, määritetään kaksi metriikkaa -- hyväksymisprosentti (engl. \emph{acceptance rate}, (AR)) ja virheprosentti (\emph{failure rate} (FR)), joilla on hyvin intuitiiviset vastaavuudet reaalimaailmassa. Erilaisten algoritmien ja mallien suorituskyvyn arviointiin on kehitetty useita tapoja. Tavan valinta liittyy usein läheisesti vastemuuttujan arvojoukkoon: binäärisiä muuttujia on luontevaa arvioida eri tavoin kuin jatkuvia. Koska valikoidusti luokitellussa aineistossa tuloksen $Y$ havaitseminen riippuu päätöksestä $T$, määritetään kaksi metriikkaa -- hyväksymisprosentti (\emph{acceptance rate} (AR)) ja virheprosentti (\emph{failure rate} (FR)), joilla on intuitiiviset vastaavuudet reaalimaailmassa.
\begin{maar}[Hyväksymisprosentti (AR)] \label{AR}
Päättäjän hyväksymisprosentti määritetään myönteisten päätösten määrän suhteena annettujen päätösten kokonaismäärään. Jos päätöksentekijä antaa 100 päätöstä, joista 40 on myönteisiä, niin hänen hyväksymisprosenttinsa on $0,4$.
\begin{maar}[Hyväksymisprosentti (AR) \cite{lakkaraju17}] \label{AR}
Päättäjän hyväksymisprosentti määritetään myönteisten päätösten määrän suhteena annettujen päätösten kokonaismäärään. Jos päätöksentekijä antaa $100$ päätöstä, joista $40$ on myönteisiä, niin hänen hyväksymisprosenttinsa on $0,4$.
\end{maar} \end{maar}
\begin{maar}[Virheprosentti (FR)] \label{FR} \vspace*{-5mm}
Päätöksentekijän virheprosentti määritetään epäonnistuneiden tulosten määrän suhteena annettujen päätösten kokonaismäärään. Jos päätöksentekijä antaa 100 päätöstä, joista 60 on myönteistä ja näistä 60 päätöksestä 30 johtaa epäonnistumiseen (esimerkiksi rikoksen uusintaan), niin tuomarin virheprosentti on $0,3$.
\begin{maar}[Virheprosentti (FR) \cite{lakkaraju17}] \label{FR}
Päätöksentekijän virheprosentti määritetään epäonnistuneiden tulosten määrän suhteena annettujen päätösten kokonaismäärään. Jos päätöksentekijä antaa $100$ päätöstä, joista $60$ on myönteistä ja näistä $60$ päätöksestä $30$ johtaa epäonnistumiseen (esimerkiksi rikoksen uusintaan), niin päättäjän virheprosentti on $0,3$.
\end{maar} \end{maar}
\noindent Vertaillaksemme eri algoritmien ennusteiden tarkkuutta laskemme keskimääräisen virheen (\emph{mean absolute error} (MAE)) suhteutettuna johonkin referenssipisteeseen. Referenssipisteenä voidaan esimerkiksi käyttää epäonnistumisprosentin todellisia arvoja ja verrata eri algoritmien ennusteita käyttäen keskimääräistä virhettä. \noindent Vertaillaksemme eri algoritmien ennusteiden tarkkuutta laskemme keskimääräisen virheen (\emph{mean absolute error} (MAE)) suhteutettuna johonkin referenssipisteeseen. Referenssipisteenä voidaan esimerkiksi käyttää virheprosentin todellisia arvoja ja verrata eri algoritmien ennusteita käyttäen keskimääräistä virhettä.
\begin{maar}[Keskimääräinen virhe (MAE) \cite{willmott05}] \label{MAE} \begin{maar}[Keskimääräinen virhe (MAE) \cite{willmott05}] \label{MAE}
...@@ -255,27 +207,25 @@ $$\text{MAE} = \dfrac{\sum_{i=1}^{n}\mathbbm{1}\{\hat{y}_i\neq y_i\}}{n}.$$ ...@@ -255,27 +207,25 @@ $$\text{MAE} = \dfrac{\sum_{i=1}^{n}\mathbbm{1}\{\hat{y}_i\neq y_i\}}{n}.$$
% TN -avaruus? > Todennäköisyys > jakauma/tiheysfunktio > ehdollinen tn > bayesin kaava % TN -avaruus? > Todennäköisyys > jakauma/tiheysfunktio > ehdollinen tn > bayesin kaava
% https://fi.wikipedia.org/wiki/Todenn%C3%A4k%C3%B6isyysteoria % https://fi.wikipedia.org/wiki/Todenn%C3%A4k%C3%B6isyysteoria
Bayes-päättely perustuu rakennuspalikat perustuvat pikälti Bayesin kaavaan, joka on johdettavissa ehdollisen todennäöisyyden määritelmästä. Johtaaksemme Bayesin kaavan määritetään ensin todennäköisyysavaruus ja sen tapahtumat %Bayes-päättelyn rakennuspalikat perustuvat pikälti Bayesin kaavaan, joka on johdettavissa ehdollisen todennäköisyyden määritelmästä. Johtaaksemme Bayesin kaavan määritetään ensin todennäköisyysavaruus ja sen tapahtumat.
\begin{maar}[Todennäköisyysavaruus]
Kolmikko $(\Omega, \mathcal{F}, \pr)$ on \emph{todennäköisyysavaruus}, jos
\begin{itemize}
\item Perusjoukko $\Omega$ on epätyhjä
\item $\mathcal{F}$ on $\sigma$-algebra
\item $\pr$ on mitta
\end{itemize}
\end{maar}
%\begin{maar}[Todennäköisyysavaruus]
%
%Kolmikko $(\Omega, \mathcal{F}, \pr)$ on \emph{todennäköisyysavaruus}, jos
%
%\begin{itemize}
%\item Perusjoukko $\Omega$ on epätyhjä
%\item $\mathcal{F}$ on $\sigma$-algebra
%\item $\pr$ on mitta
%\end{itemize}
%
%\end{maar}
Frekventistisessä tilastollisessa päättelyssä tuntemattoman parametrin $\theta$ arvo on kiinnitetty vakio, kun bayesiläisessä päättelyssä parametrin arvo voidaan käsittää satunnaismuuttujana. Bayes-päättelyn tavoitteena laskea parametrille \emph{posteriorijakauma} eli posteriori $f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y})$, joka kertoo parametrin jakauman, kun huomioidaan kerätty aineisto $\mathbf{y}$ ja aiempi tieto parametrin jakaumasta. Tämä aiempi tieto ilmaistaan priorijakaumana eli priorina $f_\Theta(\theta)$. Posteriori määritellään Bayesin kaavan avulla: Frekventistisessä tilastollisessa päättelyssä tuntemattoman parametrin $\theta$ arvo on kiinnitetty vakio, kun bayesiläisessä päättelyssä parametrin arvo voidaan käsittää satunnaismuuttujana. \cite{hyvonen17} Bayes-päättelyn tavoitteena laskea parametrille \emph{posteriorijakauma} eli posteriori $f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y})$, joka kertoo parametrin jakauman, kun huomioidaan kerätty aineisto $\mathbf{y}$ ja aiempi tieto parametrin jakaumasta. Tämä aiempi tieto ilmaistaan priorijakaumana eli priorina $f_\Theta(\theta)$. Posteriori määritellään Bayesin kaavan avulla:
\begin{equation} \begin{equation}
f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) = \dfrac{f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta)f_\Theta(\theta)}{f_\mathbf{Y}(\mathbf{y})}, f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) = \dfrac{f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta)f_\Theta(\theta)}{f_\mathbf{Y}(\mathbf{y})},
\end{equation} \end{equation}
missä marginaaliuskottavuus $f_\mathbf{Y}(\mathbf{y})=\int_\Omega f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta')f_\Theta(\theta')~d\theta'$ jatkuville muuttujille (tietyin edellytyksin). On kuitenkin huomattava, että marginaaliuskottavuus $f_\mathbf{Y}(\mathbf{y})$ ei riipu parametrista $\theta$, joten posteriorin lauseketta voidaan edelleen yksinkertaistaa verrannolla missä marginaaliuskottavuus $f_\mathbf{Y}(\mathbf{y})=\int_\Omega f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta')f_\Theta(\theta')~d\theta'$ jatkuville muuttujille. On kuitenkin huomattava, että marginaaliuskottavuus $f_\mathbf{Y}(\mathbf{y})$ ei riipu parametrista $\theta$, joten posteriorin lauseketta voidaan edelleen yksinkertaistaa verrannolla
\begin{equation} \begin{equation}
f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) \propto f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta)f_\Theta(\theta). f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) \propto f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta)f_\Theta(\theta).
...@@ -283,23 +233,23 @@ f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) \propto f_{\mathbf{Y}|\Theta}(\mathbf{y ...@@ -283,23 +233,23 @@ f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) \propto f_{\mathbf{Y}|\Theta}(\mathbf{y
\section{Kontrafaktuaalit} \section{Kontrafaktuaalit}
Kontrafaktuaalit liittyvät aina vastaavaan kausaalimalliin, joten määritellään ensin kausaalimalli. Kontrafaktuaalit ovat väitteitä tapahtumien vaihtoehtoisesta kulusta ja ne liittyvät aina johonkin kausaalimalliin.
\begin{maar}[Kausaalimalli \cite{pearl10} (pearl 2009 (TIKKA))] \begin{maar}[Kausaalimalli \cite{tikka15}]
Kausaalimalli $M$ on kolmikko $(\mathbf{U}, \mathbf{V}, \mathbf{F})$, missä Kausaalimalli $M$ on kolmikko $(\mathbf{U}, \mathbf{V}, \mathbf{F})$, missä
\begin{enumerate} \begin{enumerate}
\item $\mathbf{U}$ on joukko havaitsemattomia taustamuuttujia, jotka määräytyvät mallin ulkopuolisista tekijöistä \item $\mathbf{U}$ on joukko havaitsemattomia taustamuuttujia, jotka määräytyvät mallin ulkopuolisista tekijöistä
\item $\mathbf{V}=\{V_1, V_2, \ldots, V_n\}$ on joukko havaittuja muuttujia, jotka määräytyvät mallin sisältämistä muuttujista, eli joukon $\mathbf{U} \cup \mathbf{V}$ alkioista \item $\mathbf{V}=\{V_1, V_2, \ldots, V_n\}$ on joukko havaittuja muuttujia, jotka määräytyvät mallin sisältämistä muuttujista, eli joukon $\mathbf{U} \cup \mathbf{V}$ alkioista
\item $\mathbf{F}=\{f_{V_1}, f_{V_2}, \ldots, f_{V_n}$ on sellainen joukko funktioita, että jokainen $f_{V_i}$ on kuvaus joukolta $\mathbf{U} \cup (\mathbf{V} \ V_i)$ joukolle $V_i$, ja joukko $\mathbf{F}$ muodostaa kuvauksen joukolta $\mathbf{U}$ joukkoon $\mathbf{V}$. \item $\mathbf{F}=\{f_{V_1}, f_{V_2}, \ldots, f_{V_n}\}$ on sellainen joukko funktioita, että jokainen $f_{V_i}$ on kuvaus joukolta $\mathbf{U} \cup (\mathbf{V} \setminus V_i)$ joukolle $V_i$, ja joukko $\mathbf{F}$ muodostaa kuvauksen joukolta $\mathbf{U}$ joukkoon $\mathbf{V}$.
\end{enumerate} \end{enumerate}
\end{maar} \end{maar}
Kontrafaktuaalit muodostuvat, kun kausaalimalliin tehdään muutos. \noindent Kontrafaktuaalit muodostuvat, kun kausaalimalliin tehdään muutos.
\begin{maar}[Kontrafaktuaali (pearl)] \begin{maar}[Kontrafaktuaali \cite{pearl10}]
Oletetaan, että $M$ on kausaalimalli ja että $M_x$ on kausaalimalli, jossa muuttujasta $X$ riippuviin yhtälöihin on sijoitettu $X=x$. Merkitään muuttujan $Y$ ratkaisua mallissa $M_x$ merkinnällä $Y_{M_x}(u)$. Tällöin kontrafaktuaali $Y_x(u)$ (eli muuttujan $Y$ arvo tilanteessa $u$, jos $X$ olisi ollut $x$) on Oletetaan, että $M$ on kausaalimalli ja että $M_x$ on kausaalimalli, jossa muuttujasta $X$ riippuviin yhtälöihin on sijoitettu $X=x$. Merkitään muuttujan $Y$ ratkaisua mallissa $M_x$ merkinnällä $Y_{M_x}(u)$. Tällöin kontrafaktuaali $Y_x(u)$ (eli muuttujan $Y$ arvo tilanteessa $u$, jos $X$ olisi ollut $x$) on
...@@ -309,21 +259,31 @@ Y_x(u) \overset{\Delta}{=} Y_{M_x}(u). ...@@ -309,21 +259,31 @@ Y_x(u) \overset{\Delta}{=} Y_{M_x}(u).
\end{maar} \end{maar}
Tällöin siis ...
\section{Tutkimusongelma} \section{Tutkimusongelma}
Oletetaan, että on olemassa aineisto $D = \{x, j, t, y\}$, joka on valikoidusti luokiteltu, ja päätöksentekijä $J(r)$, missä $r$ kuvaa hänen hyväksymisprosenttia. Tavoitteena on arvioida päätöksentekijän $J(r)$ virheprosenttia mahdollisimman tarkasti millä tahansa hyväksymisprosentilla $r \in [0, 1]$. Oletetaan, että on olemassa aineisto $D = \{x, j, t, y\}$, joka on valikoidusti luokiteltu, ja päätöksentekijä $J(r)$, missä $r$ kuvaa hänen hyväksymisprosenttia. Tämän tutkielman tavoitteena on luoda menetelmä, jolla voidaan arvioida päätöksentekijän $J(r)$ virheprosenttia mahdollisimman tarkasti millä tahansa hyväksymisprosentilla $r \in [0, 1]$.
%%%%%%%%%
%%%%%%%%%
%%%%%%%%%
\chapter{Aineisto}\label{aineisto} \chapter{Aineisto}\label{aineisto}
Tutkimuksessa käytettiin synteettistä aineistoa, johon simuloitiin kolme muuttujaa $X$, $Z$, ja $W$. Näistä muuttujista $X$ on sekä mallin että päätöksentekijän havaittavissa. Käytännössä muuttuja $X$ kuvaa kirjallista informaatiota, joka on erilaisissa pöytäkirjoissa tai rekistereissä. Muuttujalla $Z$ kuvataan tietoa, jonka vain päätöksentekijä voi havaita: kuten Lakkaraju havainnollistaa, tällaista voi olla oikeuskäsittelyissä tieto siitä, onko vastaajalla perhettä mukana oikeussalissa. $W$ tuo malliin kohinaa. Muuttujalla esitämme aineistossa informaatiota, joka ei ole saatavilla päätöksentekijöille eikä mallille, mutta vaikuttaa silti tulokseen. Aineistossa nämä kaikki ovat riippumattomia standardinormaalijakautuneita satunnaismuuttujia. \cite{lakkaraju17} Tutkimuksessa käytettiin synteettistä aineistoa, johon simuloitiin kolme muuttujaa $X$, $Z$, ja $W$. Näistä muuttujista $X$ on sekä mallin että päätöksentekijän havaittavissa. Käytännössä muuttuja $X$ kuvaa kirjallista informaatiota, joka on erilaisissa pöytäkirjoissa tai rekistereissä. Muuttujalla $Z$ kuvataan tietoa, jonka vain päätöksentekijä voi havaita: kuten Lakkaraju havainnollistaa, tällaista voi olla oikeuskäsittelyissä tieto siitä, onko vastaajalla perhettä mukana oikeussalissa. $W$ tuo malliin kohinaa. Muuttujalla esitämme aineistossa informaatiota, joka ei ole saatavilla päätöksentekijöille eikä mallille, mutta vaikuttaa silti tulokseen. Aineistossa nämä kaikki ovat riippumattomia standardinormaalijakautuneita satunnaismuuttujia. \cite{lakkaraju17}
Tulosmuuttujan $Y$ arvo otettiin satunnaisesti Bernoulli-jakaumasta parametrilla $p = \pr(Y=0|X, Z, W)=\dfrac{1}{1+\text{exp}\{-(\beta_xx+\beta_zz+\beta_ww)\}}$. Lausekkeen kertoimet $\beta_x$, $\beta_z$ ja $\beta_w$ asetettiin arvoihin 1, 1 ja 0,2. \cite{lakkaraju17} Tulosmuuttujan $Y$ arvo otettiin Bernoulli-jakaumasta parametrilla
\begin{equation} \label{eq:result_prob}
Päätösmuuttujan $T$ arvo määritettiin vertaamalla lausekkeen $\pr(T=0|X, Z)=\frac{1}{1+\text{exp}\{-(\beta_XX+\beta_ZZ)\}} + \epsilon$, missä $\epsilon \sim N(0; 0,1)$, arvoa vastaavan satunnaismuuttujan kvantiilifunktion $F^{-1}_{\pr(T=0|X, Z)}$ arvoon kohdassa $r$. Henkilölle annetaan kielteinen päätös $T=0$, jos $F^{-1}_{\pr(T=0|X, Z)}(r) < \pr(T=0|X=x_i, Z=z_i)$ ja positiivinen päinvastaisessa tapauksessa. Näin annetut päätökset ovat toisistaan riippumattomia ja tuomarille annettu hyväksymisprosentti konvergoi havaittuun hyväksymisprosenttiin. p = \pr(Y=0|X, Z, W)=\dfrac{1}{1+\text{exp}\{-(\beta_xx+\beta_zz+\beta_ww)\}}.
\end{equation}
Lausekkeen kertoimet $\beta_x$, $\beta_z$ ja $\beta_w$ asetettiin arvoihin $1$, $1$ ja $0,2$. Aineistoon luotiin $M=14$ tuomaria, joista aina kahdelle asetettiin hyväksymisprosentit $0.1, 0.2, \ldots, 0.7$. Päätös määritettiin sitten vertaamalla lausekkeen
Kun aineisto oli simuloitu, se jaettiin koulutus- ja testiaineistoihin. Lopuksi molempia aineistoja muokattiin siten, että tulosmuuttujan arvo oli saatavissa vain yksilöille, joille oli annettu positiivinen päätös $(T=1)$. Kielteisen päätöksen saaneille tulosmuuttujan arvo asetettiin arvoon $0$. \cite{lakkaraju17} \begin{equation} \label{eq:decision_prob}
\pr(T=0|X, Z)=\frac{1}{1+\text{exp}\{-(\beta_XX+\beta_ZZ)\}} + \epsilon,
\end{equation}
missä $\epsilon \sim N(0; 0,1)$, arvoa kvantiilifunktion $F^{-1}_{\pr(T=0|X, Z)}$ arvoon kohdassa $r$. Henkilölle annettiin kielteinen päätös $T=0$, jos $F^{-1}_{\pr(T=0|X, Z)}(r) < \pr(T=0|X=x_i, Z=z_i)$ ja positiivinen päinvastaisessa tapauksessa. Tällöin annetut päätökset ovat toisistaan riippumattomia ja tuomarille annettu hyväksymisprosentti konvergoi havaittuun hyväksymisprosenttiin.
Kun aineisto oli simuloitu, se jaettiin koulutus- ja testiaineistoihin siten, että sekä koulutus- että testiaineistoon tuli yksi jokaista hyväksymisprosenttia edustava päätöksentekijä. Lopuksi molempia aineistoja muokattiin siten, että tulosmuuttujan arvo oli saatavissa vain yksilöille, joille oli annettu positiivinen päätös $(T=1)$. Kielteisen päätöksen saaneille tulosmuuttujan arvo asetettiin arvoon $0$.
%%%%%%%%% %%%%%%%%%
%%%%%%%%% %%%%%%%%%
...@@ -335,13 +295,11 @@ Ennustemallien suorituskyvyn arvioiminen valikoidusti luokitellussa aineistossa ...@@ -335,13 +295,11 @@ Ennustemallien suorituskyvyn arvioiminen valikoidusti luokitellussa aineistossa
\begin{equation} \begin{equation}
f_X(X|T=0) \neq f_X(X|T=1). f_X(X|T=0) \neq f_X(X|T=1).
\end{equation} \end{equation}
Kuten mainittua, lisäongelmana valikoidusti luokitelluissa aineistoissa on se, että kielteisen päätöksen saaneille vasteen arvo ei ole havaittu ja siten vasteen puuttuminen lliittyy vasteen arvoon. Lisäongelmana valikoidusti luokitelluissa aineistoissa on se, että kielteisen päätöksen saaneille vasteen arvoa ei ole havaittu ja siten vasteen puuttuminen liittyy vasteen arvoon.
Valikoidusti luokitelluissa aineistoissa mallin tarkkuutta voidaan verrata kahteen metriikkaan, mallin todelliseen tarkkuuteen (engl. \emph{true evaluation}) ja havaittujen tulosten perusteella laskettuun tarkkuuteen. Todellinen tarkkuus arvioidaan järjestämällä havainnot jonkin ennustemallin $\B$ ennusteiden mukaan. Malli $\B$ voi olla esimerkiksi regressiomalli tai neuroverkko, joka yhdistää yksilön havaittavissa olevat ominaisuudet $\mathbf{x}$ todennäköisyyteen negatiiviseen tulokseen $Y=0$. Jos mallin suorituskykyä arvioidaan hyväksymistasolla $r'$ ja havaintoja on $N$ kappaletta, mallin virheprosentti arvioidaan laskemalla $\sum_{i=1}^{r'\cdot N} \mathbbm{1}\{y_i=0\}$ niiden havaintojen joukossa, joille $\B$ on arvioinut pienimmän epäonnistumisen todennäköisyyden (katso algoritmi \ref{alg:true_eval}). Valikoidusti luokitelluissa aineistoissa mallin tarkkuutta voidaan verrata kahteen metriikkaan, mallin todelliseen tarkkuuteen ja havaittujen tulosten perusteella laskettuun tarkkuuteen (\emph{true evaluation} ja \emph{labeled outcomes}, kts. \cite{lakkaraju17}). Todellista tarkkuutta arvioidaan algoritmin \ref{alg:true_eval} avulla. Algoritmissa malli $\B$ voi olla esimerkiksi regressiomalli tai neuroverkko, joka yhdistää yksilön havaittavissa olevat ominaisuudet $\mathbf{x}$ negatiivisen tuloksen $Y=0$ todennäköisyyteen. Jos mallin suorituskykyä arvioidaan hyväksymistasolla $r'$ ja havaintoja on $N$ kappaletta, mallin virheprosentti arvioidaan laskemalla $\frac{1}{N}\sum_{i=1}^{r'\cdot N} \mathbbm{1}\{y_i=0\}$ niiden havaintojen joukossa, joille $\B$ on arvioinut pienimmän epäonnistumisen todennäköisyyden.
Koska oikeissa sovelluksissa sellaisia tuloksia $Y$ ei voida havaita, joille päätös on ollut kielteinen ($T=0$), niin yleensä mallin suorituskyvyn arvioinneissa käytetään vain havaittuja tuloksia. Pelkästään havaittujen tulosten perusteella laskettu virheprosentti on usein virheellinen, koska Koska oikeissa sovelluksissa sellaisia tuloksia $Y$ ei voida havaita, joille päätös on ollut kielteinen ($T=0$), niin yleensä mallin suorituskyvyn arvioinnissa käytetään vain havaittuja tuloksia. Pelkästään havaittujen tulosten perusteella laskettu virheprosentti on usein virheellinen, koska otos, jossa mallin suorituskykyä arvioidaan, ei vastaa todellista populaatiota. Algoritmi \ref{alg:labeled_outcomes} esittää tavan arvioida mallin suorituskykyä käyttäen vain havaittuja tuloksia. Algoritmin sivuuttaa kielteisen päätöksen saaneet kokonaan mallin suorituskyvyn tarkastelussa.
XXXXXX (mallilla ei ole saatavissa muuttujaa Z ja se sitten järjestää eri järjestykseen lisäksi sellainen "harjakuva"). Havaittujen tuloksien perusteella laskettu virheprosentti lasketaan algoritmin \ref{alg:labeled_outcomes} esittämällä tavalla
\begin{algorithm}[] % enter the algorithm environment \begin{algorithm}[] % enter the algorithm environment
\caption{Todellinen tarkkuus} % give the algorithm a caption \caption{Todellinen tarkkuus} % give the algorithm a caption
...@@ -370,16 +328,13 @@ XXXXXX (mallilla ei ole saatavissa muuttujaa Z ja se sitten järjestää eri jä ...@@ -370,16 +328,13 @@ XXXXXX (mallilla ei ole saatavissa muuttujaa Z ja se sitten järjestää eri jä
\end{algorithmic} \end{algorithmic}
\end{algorithm} \end{algorithm}
% Nimet kuviin: TODELLINEN SUORITUSKYKY > lyh. TODELLINEN, HAVAITUT TULOKSET > HAVAITUT, SUPISTUSALGORITMI, KONTRAFAKTUAALIT
\section{Supistusalgoritmi}\label{contraction} \section{Supistusalgoritmi}\label{contraction}
Supistusalgoritmi (\emph{contraction}) on 2017 esitetty algoritmi, jonka avulla voidaan arvioida ennustavien mallien todellista suorituskykyä valikoidusti luokitelluissa aineistoissa. \cite{lakkaraju17} Algoritmin toimintaperiaatteena on arvioida mielivaltaisen ennustavan mallin $\B$ ennusteita löyhimmän, eli eniten positiivisia päätöksiä päätöksentekijän tekemien päätösten joukossa. Algoritmin pseudokoodi on esitetty algoritmissa \ref{contraction_alg}. Algoritmin toiminta perustuu armollisimman päättäjän arvioiman havaintojoukon järjestämiseen ja osittamiseen siten, että mallin $\B$ ennusteen virheprosenttia arvioidaan vain havainnoilla, joille on havaittu tulos. Supistusalgoritmi (\emph{contraction}) on 2017 esitetty algoritmi, jonka avulla voidaan arvioida ennustavien mallien todellista suorituskykyä valikoidusti luokitelluissa aineistoissa. \cite{lakkaraju17} Algoritmin toimintaperiaatteena on arvioida mielivaltaisen ennustavan mallin $\B$ ennusteita löyhimmän, eli eniten positiivisia päätöksiä päätöksentekijän tekemien päätösten joukossa. Algoritmin pseudokoodi on esitetty algoritmissa \ref{contraction_alg}. Algoritmin toiminta perustuu armollisimman päättäjän arvioiman havaintojoukon järjestämiseen ja osittamiseen siten, että mallin $\B$ ennusteen virheprosenttia arvioidaan vain havainnoilla, joille on havaittu tulos.
Supistusalgoritmin oletukset on esitetty alkuperäisissä tuloksissa. \cite{lakkaraju17} Algoritmi olettaa, että havaintojen määräytyminen päätöksentekijöille on täysin satunnaista ja että aineistossa on useita päätöksentekijöitä eri hyväksymisprosenteilla. Oletuksista ensimmäinen on looginen ja yleisesti, joskin saattaa rajoittaa joidenkin aineistojen käyttöä jos päätöksentekijän osoittaminen on jonkinlaisen (oikeus)prosessin tulos. Useiden päätöksentekijöiden oletuksessa on samankaltaiset ongelmat: kaikissa osissa aineistoa ei ole välttämättä saatavissa päätöksentekijän identifioivaa tietoa, jolloin erilaisten aineistojen käyttö rajoittuu. (Onko balanssin kanssa ongelmaa: jos jokin päättäjä 80 \% AR tekee 80\% päätöksistä ja joku jolla on 50 \% AR tekee loput?) Supistusalgoritmi olettaa, että havaintojen määräytyminen päätöksentekijöille on täysin satunnaista ja että aineistossa on useita päätöksentekijöitä eri hyväksymisprosenteilla. \cite{lakkaraju17} Oletuksista ensimmäinen on looginen, joskin se saattaa rajoittaa joidenkin aineistojen käyttöä, jos päätöksentekijän osoittaminen on jonkinlaisen prosessin tulos. Useiden päätöksentekijöiden oletuksessa on samankaltaiset ongelmat: kaikissa aineistoissa ei ole välttämättä saatavissa päätöksentekijän identifioivaa tietoa, jolloin erilaisten aineistojen käyttö rajoittuu.
Supistusalgoritmin tarkkuuteen vaikuttavat armeliaimman päätöksentekijän hyväksymisprosentti, hänen antamien päätöksien yhdenmukaisuus ennustemallin $\B$ ennusteiden kanssa (engl. \emph{agreement rate}) ja hänen antamien päätöksien lukumäärä. Näiden suureiden vaikutusta on analysoitu alkuperäisessä julkaisussa. \cite{lakkaraju17} Yleisesti hyväksymisprosentin, yhdenmukaisuuden ja päätöksien lukumäärän kasvaessa algoritmin tarkkuus paranee. Supistusalgoritmin tarkkuuteen vaikuttavat armeliaimman päätöksentekijän hyväksymisprosentti, hänen antamien päätöksien yhdenmukaisuus ennustemallin $\B$ ennusteiden kanssa ja hänen antamien päätöksien lukumäärä. Näiden suureiden vaikutusta on analysoitu alkuperäisessä julkaisussa. \cite{lakkaraju17} Yleisesti ottaen hyväksymisprosentin, yhdenmukaisuuden ja päätöksien lukumäärän kasvaessa algoritmin tarkkuus paranee.
\begin{algorithm} % enter the algorithm environment \begin{algorithm} % enter the algorithm environment
\caption{Supistusalgoritmi} % give the algorithm a caption \caption{Supistusalgoritmi} % give the algorithm a caption
...@@ -411,15 +366,11 @@ Supistusalgoritmin tarkkuuteen vaikuttavat armeliaimman päätöksentekijän hyv ...@@ -411,15 +366,11 @@ Supistusalgoritmin tarkkuuteen vaikuttavat armeliaimman päätöksentekijän hyv
\section{Kontrafaktuaalinen imputointi}\label{kf_imputointi} \section{Kontrafaktuaalinen imputointi}\label{kf_imputointi}
Kontrafaktuaalinen imputointimetodi perustuu kausaalimalliin, joka on esitetty kuvassa \ref{kausaalimalli}. Metodi perustuu siihen, että latentista muuttujasta $Z$ on aina saatavissa jonkin verran tietoa. Esimerkiksi oikeuskäsittelyissä, jos havaittu muuttuja $X$ osoittaa epäillyn olevan vaarallinen, mutta on päätetty vapauttaa epäilty $T=1$, niin voidaan ajatella latentin informaation -- eli muuttujan $Z$ arvon -- olleen niin poikkeava, että vapautus kannatti tehdä. Sama pätee päinvastaisessa tapauksessa. Toisaalta tilanteissa, joissa päätös $T$ ja muuttujan $X$ arvot ovat samansuuntaiset, latentista muuttujasta ei ole niin paljoa informaatiota saatavilla. Voidaan vain todeta, että sen arvo ei ole ollut riittävän äärimmäinen muuttamaan päätöstä. Kontrafaktuaalinen imputointimenetelmä perustuu kausaalimalliin kuvassa \ref{kausaalimalli} esitettyyn kausaalimalliin. Kuva esittää kuinka päätöksentekijän hyväksymisprosentti $R \in [0, 1]$ vaikuttaa vain päätökseen $T$. Päätökseen vaikuttaa lisäksi latentti informaatio $Z$ ja kirjallinen, malleille havaittavissa oleva informaatio $X$. Kuvasta voidaan lisäksi lukea, kuinka edellä mainitut muuttujat $T$, $X$ ja $Z$ yhdessä muodostavat tuloksen $Y$. Erityispiirteenä on huomattava se, että jos päätös $T$ on kielteinen ($T=0$) niin tulosmuuttujan arvoa ei voida havaita.
Tutkielmassa esitetyt tulokset ja päätelmät on tehty kaksiarvoisille muuttujille, mutta ne pätevät myös jatkuville muuttujille. Tällöin mallin logistinen regressio voidaan vaihtaa esimerkiksi lineaariseen malliin ja tarkkuutta voidaan mitata keskimääräisen virheen sijaan residuaalien neliösummalla.
Tässä esitetty menetelmä perustuu jossain määrin siihen, että päätöksentekijällä on tulokseen liittyvää tietoa ja että hän käyttää sitä hyväkseen. Huomattavaa on, että jos päätöksentekijä sivuuttaa hänelle esitetyn tiedon ja tekee päätökset täysin satunnaisesti, aineisto ei ole enää valikoidusti luokiteltua ja havaintoja puuttuu täysin satunnaisesti. Tällöin regressiomallit voidaan rakentaa täysin normaalisti ja puuttuvat havainnot voidaan esimerkiksi poistaa. Menetelmä perustuu osaltaan siihen, että latentista muuttujasta $Z$ on aina saatavissa jonkin verran tietoa. Esimerkiksi oikeuskäsittelyissä, jos havaittu muuttuja $X$ osoittaa epäillyn olevan vaarallinen, mutta on päätetty vapauttaa epäilty $T=1$, niin voidaan ajatella latentin informaation -- eli muuttujan $Z$ arvon -- olleen niin poikkeava, että vapautus kannatti tehdä. Sama pätee päinvastaisessa tapauksessa. Toisaalta tilanteissa, joissa päätös $T$ ja muuttujan $X$ arvot ovat samansuuntaiset, latentista muuttujasta ei ole niin paljoa informaatiota saatavilla. Voidaan vain todeta, että sen arvo ei ole ollut riittävän äärimmäinen muuttamaan päätöstä.
\subsection{Kausaalimalli} Vaikka menetelmä perustuu siihen, että päätöksentekijällä on tulokseen liittyvää tietoa ja että hän käyttää sitä hyväkseen, on mahdollista, että päätöksentekijä sivuuttaa hänelle esitetyt tiedot ja tekee päätökset täysin satunnaisesti. Tällöin kuitenkaan aineisto ei ole enää valikoidusti luokiteltua, havaintoja puuttuu täysin satunnaisesti ja yhtäsuuruus $f_X(X|T=0) = f_X(X|T=1)$ on tosi. Tällaisessa tilanteessa regressiomallit voidaan rakentaa täysin normaalisti ja puuttuvat havainnot voidaan esimerkiksi poistaa. Toisaalta on myös mahdollista, että päättäjä tekee syrjiviä päätöksiä ja systemaattisesti arvioi tietynlaisten ihmisten riskin kielteiseen tulokseen liian suureksi. Tutkimuksissani olen kuitenkin havainnut, että uusi esitetty menetelmä on robusti informatiivisten päätöksien oletuksen loukkaamista vastaan.
Kuvassa \ref{kausaalimalli} oleva verkko esittää oletetun kausaalisuuden rakenteen muuttujien välillä. Kuva esittää kuinka päätöksentekijän hyväksymisprosentti $R \in [0, 1]$ vaikuttaa vain päätökseen $T$. Päätökseen vaikuttaa lisäksi latentti informaatio $Z$ ja kirjallinen, malleille havaittavissa oleva informaatio $X$. Kuvasta voidaan lisäksi lukea, kuinka edellä mainitut muuttujat $T$, $X$ ja $Z$ vaikuttavat tulokseen $Y$. Erityispiirteenä on huomattava se, että jos päätös $T$ on kielteinen ($T=0$) niin tulosmuuttujan arvoa ei voida havaita.
\begin{figure} \begin{figure}
\centering \centering
...@@ -440,200 +391,71 @@ edge (Y) ...@@ -440,200 +391,71 @@ edge (Y)
edge (Y) edge (Y)
(T) edge (Y); (T) edge (Y);
\end{tikzpicture} \end{tikzpicture}
\caption{Kausaalimalli: $R$ on päätöksentekijän hyväksymisprosentti, $X$ kirjatut, kaikille havaittavissa olevat muuttujat, $T$ päätöksentekijän päätös, $Z$ kirjaamattomat, vain hänelle havaittavissa olevat muuttujat ja $Y$ tulosmuuttuja. Virhetermit on jätetty pois selkeyden vuoksi.} \label{kausaalimalli} \caption{Kausaalimalli: $R$ on päätöksentekijän hyväksymisprosentti, $X$ kirjatut, kaikille havaittavissa olevat muuttujat, $T$ päätöksentekijän päätös, $Z$ kirjaamattomat, vain hänelle havaittavissa olevat muuttujat ja $Y$ tulosmuuttuja.} \label{kausaalimalli}
\end{figure} \end{figure}
\subsection{Bayes-malli} %\subsection{Bayes-malli}
Esittämämme menetelmä perustuu bayesiläisen mallin hyödyntämiseen. Bayes-mallin määrittämiseksi on asetettava priorit kertoimille ja muuttujalle $Z$. Koska muuttuja $Z$ esittää useiden muuttujien summaa (vaatetus, käytös ja niin edelleen) voidaan \emph{a priori} olettaa muuttujan $Z$ olevan standardinormaalijakautunut keskeisen raja-arvolauseen nojalla. Logistisen regression kertoimien ($\beta_{xt},~\beta_{xy},~\beta_{zt}$ ja $\beta_{zy}$) priori on Studentin t-jakauma viidellä vapausasteella. Laskennallisista syistä priorit uudelleenparametroitiin olemaan epäkeskisiä. Prioriin päädyttiin MCMC-sämplerin diagnostiikoiden jälkeen ja koska normaalipriorilla on liian kevyet/raskaat hännät Gelman et al. mukaan. Mallinsimme aineistoa seuraavalla hierarkkisella mallilla \ref{eq:data_model} käyttäen Stan-ohjelmistoa \cite{stan} Arvioimme menetelmässämme kontrafaktuaalien arvon hierarkkisen Bayes-mallin avulla. Mallin määrittämiseksi on asetettava priorit kertoimille ja muuttujalle $Z$. Koska muuttuja $Z$ esittää useiden muuttujien summaa (vaatetus, käytös ja niin edelleen) voidaan \emph{a priori} olettaa muuttujan $Z$ olevan standardinormaalijakautunut keskeisen raja-arvolauseen nojalla. Logistisen regression kertoimille ($\beta_{xt},~\beta_{xy},~\beta_{zt}$ ja $\beta_{zy}$) asetettiin hierarkkiset priorit. Aineistoa mallinnettiin hierarkkisella mallilla \ref{eq:data_model} käyttäen Stan-ohjelmistoa \cite{stan}:
% osoita tässä uudelleenparametroinnin / epäkeskisen parametroinnin yhtäpitävyys? % osoita tässä uudelleenparametroinnin / epäkeskisen parametroinnin yhtäpitävyys?
% + huomioita "funneliin" liittyvistä ongelmista % + huomioita "funneliin" liittyvistä ongelmista
\begin{align} \label{eq:data_model} \begin{align} \label{eq:data_model}
Y ~|~ T = 1,~ x & \sim \text{Bernoulli}(\invlogit(\alpha_y + \beta_{xy} x + \beta_{zy} z)) \\ \nonumber Y ~|~ T = 1,~ x & \sim \text{Bernoulli}(\invlogit(\alpha_y + \beta_{xy} x + \beta_{zy} z)) \\ \nonumber
T ~|~ \D,~x,~Z & \sim \text{Bernoulli}(\invlogit(\alpha_{j} + \beta_{xt} x + \beta_{zt}z)). \\ \nonumber T ~|~ \D,~x,~Z & \sim \text{Bernoulli}(\invlogit(\alpha_j + \beta_{xt} x + \beta_{zt}z)). \\ \nonumber
Z & \sim N(0, 1) \\ \nonumber Z & \sim N(0, 1) \\ \nonumber
\alpha_*~|~\sigma_\alpha & \sim N(0, \sigma^2_\alpha) \\ \nonumber % TARKISTA
\beta_* & \sim t_6 \\ \nonumber % TARKISTA \beta_* & \sim t_6 \\ \nonumber % TARKISTA
\sigma_\alpha & \sim N_+(0, \sigma_\tau), \alpha_*~|~\tau & \sim N(0, \tau^2) \\ \nonumber % TARKISTA
\tau & \sim N_+(0, \sigma_\tau),
\end{align} \end{align}
missä $j = 1, \ldots, M$ ja $M$ on tuomarien lukumäärä. Käytännössä tehtiin kaksi logistista regressiomallia, joista ensimmäinen mallintaa päätöksiä havaittujen ominaisuuksien $X$ ja tuomarin identiteetin perusteella hyödyntäen koko aineistoa. Jokaiselle tuomarille määritetään erillinen leikkauspiste $\alpha_j$, jotta erilaiset hyväksymisprosentit voidaan ottaa huomioon. Toinen regressiomalleista mallintaa tuloksia $Y$ havaittujen ominaisuuksien $X$ avulla käyttäen vain sitä osaa aineistosta, jolle tulokset on havaittu, eli jolle $T=1$. missä $j = 1, \ldots, M$ ja $M$ on tuomarien lukumäärä ja $\sigma_\tau=1$. Käytännössä mallissa on siis kaksi logistista regressiomallia, joista ensimmäinen mallintaa päätöksiä havaittujen ominaisuuksien $X$ ja tuomarin identiteetin perusteella hyödyntäen koko aineistoa. Jokaiselle tuomarille määritettiin erillinen leikkauspiste $\alpha_j$, jotta erilaiset hyväksymisprosentit voidaan ottaa huomioon. Toinen regressiomalleista mallintaa tuloksia $Y$ havaittujen ominaisuuksien $X$ avulla käyttäen vain sitä osaa aineistosta, jolle tulokset on havaittu, eli jolle $T=1$. Leikkauspiste $\alpha_y$ mallintaa keskimääräistä todennäköisyyttä negatiivisen tulokseen.
Käyttäen posteriorista poimittuja havaintoja voimme ennustaa kontrafaktuaalien arvon prediktiivisestä jakaumasta (\emph{posterior predictive}) Käyttäen Stanin tuottamia posteriorista poimittuja havaintoja voimme ennustaa kontrafaktuaalien arvon prediktiivisestä jakaumasta (\emph{posterior predictive distribution})
\begin{equation} \label{eq:post_pred} \begin{equation} \label{eq:post_pred}
p(\tilde{y}|\mathbf{y})=\int_\Omega p(\tilde{y}|\theta)p(\theta|\mathbf{y})d\theta. p(\tilde{y}|\mathbf{y})=\int_\Omega p(\tilde{y}|\theta)p(\theta|\mathbf{y})d\theta.
\end{equation} \end{equation}
Käytännössä, kun Stanilla on arvioitu parametrien $\theta$ arvot jne jne...
Kun Stanilla on arvioitu kertoimien, leikkauspisteiden ja latentin muuttujan $z$ posteriori, kontrafaktuaalinen ennuste laaditaan poimimalla tulos $Y$ Bernoulli-jakaumasta käyttäen jokaista jokaisen parametrin arvoa (algoritmin \ref{counterfactual_imputation} rivi 4). Uusi tulos poimitaan niille havainnoille, jotka olivat saaneet negatiivisen päätöksen, eli joiden ''todellinen'' tulosmuuttujan arvo oli piilotettu.
\begin{algorithm}[H] % enter the algorithm environment \begin{algorithm}[H] % enter the algorithm environment
\caption{Kontrafaktuaalinen imputointialgoritmi} % give the algorithm a caption \caption{Kontrafaktuaalinen imputointialgoritmi} % give the algorithm a caption
\label{counterfactual_imputation} % and a label for \ref{} commands later in the document \label{counterfactual_imputation} % and a label for \ref{} commands later in the document
\begin{algorithmic}[1] % enter the algorithmic environment \begin{algorithmic}[1] % enter the algorithmic environment
\REQUIRE Aineisto $\D = \{x, j, t, y\}$, ja hyväksymisprosentti $r$ \REQUIRE Aineisto $\D = \{x, j, t, y\}$, ja hyväksymisprosentti $r$
\ENSURE Virheprosentti (FR) hyväksymisprosenttiella $r$ \ENSURE Virheprosentti (FR) hyväksymisprosentilla $r$
\STATE Poimi $\s$ havaintoa jokaisen parametrin posteriorista. \STATE Poimi $\s$ havaintoa jokaisen parametrin posteriorista.
\FOR{$i$ in $1, \ldots, \s$} \FOR{$i$ in $1, \ldots, \s$}
\FOR{$j$ in $1, \ldots, n$} \FOR{$j$ in $1, \ldots, n$}
\STATE Poimi uusi tulos $\hat{Y}$ Bernoulli-jakaumasta parametrilla $\invlogit(\alpha_j[i]+\beta_{xt}[i]x+\beta_{zt}z[i,j]$. \STATE Poimi uusi tulos $\hat{Y}$ Bernoulli-jakaumasta parametrilla $\invlogit(\alpha_j[i]+\beta_{xt}[i]x+\beta_{zt}z[i,j]$.
\ENDFOR \ENDFOR
\STATE Imputoi puuttuvat arvot käyttäen äsken vedettyjä arvoja. \STATE Imputoi puuttuvat arvot käyttäen äsken poimittuja arvoja.
\STATE Järjestä havainnot nousevaan järjestykseen ennustemallin $\B$ ennusteiden perusteella. \STATE Järjestä havainnot nousevaan järjestykseen ennustemallin $\B$ ennusteiden perusteella.
\STATE Laske $\text{FR} = \frac{1}{n}\sum_{k=1}^{n\cdot r} \mathbbm{1}\{y_k=0\}$. \STATE Laske $\text{FR} = \frac{1}{n}\sum_{k=1}^{n\cdot r} \mathbbm{1}\{y_k=0\}$ ja talleta tulos vektoriin $\mathcal{U}$.
\ENDFOR \ENDFOR
\RETURN $\mathcal{U}$ \RETURN Vektorin $\mathcal{U}$ keskiarvo.
\end{algorithmic} \end{algorithmic}
\end{algorithm} \end{algorithm}
%\section{Kausaalipäättely}\label{kausaali}
%
%Judea Pearl esittää artikkelissaan \cite{pearl10}, että kaikessa tutkimuksessa, joka hyödyntää kausaalipäättelyä, tulisi edetä järjestelmällisesti neljässä vaiheessa:
%
%\begin{enumerate}
%
%\item Määrittely: Määritetään tavoitesuuruus Q funktiona Q($\M$), joka voidaan laskea kaikille malleille $\M$.
%\item Oletuksien esitys: Esitä kausaaliset oletukset luonnollisella kielellä ja ilmaise niiden rakenteellinen osa verkkona.
%\item Identifioituvuus: Osoita, onko tavoitesuuruus määritettävissä (ilmaistavissa estimoitavina parametreina).
%\item Estimointi: Estimoi tavoitesuuruutta, jos se on identifioituva tai approksimoi sitä jos se ei ole. Tarkista mallin mahdolliset (tilastolliset) oletukset ja implikaatiot ja muuta mallia, jos oletukset osoittautuvat paikkaansa pitämättömiksi.
%
%\end{enumerate}
%
%\noindent Tutkielmani tavoitteena on esittää algoritmi, jolla voimme paremmin ennustaa riskiä populaatiotasolla, kun muutamme myönteisten päätösten osuutta ja kun käytössä on valintaharhasta kärsivää aineistoa. Todennäköisyyslausekkein ilmaistuna haluamme siis selvittää vapautusprosentin muutoksen vaikutusta epätoivottavan tapahtuman $Y=0$ todennäköisyyteen, mikä voidaan kirjoittaa muotoon
%
%\begin{equation} \label{q_m}
%\pr(Y=0 | \text{do}(R=r)).
%\end{equation}
%
%\noindent Huomataan, että lauseke \ref{q_m} ei riipu mistään mallista $\M$, joten se täyttää Pearlin tavoitesuuruuden Q määritelmän mukaiset ehdot.
%
%Kausaalipäättelyssä mallit määritellään usein yksinkertaisina suunnattuina verkkoina. Mallin määrittämästä verkosta voidaan suoraan lukea kausaaliset riippuvuussuhteet ja malliin kuuluvat muuttujat. Jos mallissa on solmut $A$ ja $B$ ja jos solmu $B$ on solmun $A$ jälkeläinen, niin muuttujalla $A$ on mallin mukaan jonkinlainen kausaalinen vaikutus muuttujaan $B$. Jos verkossa muuttujien välillä ei ole jälkeläisyyssuhdetta, niin ne ovat toisistaan riipumattomat. Kausaalisen vaikutuksen funktionaalista muotoa ei usein määritellä.
%
%\subsection{Merkinnät ja keskeiset lauseet}\label{kausaalimerk_laus}
%
%Kausaalipäättelyssä käytettävät merkinnät noudattelevat pitkälle tavallisia todennäköisyyslaskennan merkintöjä. Kun selvitetään muuttujan $X$ vaikutusta muuttujaan $Y$ ja tehdään interventio asettamalla muuttuja $X$ arvoon $x_0$, sitä merkitään $\pr(Y| \text{do} (X=x_0))$.
%
%Käydään seuraavaksi läpi kausaalilaskennan kannalta keskeisimmät lauseet. Lauseiden todistukset sivuutetaan, mutta ne on löydettävissä Pearlin artikkelin lähteistä \cite{pearl10}. Määritelmät \ref{d_sep} ja \ref{takaovi} \textbf{JNE}.
%
%\begin{maar}[d-separoituvuus \cite{pearl10}]\label{d_sep}
%
%Joukko $\s$ katkaisee (blocks) polun $p$, jos vähintään toinen seuraavista ehdoista on voimassa:
%
%\begin{enumerate}[(a)]
%\item Polku $p$ sisältää vähintään yhden solmun, joka on jonkin polun kulkusuuntaisen kaaren lähtösolmu ja kuuluu joukkoon $\s$. (arrow-emitting)
%\item Polku $p$ sisältää vähintään yhden käänteisen haarukkasolmun (collision node), joka ei kuulu joukkoon $\s$ ja jolla ei ole jälkeläisiä joukossa $\s$.
%\end{enumerate}
%
%\noindent Jos joukko $\s$ katkaisee kaikki polut muuttujasta $X$ muuttujaan $Y$, sanotaan joukon $\s$ d-separoivan muuttujat $X$ ja $Y$. Tällöin $X$ ja $Y$ ovat riippumattomia ehdolla $\s$, eli $X \independent Y | \s$.
%
%\end{maar}
%
%\begin{maar}[Takaovikriteeri (\emph{back-door criterion}) \cite{pearl10}] \label{takaovi}
%
%Oletetaan, että halutaan selvittää muuttujan X kausaalista vaikutusta muuttujaan Y. Joukko $\s$ on \emph{riittävä} vaikutuksen selvittämiseen (sufficient for adjustment), kun seuraavat ehdot ovat voimassa:
%
%\begin{enumerate}[(1)]
%\item Yksikään joukon $\s$ alkioista ei ole solmun X jälkeläinen.
%\item Joukon $\s$ alkiot katkaisevat kaikki määritelmän \ref{d_sep} mukaiset kiertoreitit solmusta X solmuun Y. Kiertoreittejä ovat polut, jotka päättyvät muuttujaan $X$ osoittavaan nuoleen.
%\end{enumerate}
%
%\end{maar}
%
%
%\subsection{Malli}\label{kausaalimalli}
%
%Malli sisältää viisi muuttujaa, jotka on esitelty lyhyesti taulukossa \ref{syntmjat}. Muuttujalla $R$ kuvataan päätöksentekijän hyväksymisprosenttia, eli sitä prosentuaalista osuutta henkilöistä, joilla on pienin vaara epätoivottavaan tulokseen ja joille siten voidaan antaa myönteinen päätös. $X$ ilmentää henkilön henkilökohtaisia ominaisuuksia, jotka ovat sekä päätöksentekijän että mallin havaittavissa. Muuttuja $X$ voi olla esimerkiksi jonkinlainen rekisteritieto, kuten ikä tai sukupuoli. Muuttuja $Z$ on muuttuja, jonka tuomari tai muu asiantuntija voi havaita, mutta joka on mallilta piilotettu. Muuttujan $Z$ voidaan ajatella esimerkiksi oikeuskäsittelyjen tapauksessa kuvaavan epäillyn kääytöstä oikeussalissa. Tulosmuuttuja $Y$ ja päätösmuuttuja $T$ ovat kaksiarvoisia ja niiden määrittelyt on esitelty kuvassa \ref{valikoitumisharha}: myönteistä päätöstä merkitään $t=1$, kielteistä $t=0$. Vastaavasti myönteinen tulos määritellään muuttujan $y$ arvoksi 1, kielteinen arvoksi 0.
%
%Mallin määrittelevä graafi on estetty kuviossa \ref{final_model} ilman virhemuuttujia. Graafista voidaan suoraan lukea oletukset: oletetaan, että $Z \independent X, R$ mutta laajennetaan Lakkarajun oletuksia sallimalla muuttujan X vaikutus muuttujaan R \cite{lakkaraju17}. Mallin oletetuilla kausaalisilla vaikutuksilla on lisäksi selkeästi ilmaistavat realisaatiot: kuinka osuuden $R$ muuttaminen vaikuttaa päätökseen ja edelleen päätös tulokseen ja niin edelleen.
%
%\begin{table} %[H]
%\centering
%\begin{tabular}{rl}
%\hline \hline
%Muuttuja & Kuvaus \\
%\hline
% R & Myönteisten päätösten osuus prosentteina $r \in [0, 1]$ \\
% X & Kirjatut muuttujat, havaittavissa kaikille \\
% Z & Kirjaamattomat muuttujat, vain päättäjän havaitsemat\\
% Y & Tulosmuuttuja, $y \in \{0, 1\}$\\
% T & Päätösmuuttuja, $t \in \{0, 1\}$\\
%\hline \hline
%\end{tabular}
%\caption{Mallin muuttujien selitteet}
%\label{syntmjat}
%\end{table}
%
%\begin{figure}% [H]
% \centering
% \begin{subfigure}[b]{0.4\textwidth}
% \includegraphics[width=\textwidth]{final_model}
% \caption{Malli ilman interventiota.}
% \label{final_model}
% \end{subfigure}
% ~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
% %(or a blank line to force the subfigure onto a new line)
% \begin{subfigure}[b]{0.5\textwidth}
% \includegraphics[width=\textwidth]{intervention_model}
% \caption{Malli, johon interventio on merkitty.}
% \label{intervention_model}
% \end{subfigure}
% ~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
% %(or a blank line to force the subfigure onto a new line)
% \caption{Kausaalimallit graafeina.}\label{mallikuvat}
%\end{figure}
%
%Johdetaan muuttujan $R$ kausaalivaikutus muuttujaan $Y$ yli kaikkien ositteiden X. Huomataan, että osuuden $R$ kausaalinen vaikutus voidaan ilmaista suoraan lausekkeella \ref{q_m}, sillä $\pr(Y=0|\text{do}(R=0))=0$ ja siten edelleen
%\begin{equation*}
% \pr(Y=0|\text{do}(R=r))-\pr(Y=0|\text{do}(R=0)) \\
%% =\: \pr(Y=0|\text{do}(R=r))-0 \\
% =\: \pr(Y=0|\text{do}(R=r)).
%\end{equation*}
%
%Osoitetaan seuraavaksi, että X on riittävä vaikutusten korjaamiseen määritelmän \ref{takaovi} mukaisesti, kun selvitetään muuttujan R kausaalista vaikutusta muuttujaan Y. Mallista voidaan suoraan lukea, että takaovikriteerin ensimmäinen ehto on voimassa: X ei ole muuttujan R jälkeläinen. Polut, jotka muuttujan X pitää katkaista ollakseen riittävä vaikutusten korjaamiseen ovat $R \leftarrow X \rightarrow Y$, $R \leftarrow X \rightarrow T \rightarrow Y$ ja $R \leftarrow X \rightarrow T \leftarrow Z \rightarrow Y$. Muuttuja X täyttää kuitenkin määritelmän \ref{d_sep} (a)-kohdan ehdon ja siten d-separoi muuttujat R ja Y. Tällöin X on riittävä vaikutusten korjaamiseen ja voidaan hyödyntää Pearlin kaavaa 25 \cite{pearl10}:
%
%\begin{subequations} \label{derivation}
%\begin{align}
% \pr&(Y=0|\text{do}(R=r)) = \sum_x \pr(Y=0| R=r, X=x) \pr(X=x) \label{derivation1} \\
% &= \sum_x \left( \sum_t \pr(Y=0, T=t| R=r, X=x) \right) \pr(X=x) \label{derivation2} \\
% &= \sum_x \left( \sum_t \pr(Y=0| T=t, R=r, X=x)\pr(T=t| R=r, X=x) \right) \pr(X=x) \label{derivation3} \\
% &= \sum_x \pr(Y=0| T=1, R=r, X=x) \pr(T=1| R=r, X=x) \pr(X=x) \label{derivation4} \\
% &= \sum_x \pr(Y=0| T=1, X=x) \pr(T=1| R=r, X=x) \pr(X=x) \label{derivation5}
%\end{align}
%\end{subequations}
%
%Yllä oleva lauseke on yhtäpitävä myös jatkuville muuttujan $x$ arvoille, kun korvaamme summaukset integraalilla parametriavaruuden yli: $$\pr(Y=0|\text{do}(R=r)) = \int_x \pr(Y=0| T=1, X=x) \pr(T=1| R=r, X=x) \pr(X=x).$$
%
%\subsection{algo}
%
%
%Pearlin mukaan:
%
%$$P(Y=0|do(R=r), X=x)=P(Y=0|R=r, X=x)=P(Y=0|R=r, X=x, T=1)P(T=1|R=r, X=x)$$
%
%Mallit vaikutukset laskettiin Pythonilla versio 3.6. Syötteett sklinear mallliin , joka fitattiin testi dataan ja sitten integroitiin eri leniencyn tasoilla muuttujan X parametriavaruuden eli reaaliakselin ylitse.
%%%%%%%%% %%%%%%%%%
%%%%%%%%% %%%%%%%%%
%%%%%%%%% %%%%%%%%%
\chapter{Tulokset}\label{tulokset} \chapter{Tulokset}\label{sec:tulokset}
Kappaleessa \ref{metodit} selostettuja menetelmiä sovellettiin synteettiseen aineistoon ja tulokset on esitetty kuvassa \ref{tuloskuva}. Kuvista nähdään, että ehdotettu menetelmä pystyy selkeästi arvioimaan ennustemallin todellista suorituskykyä paremmin kuin supistusalgoritmi. Kuvasta \ref{tuloskuva_erotukset} havaitaan lisäksi, kuinka uuden menetelmän arvio virheprosentista vastaa lähes täysin todellista virheprosenttia kaikilla hyväksymisprosenteilla. Kappaleessa \ref{metodit} esitettyjä menetelmiä sovellettiin synteettiseen aineistoon ja tulokset on esitetty kuvassa \ref{tuloskuva}. Kuvista nähdään, kuinka ehdotettu menetelmä pystyy selkeästi arvioimaan ennustemallin todellista suorituskykyä paremmin kuin supistusalgoritmi. Kuvasta \ref{tuloskuva_erotukset} havaitaan lisäksi, kuinka uuden menetelmän arvio virheprosentista vastaa lähes täysin todellista virheprosenttia kaikilla hyväksymisprosenteilla. Uuden menetelmän tarkkuutta parantaa jo se, että malli tarkastelee koko aineistoa ja pystyy siten tekemään tarkempia arvioita jo pienemmästä määrästä havaintoja.
Uuden menetelmän tarkkuuden paraneminen liittyy todennäköisesti siihen, että malli tarkastelee koko aineistoa ja pystyy siten tekemään tarkempia arvioita jo pienemmästä määrästä havaintoja. Suurempi määrä havaintoja näkyy myös keskivirhepalkin pienuutena. Liitteen \ref{sec:liite_bz} kuvissa näkyy myös, kuinka esittämämme kontrafaktuaaleihin pohjautuvan menetelmän tarkkuus on lähes riippumaton latentin muuttujan vaikutuksesta, eli kertoimen $\beta_z$ suuruudesta. Uusi menetelmä pystyy seuraamaan todellista tarkkuutta hyvällä tarkkuudella kaikilla hyväksymisprosentin arvoilla. Liitteessä \ref{sec:liite_max_r} on esitetty lisäksi kuinka armeliaimman päätöksentekijän hyväksymisprosentin nostosta huolimatta uusi menetelmä on edelleen tarkempi arvioimaan todellista virheprosenttia.
Liitteen X kuvassa Y näkyy myösn, kuinka esittämämme kontrafaktuaalieihin pohjautuvan menetelmän tarkkuus on lähes rriipumaton latentin muuttujan vaikutuksesta,, eli muuttujan $\beta_z$ kertoimesta. Kun beta Z kasvaa viiteen tai kolmeen lakkarajun menetelmä lakee. Liitteessä eesitetään lisäksi lninteimmän hyväksymisprosentin noston vaikutus. Vaikka lakkarajun mentelmän tarkkuus kasvaa, se estimoi silti edelleen huonommin (MAE X vs Y).
\begin{figure}% [H] \begin{figure}% [H]
\centering \centering
\begin{subfigure}[b]{0.475\textwidth} \begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_all} \includegraphics[width=\textwidth]{sl_thesis_all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ ~} \caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ ~}
\label{tuloskuva} \label{tuloskuva_suora}
\end{subfigure} \end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc. ~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line) %(or a blank line to force the subfigure onto a new line)
...@@ -644,28 +466,27 @@ Liitteen X kuvassa Y näkyy myösn, kuinka esittämämme kontrafaktuaalieihin po ...@@ -644,28 +466,27 @@ Liitteen X kuvassa Y näkyy myösn, kuinka esittämämme kontrafaktuaalieihin po
\end{subfigure} \end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc. ~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line) %(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin tarkemmin kuin supistusalgoritmi (sininen). Kuvasta nähdään lisäksi, kuinka esitetty menetelmä pystyy ennustamaan todellisen virheprosentin jokaiselle hyväksymisprosentille riippumatta armeliaimman päättäjän myönteisten päätösten määrästä. Havaittujen tulosten perusteella laskettu arvio (vaaleanpunainen viiva) on selkeästi liian pieni ja johtaisi väärään käsitykseen mallin hyvästä suorituskyvystä.} \caption{Uuden menetelmän vertailu supistusalgoritmiin. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin tarkemmin kuin supistusalgoritmi (sininen). Kuvasta nähdään lisäksi, kuinka esitetty menetelmä pystyy ennustamaan todellisen virheprosentin jokaiselle hyväksymisprosentille riippumatta armeliaimman päättäjän myönteisten päätösten määrästä. Havaittujen tulosten perusteella laskettu arvio (vaaleanpunainen) on selkeästi liian pieni ja johtaisi väärään käsitykseen mallin suorituskyvystä.}
\label{tuloskuva} \label{tuloskuva}
\end{figure} \end{figure}
%%%%%%%%% %%%%%%%%%
%%%%%%%%% %%%%%%%%%
%%%%%%%%% %%%%%%%%%
\chapter{Johtopäätökset}\label{diskussio} \chapter{Johtopäätökset}\label{diskussio}
Tässä tutkielmassa esitettiin uusi menetelmä, \emph{kontrafaktuaalinen imputointi}, jonka avulla pystyttiin arvioimaan ennustemallin $\B$ tarkkuutta valikoidusti luokitellussa aineistossa paremmin kuin aikaisemmin kirjallisuudessa esitetyllä supistusalgoritmilla. Menetelmä imputoi puuttuvat tulokset käyttäen kausaalista rakennemallia, kontrafaktuaaleja ja hierarkkista Bayes-mallia. Tässä tutkielmassa esitettiin uusi menetelmä, \emph{kontrafaktuaalinen imputointi}, jonka avulla pystyttiin arvioimaan ennustemallin $\B$ tarkkuutta valikoidusti luokitellussa aineistossa paremmin kuin aikaisemmin kirjallisuudessa esitetyllä supistusalgoritmilla. Menetelmä imputoi puuttuvat tulokset käyttäen kausaalista rakennemallia, kontrafaktuaaleja ja hierarkkista Bayes-mallia. Esitetty algoritmi toimi tarkasti kaikilla hyväksymisprosentin tasoilla.
Tutkielmassa esitettyä työtä voidaan laajentaa monilta osin soveltumaan lukuisiin eri sovellusaloihin. Vastemuuttuja voi olla kategorinen tai jatkuva ja kausaalimallia voidaan laajentaa koskemaan mielivaltaisen vaikeita tilanteita. Lisätutkimuksia voidaan edelleen kohdistaa latentin muuttujan vaikutuksen $\beta_z$ korostumiseen ja epälineaarisiin yhteyksiin selittävien muuttujien $X$ ja $Z$ sekä selitettävän muuttujan $Y$ välillä. Lisäksi menetelmän toimiminen pitää vielä varmentaa jollain todellisella aineistolla. Tutkielmassa esitettyä työtä voidaan laajentaa monilta osin soveltumaan lukuisiin eri sovellusaloihin. Vastemuuttuja voi olla kategorinen tai jatkuva ja kausaalimallia voidaan laajentaa koskemaan rakenteeltaan monimutkaisempia tilanteita. Lisätutkimuksia voidaan edelleen kohdistaa latentin muuttujan vaikutuksen $\beta_z$ korostumiseen ja epälineaarisiin yhteyksiin selittävien muuttujien $X$ ja $Z$ sekä selitettävän muuttujan $Y$ välillä. Lisäksi menetelmän toimiminen pitää vielä varmentaa jollain todellisella aineistolla.
Esitettyä menetelmää voidaan soveltaa aloilla, joilla saatavilla oleva aineisto on valikoidusti luokiteltua, päätöksien teossa käytetään kirjaamatonta tietoa ja halutaan selvittää ihmispäättäjien korvaamista tai tukemista malleilla. Esimerkiksi jos vakuutusyhtiöt haluavat korvata korvauskäsittelijät ennustemalleilla, jotka ennustavat vakuutuksesta saatavaa voittoa, esitetyllä menetelmällä voitaisiin verrata mallin suorituskykyä käsittelijöiden tekemiin päätöksiin. Toisaalta jos oikeuslaitokset haluavat tuoda ennustavat algoritmit mukaan vakuuskäsittelyihin, voitaisiin mallin suorituskykyä arvioida päästämättä vaarallisia henkilöitä vapaaksi. Esitettyä menetelmää voidaan soveltaa aloilla, joilla saatavilla oleva aineisto on valikoidusti luokiteltua, päätöksien teossa käytetään kirjaamatonta tietoa ja halutaan selvittää ihmispäättäjien korvaamista tai tukemista malleilla. Esimerkiksi jos vakuutusyhtiöt haluavat korvata korvauskäsittelijät ennustemalleilla, jotka ennustavat vakuutuksesta saatavaa voittoa, esitetyllä menetelmällä voitaisiin verrata mallin suorituskykyä käsittelijöiden tekemiin päätöksiin. Toisaalta jos oikeuslaitokset haluavat tuoda ennustavat algoritmit mukaan vakuuskäsittelyihin, voitaisiin mallin suorituskykyä arvioida päästämättä vaarallisia henkilöitä vapaaksi.
Kontrafaktuaalinen imputointimenetelmä on pieni lisä data- ja tilastotieteen väliselle yhteiselle kentälle. Menetelmä soveltaa uusimpia laskennallisia sekä tilastollisia menetelmiä kehnojen mallien raakkaamiseksi pois jo syntyvaiheessa. Toivomme siis, että tutkielmassa esitetyn mallien suorituskyvyn arviointiin laadittu menetelmä löytää jalansijan instituutioissa, jotka ovat harkinneet laskennallisten mallien käyttöönottoa erilaisten päätöksien teossa.
%%%%%%%%% %%%%%%%%%
\nocite{*} %\nocite{*}
\bibliographystyle{babplain} \bibliographystyle{babplain}
\renewcommand{\bibname}{Lähteet} \renewcommand{\bibname}{Lähteet}
...@@ -675,29 +496,73 @@ Esitettyä menetelmää voidaan soveltaa aloilla, joilla saatavilla oleva aineis ...@@ -675,29 +496,73 @@ Esitettyä menetelmää voidaan soveltaa aloilla, joilla saatavilla oleva aineis
\chapter{Lisäkuvaajat} \chapter{Lisäkuvaajat}
\section{Latentin muuttujan vaikutus} \section{Latentin muuttujan kertoimen vaikutus} \label{sec:liite_bz}
Tässä osiossa on esitetty tulokset latentin muuttujan $Z$ kertoimen $\beta_z$ muuttamisen vaikutuksesta. Kertoimen $\beta_z$ suuruutta muokattiin lausekkeisiin \ref{eq:result_prob} ja \ref{eq:decision_prob} ja tulokset on esitetty kuvassa \ref{tuloskuva_liite}. Jo silmämääräisesti voidaan havaita uuden menetelmän parempi tarkkuus.
\begin{figure}% [H] \begin{figure}% [H]
\centering \centering
\begin{subfigure}[b]{0.475\textwidth} \begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz3__all} \includegraphics[width=\textwidth]{sl_thesis_bz3__all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ ~} \caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ Kuvassa $\beta_z=3$.}
\label{tuloskuva_2} \label{tuloskuva_2_suora}
\end{subfigure} \end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc. ~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line) %(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth} \begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz3__all_err} \includegraphics[width=\textwidth]{sl_thesis_bz3__all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä.} \caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. Kuvassa $\beta_z=3$.}
\label{tuloskuva_erotukset_2} \label{tuloskuva_erotukset_2}
\end{subfigure} \end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc. ~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line) %(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin, kun latentin muuttujan kerron $\beta_z=3$. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin edelleen tarkemmin kuin supistusalgoritmi (sininen). Ero on marginaalinen kappaleessa YY esitettyyn.}
\label{tuloskuva_2} \begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz5__all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ Kuvassa $\beta_z=5$.}
\label{tuloskuva_3_suora}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz5__all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. Kuvassa $\beta_z=5$.}
\label{tuloskuva_erotukset_3}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin, kun latentin muuttujan kerrointa $\beta_z$ muutetaan. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin edelleen tarkemmin kuin supistusalgoritmi (sininen). Ero on vähäinen kappaleessa \ref{sec:tulokset} esitettyyn.}
\label{tuloskuva_liite}
\end{figure} \end{figure}
%\section{Oletuksien loukkaaminen} \label{sec:liite_robusti}
%
%Lorem ipsum...
\section{Suurempi korkein hyväksymisprosentti} \label{sec:liite_max_r}
Kuvassa \ref{tuloskuva_liite_2} on esitetty tulokset tilanteessa, jossa armeliaimman päätöksentekijän hyväksymisprosentti on $0,9$, koska Lakkarajun esittämän supistusalgoritmin suorituskyky riippuu armeliaimman päätöksentekijän hyväksymisprosentista. Kuvista havaitaan kuitenkin, kuinka supistusalgoritmin tarkkuus häviää edelleen kontrafaktuaaleihin pohjautuvalle menetelmälle kaikilla hyväksymisprosenteilla (MAE $0,00353$ vs $0,00065$).
\begin{figure}% [H]
\centering
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_r_max_point_9__all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ Kuvassa $r_{\text{max}}=0,9$.}
\label{tuloskuva_4_suora}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_r_max_point_9__all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. Kuvassa $r_{\text{max}}=0,9$.}
\label{tuloskuva_erotukset_4}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin, kun armeliaimman päätöksentekijän hyväksymisprosentti $r_{\text{max}}=0,9$. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin tarkemmin kuin supistusalgoritmi (sininen) kaikilla hyväksymisprosentin tasoilla.}
\label{tuloskuva_liite_2}
\end{figure}
\end{appendices} \end{appendices}
\end{document} \end{document}
\ No newline at end of file
figures/sl_thesis_bz5__all.png 0 → 100644
+ 0
− 0
View file @ 68f0ce06
figures/sl_thesis_bz5__all.png

43.9 KiB

figures/sl_thesis_bz5__all_err.png 0 → 100644
+ 0
− 0
View file @ 68f0ce06
figures/sl_thesis_bz5__all_err.png

31.4 KiB

figures/sl_thesis_loki_r_max_point_9.txt 0 → 100644
+ 36
− 0
View file @ 68f0ce06
Analyysit kandiin
WARNING:pystan:Maximum (flat) parameter count (1000) exceeded: skipping diagnostic tests for n_eff and Rhat.
To run all diagnostics call pystan.check_hmc_diagnostics(fit)
WARNING:pystan:Deprecation warning. In future, use ArviZ library (`pip install arviz`)
Memory use after fit: 2153074688
__main__:108: UserWarning: Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.
Memory use before deletion: 2630823936
Size of pars before delete: 2464
Size of fit before delete: 152
Memory use after deletion: 711733248
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
.The agreement rate of contraction is: 0.46
__main__:212: UserWarning: Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.
__main__:36: RuntimeWarning: invalid value encountered in sqrt
Failure rates:
[[0.01867 0.00844 0.01800 0.01884]
[0.04689 0.01711 0.05400 0.04749]
[0.08200 0.02911 0.08200 0.08391]
[0.12444 0.04333 0.12000 0.12512]
[0.17289 0.05800 0.17000 0.17411]
[0.22756 0.07556 0.22200 0.22790]
[0.28556 0.09622 0.28200 0.28531]
[0.34800 0.11889 0.34400 0.34795]]
Mean absolute errors:
Havaitut 0.10742
Supistusalg. 0.00353
Kontrafaktuaalit 0.00065
__main__:236: UserWarning: Matplotlib is currently using agg, which is a non-GUI backend, so cannot show the figure.
\ No newline at end of file
figures/sl_thesis_r_max_point_9__all.png 0 → 100644
+ 0
− 0
View file @ 68f0ce06
figures/sl_thesis_r_max_point_9__all.png

39.5 KiB

figures/sl_thesis_r_max_point_9__all_err.png 0 → 100644
+ 0
− 0
View file @ 68f0ce06
figures/sl_thesis_r_max_point_9__all_err.png

28.5 KiB

viitteet.bib
+ 45
− 3
View file @ 68f0ce06
...@@ -107,7 +107,7 @@ ...@@ -107,7 +107,7 @@
title = "Johdatus yliopistomatematiikkaan", title = "Johdatus yliopistomatematiikkaan",
year = "2016", year = "2016",
month = "Tammikuu", month = "Tammikuu",
note = "Samannimisen kurssin kurssimateriaali", note = "Johdatus yliopistomatematiikkaan -kurssin kurssimateriaali",
language={finnish} language={finnish}
} }
...@@ -155,7 +155,7 @@ ...@@ -155,7 +155,7 @@
title = "Tietorakenteet ja algoritmit", title = "Tietorakenteet ja algoritmit",
year = "2018", year = "2018",
month = "Kevät", month = "Kevät",
note = "Samannimisen kurssin kurssimateriaali", note = "Tietorakenteet ja algoritmit -kurssin kurssimateriaali",
language={finnish} language={finnish}
} }
...@@ -207,4 +207,46 @@ ...@@ -207,4 +207,46 @@
month={maaliskuu}, month={maaliskuu},
note = {viitattu 4.10.2019}, note = {viitattu 4.10.2019},
language={finnish} language={finnish}
} }
\ No newline at end of file
@mastersthesis{sanz19,
title = {Kertymä-logit-regressioanalyysi lapsen tapaamisoikeuden täytäntöönpanopäätöksistä},
author = {Sanz, Aune},
school = {Helsingin yliopisto},
year = {2019},
url = {http://hdl.handle.net/10138/302857},
url = {http://www.urn.fi/URN:NBN:fi:hulib-201906132857},
type = {Pro gradu -tutkielma},
note = {viitattu 7.10.2019},
language = {finnish}
}
@misc{statevloomis,
author = "{Wisconsinin korkein oikeus}",
title = "State v. Loomis",
year = "2016",
month = "Kesäkuu",
url = {https://law.justia.com/cases/wisconsin/supreme-court/2016/2015ap000157-cr.html},
note = "viitattu 7.10.2019",
language = {finnish}
}
@booklet{hyvonen17,
author = "Ville Hyv{\''o}nen",
title = "Bayesian Inference 2017",
year = "2017",
month = "Joulukuu",
note = "Bayesian Inference -kurssin kurssimateriaali",
language={finnish}
}
@mastersthesis{tikka15,
author = "Santtu Tikka",
title = "Kausaalivaikutusten identifiointi algoritmisesti",
school = "{Jyväskylän yliopisto}",
type = "Pro gradu -tutkielma",
year = "2015",
month = "Helmikuu",
note = "viitattu 7.10.2019",
language = {finnish}
}
\ No newline at end of file
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment