Newer
Older
\documentclass[12pt,a4paper,leqno]{report}
%\usepackage[ansinew]{inputenc} Vaihdettu paketti alla olevaan, jotta ääkköset toimii
\usepackage[utf8]{inputenc}
\usepackage[T1]{fontenc}
\usepackage[finnish]{babel}
\usepackage{amsthm}
\usepackage{amsmath}
\usepackage{amssymb}
\usepackage{pgf}
\usepackage{tikz}
\usetikzlibrary{arrows,automata}
\usepackage[toc]{appendix}
\renewcommand{\appendixtocname}{Liitteet}
\usepackage{graphicx} % kuvat
\graphicspath{ {./figures/} }
\usepackage[margin=1.5cm]{caption}
\newcommand\independent{\protect\mathpalette{\protect\independenT}{\perp}} %riippumattomuus
\def\independenT#1#2{\mathrel{\rlap{$#1#2$}\mkern2mu{#1#2}}}
\usepackage[nottoc]{tocbibind} % Lähteet sisällykseen
%\usepackage[round,sort,comma]{natbib} % Natbib että harvard, ei toimi babelbibin kanssa
\usepackage[fixlanguage]{babelbib}
\selectbiblanguage{finnish}
\usepackage{algorithm}% http://ctan.org/pkg/algorithms
\usepackage{algorithmic}% http://ctan.org/pkg/algorithms
\floatname{algorithm}{Algoritmi}
\renewcommand{\algorithmicrequire}{\textbf{Syöte:}}
\renewcommand{\algorithmicensure}{\textbf{Tuloste:}}
\renewcommand{\algorithmicreturn}{\textbf{Palauta}}
%\makeatletter
%\renewcommand{\listalgorithmname}{List of \ALG@name s}
%\makeatother
\newcommand{\pr}{\mathbb{P}} % tn merkki
\newcommand{\s}{\mathcal{S}} % "fancy S"
\newcommand{\M}{\mathcal{M}} % "fancy M"
\newcommand{\B}{\mathcal{B}} % "fancy B"
\newcommand{\RR}{\mathcal{R}} % supistusalgon R
\newcommand{\invlogit}{\text{logit}^{-1}}
\usepackage{bbm} % Indikaattorifunktio
\newcommand{\R}{\mathbb{R}}
\newcommand{\C}{\mathbb{C}}
\newcommand{\Q}{\mathbb{Q}}
\newcommand{\N}{\mathbb{N}}
\newcommand{\No}{\mathbb{N}_0}
\newcommand{\Z}{\mathbb{Z}}
\newcommand{\diam}{\operatorname{diam}}
\theoremstyle{plain}
\newtheorem{lause}[equation]{Lause}
\newtheorem{lem}[equation]{Lemma}
\newtheorem{prop}[equation]{Propositio}
\newtheorem{kor}[equation]{Korollaari}
\theoremstyle{definition}
\newmdtheoremenv[linewidth=0pt]{maar}[equation]{Määritelmä}
\newtheorem{konj}[equation]{Konjektuuri}
\newtheorem{esim}[equation]{Esimerkki}
\theoremstyle{remark}
\newtheorem{huom}[equation]{Huomautus}
\pagestyle{plain}
\setcounter{page}{1}
\addtolength{\hoffset}{-1.15cm}
\addtolength{\textwidth}{2.3cm}
\addtolength{\voffset}{0.45cm}
\addtolength{\textheight}{-0.9cm}
\title{Kandidaatintutkielma\\ {\Large Kontrafaktuaalinen imputointi}} % Parempi otsikko
\author{Riku Laine\\ Valtiotieteellinen tiedekunta \\ Helsingin yliopisto}
%%%%%%%%%%%%%%
%
% Tärkeitä termejä
%
% DEFENDANT = VASTAAJA
% bail = takuu(järjestelmä)
%
%%%%%%%%%%%%%%
\begin{document}
\maketitle
\tableofcontents
\chapter*{Esipuhe}\label{epkiit}
%Tämän tutkielman aikana on tullut esiin takuujärjestelmään liittyvät ongelmat ja sovellusalueen yhteiskunnallinen merkitys.
%Tutkielman teko on ollut minulle erityisen mielekästä antoisan aiheen ja mieleisten yhteistyökumppanien vuoksi. Olen kirjoittanut tämän kandidaatintutkielman yhteistyössä Helsingin yliopiston tietojenkäsittelytieteen osaston apulaisprofessorin Michael Mathioudakiksen ja tohtoritutkijan Antti Hyttisen kanssa. He tarjosivat minulle aiheen ja merkittävää tukea sekä tärkeitä kommentteja tämän tutkielman kirjoittamisen aikana.
Tämän tutkielman on tarkastanut XYZ.
% Kenen rahoituksella jne
\rightline{Helsingissä \today,}
%\noindent I would like to thank assistant professor Michael Mathioudakis from University of Helsinki's Department of Computer Science for mentoring my thesis. He provided me this topic and provided insightful and encouraging comments throughout the process.
%Antti Hyttinen from the same department also gave important insight in causal modelling and commented on the content.
Erilaisissa instituutioissa tehdään päivittäin lukemattomia ihmisten elämään suuresti vaikuttavia päätöksiä: tuomarit päättävät epäiltyjen syyllisyydestä ja lääkärit potilaiden hoidosta. Vaikka nämä päätöksentekijät ovat alansa ammattilaisia ja erikoisosaajia, ovat he kuitenkin ihmisiä, jotka voivat tehdä virheitä ja olla ennakkoluuloisia tiettyjen ihmisryhmien edustajia kohtaan. Oikeudessa annettujen päätöksien reiluutta on analysoitu paljon päätöksenteon jälkeen, on esimerkiksi tutkittu syrjintää tapaamisoikeuteen liittyvissä kiistoissa. \cite{sanz19}
Viime aikoina päätöksiä on alettu tehdä myös erilaisten algoritmien tukemana ja määräämänä. Esimerkiksi Yhdysvalloissa on luotu COMPAS-algoritmi (Correctional Offender Management Profiling for Alternative Sanctions), jolta tuomarit saavat oikeuskäsittelyn eri vaiheissa arvion epäillyn taipumuksesta tehdä uusi rikos, jos tämä päästetään vapaaksi. \cite{compas} Vaikka alkuperäinen artikkeli herätti paljon keskustelua, vuonna 2016 Wisconsinin korkein oikeus päätti, että COMPAS-algoritmin riskiarvioita voidaan käyttää yhdessä muiden tekijöiden kanssa epäiltyjen vaarallisuuden arvioinnissa. \cite{statevloomis}
Yleisesti ottaen päätöksien automatisoinnin tavoitteena ei ole päätöksenteon nopeuttaminen tai tehostaminen vaan laadittujen päätöksien ja ennusteiden laadullinen parantaminen syrjinnän ja virheellisten päätösten poistamiseksi. Jotta syrjintä ja virheet voidaan poistaa, on ennustemallit ja algoritmit auditoitava. Tarkkuuden ja tasapuolisuuden arviointi on tavallisimmissa sovelluksissa jokseenkin triviaalia ja useita metriikoita, kuten residuaalien neliösumma tai muut vastaavat, on ehdotettu. Edellä mainituissa rikosoikeudellista prosessia koskevissa tapauksia näitä ei voi kuitenkaan soveltaa, koska tietyltä osalta havainnoista puuttuu vastemuuttujan arvo.
Sivuutan tässä tutkielmassa mallien sekä algoritmien reiluuden tarkastelun ja keskityn niiden suorituskyvyn arviointiin. Algoritmien reiluutta (\emph{algorithmic fairness}) on tutkittu paljon ja alan aktiivisia tutkijoita ovat esimerkiksi Cornellin yliopiston professori Jon Kleinberg ja Helsingin yliopistosta muun muassa ohjaajani Michael Mathioudakis.
\section{Puuttuvuus ja imputointi}\label{puuttuvuus}
Havaintoja voi puuttua erilaisissa tutkimuksissa useista eri syistä. Kyselytutkimuksissa vastauskatoa voi syntyä esimerkiksi vastaajan haluttomuudesta vastata kysymykseen tai yksinkertaisesti siitä syystä, että vastaajaa ei tavoiteta. Jos aineiston puuttuneisuusmekanismi on luonteeltaan täysin satunnainen, eli vastauksen puuttuneisuus ei liity millään tavalla mitattuihin muuttujiin, voidaan sanoa aineistoa puuttuvan \emph{täysin satunnaisesti}. Käänteisessä tapauksessa voidaan puhua \emph{ei-satunnaisesta puuttuvuudesta}. \cite{laaksonen13}
Tässä tutkielmassa tarkasteltavassa asetelmassa havaintojen puuttuminen liittyy sekä havaittuihin että havaitsemattomiin muuttujiin. Puuttuneisuuden voidaan sanoa olevan \emph{satunnaista ehdollisesti}, koska aineistoa puuttuu vain yksilöiltä, joilla on korkea todennäköisyys haitalliseen tulokseen. (Erilaisia aineiston puuttuneisuusmekanismeja esitellään laajemmin esimerkiksi Laaksosen kirjassa \emph{Surveymetodiikka}. \cite{laaksonen13}) Puuttuneisuutta voidaan korjata imputoinnilla, jolla yritetään tehdä mahdollisimman hyvä arvaus puuttuvasta arvosta. Imputoinnin filosofinen perusta nojaa ajatukseen, että havaintoyksikön vasteella on jokin arvo, mutta sitä ei ole vain havaittu.
Aineistoa voidaan imputoida erilaisilla menetelmillä ja malleilla. Jos aineistoa ei haluta imputoida, puuttuvaa tietoa sisältävät havainnot voidaan poistaa. Eräs yleisesti käytetty imputointimalli on lineaarinen regressiomalli. Kun lineaarista regressiota käytetään imputointiin, puuttuvan muuttujan arvoja pyritään selittämään havaittujen muuttujien avulla. Tällaista lähestymistapaa, jossa imputointi tehdään estimoidun mallin avulla, sanotaan \emph{malliluovuttajalähestymistavaksi}. Vaihtoehtoisesti puuttuva arvo voidaan imputoida toisen vastaajan arvolla, mitä kutsutaan \emph{vastaajaluovuttajalähestymistavaksi}. \cite{laaksonen13}
\section{Valikoiva luokittelu -- seulotun aineiston ongelma}\label{sl}
Valikoiva luokittelu (engl. \emph{selective labels}) aineiston luovana mekanismina on esitetty kuvassa \ref{valikoitumisharha}. Valikoivasti luokitellussa aineistossa päätöksentekijä tekee päätöksen henkilön piirteisiin perustuen. Hänen tavoitteena on estää haitallisen tuloksen $Y=0$ havaitseminen. Jos päätös on kielteinen $T=0$, tulosta ei havaita.\footnotemark Päätöksentekijä tekee siis päättäessään ennusteen kyseisen henkilön epäonnistumisen todennäköisyydestä?
\footnotetext{Ongelma voidaan esittää vaihtoehtoisesti myös muodossa, jossa kielteinen päätös $T=0$ määrää havainnon arvon positiiviseksi $Y=1$.}
Havainnollistan aineiston generoivaa mekanismia tässä tutkielmassa usein lääketieteestä tai rikosoikeudesta lainatuilla esimerkeillä. Arvioitava henkilö on ensin mainitussa potilas ja jälkimmäisessä epäilty. Päätöksentekijä voi olla esimerkiksi lääkäri, joka päättää annetaanko potilaalle vahvempaa -- ja ehkä kalliimpaa -- lääkettä, jolloin tauti ei uusiudu. Oikeuskäsittelyissä päättäjällä voidaan tarkoittaa tuomaria, joka päättää epäillyn vapauttamisesta takuita vastaan ilman pelkoa rikoksen uusimisesta. Molemmilla päättäjillä on selkeä kannustin estää haitalliset tulokset pitäen samalla päätöksistä aiheutuvat rasitteet yhteiskunnalle ja yksilöiden elämille mahdollisimman pienenä.
Valikoiva luokittelu luo siis aineistoon havaintoja, joilta puuttuu vasteen arvo, jolla ei ole realisaatiota tai jota ei ole olemassa. Tällöin tarvitaan siis \emph{kontrafaktuaaleja}, joiden avulla voidaan arvioida, miten olisi käynyt, jos päätös olisi ollut toinen.
\begin{figure}%[H]
\centering
\includegraphics[scale = 0.4]{valikoitumis_iso}
\caption{Valikoiva luokittelu aineiston generoivana mekanismina \cite{lakkaraju17}}
\label{valikoitumisharha}
\end{figure}
\section{Kausaatio ja kontrafaktuaalit}
Perinteisen tilastollisen tutkimuksen tavoitteena on havaita \emph{assosiaatioita} tapahtumien välillä ja tehdä niiden pohjalta päättelyä. \cite{kalisch14} Luonnossa havaitaan tapahtumia ja niiden yhteyksiä sovitetaan erilaisiin malleihin ja lopulta näiden yhteyksien avulla voidaan pyrkiä ennustamaan tapahtumia. Usein kuitenkin tutkijat haluavat vastauksia syy-seuraussuhteita eli \emph{kausaatiota} sisältäviin kysymyksiin, kuten "Paraniko henkilö, koska hän sai lääkettä?" tai "Maksetaanko naisille vähemmän palkkaa?".
Kuten tavallisissa tilastollisissa ongelmissa, syy-seuraussuhteita sisältävien ongelmien käsittelyyn tarvitaan malli. Mallit ovat ilmiöiden yksinkertaistuksia, jotka perustuvat teorioihin ja tietoon havainnoitavista ilmiöistä. (Kimmo) Kahden muuttujan $x$ ja $y$ lineaarista yhteyttä voidaan havainnollistaa lineaarisella mallilla $y = \beta x + \epsilon$, missä $\epsilon$ ilmaisee malliin liittyvää epävarmuutta ja $\beta \in \R$ on jokin kerroin. Tällainen yksinkertainen assosiatiivinen yhteys voidaan kääntää muotoon $x = \frac{y}{\beta}$. Kausatiivissa kysymyksissä syytä ei voida kuitenkaan vaihtaa seuraukseksi, joten malli on luontevaa määrittää verkkona. Tällaisia verkkomalleja sanotaan rakenteellisiksi kausaalimalleiksi (\emph{structural causal model}) ja ne rakennetaan kuten mikä tahansa muu malli, parhaan mahdollisen nykytiedon pohjalle.
Kausaalimallin avulla voidaan määrittää myös kontrafaktuaaleja, jotka kuvaavat jonkin muuttujan mahdollisia arvoja, jos tilanne olisi ollut toinen. Niiden avulla jossittelu voidaan määrittää matemaattisena ilmiönä. Kontrafaktuaalit vastaavat kysymyksiin, miten olisi käynyt jos asiat olisivat olleet toisin: olisiko henkilö parantunut, jos hän ei olisi saanut lääkettä.
\chapter{Määritelmät ja teoria}
Erilaisten algoritmien ja mallien suorituskyvyn arviointiin on kehitetty useita tapoja. Tavan valinta liittyy usein läheisesti vastemuuttujan arvojoukkoon: binäärisiä muuttujia on luontevaa arvioida eri tavoin kuin jatkuvia. Koska valikoidusti luokitellussa aineistossa tuloksen $Y$ havaitseminen riippuu päätöksestä $T$, määritetään kaksi metriikkaa -- hyväksymisprosentti (\emph{acceptance rate} (AR)) ja virheprosentti (\emph{failure rate} (FR)), joilla on intuitiiviset vastaavuudet reaalimaailmassa.
\begin{maar}[Hyväksymisprosentti (AR) \cite{lakkaraju17}] \label{AR}
Päättäjän hyväksymisprosentti määritetään myönteisten päätösten määrän suhteena annettujen päätösten kokonaismäärään. Jos päätöksentekijä antaa $100$ päätöstä, joista $40$ on myönteisiä, niin hänen hyväksymisprosenttinsa on $0,4$.
\vspace*{-5mm}
\begin{maar}[Virheprosentti (FR) \cite{lakkaraju17}] \label{FR}
Päätöksentekijän virheprosentti määritetään epäonnistuneiden tulosten määrän suhteena annettujen päätösten kokonaismäärään. Jos päätöksentekijä antaa $100$ päätöstä, joista $60$ on myönteistä ja näistä $60$ päätöksestä $30$ johtaa epäonnistumiseen (esimerkiksi rikoksen uusintaan), niin päättäjän virheprosentti on $0,3$.
\noindent Vertaillaksemme eri algoritmien ennusteiden tarkkuutta laskemme keskimääräisen virheen (\emph{mean absolute error} (MAE)) suhteutettuna johonkin referenssipisteeseen. Referenssipisteenä voidaan esimerkiksi käyttää virheprosentin todellisia arvoja ja verrata eri algoritmien ennusteita käyttäen keskimääräistä virhettä.
\begin{maar}[Keskimääräinen virhe (MAE) \cite{willmott05}] \label{MAE}
Olkoot $y_i$, missä $i = 1, \ldots, n$, havaintojen todelliset arvot ja $\hat{y_i}$ ennusteet. Tällöin jatkuville muuttujille keskimääräinen virhe
$$\text{MAE} = \dfrac{\sum_{i=1}^{n}|\hat{y_i}-y_i|}{n} = \dfrac{\sum_{i=1}^{n}|e_i|}{n}$$
ja edelleen binäärisille muuttujille
$$\text{MAE} = \dfrac{\sum_{i=1}^{n}\mathbbm{1}\{\hat{y}_i\neq y_i\}}{n}.$$
% TN -avaruus? > Todennäköisyys > jakauma/tiheysfunktio > ehdollinen tn > bayesin kaava
% https://fi.wikipedia.org/wiki/Todenn%C3%A4k%C3%B6isyysteoria
%Bayes-päättelyn rakennuspalikat perustuvat pikälti Bayesin kaavaan, joka on johdettavissa ehdollisen todennäköisyyden määritelmästä. Johtaaksemme Bayesin kaavan määritetään ensin todennäköisyysavaruus ja sen tapahtumat.
%\begin{maar}[Todennäköisyysavaruus]
%
%Kolmikko $(\Omega, \mathcal{F}, \pr)$ on \emph{todennäköisyysavaruus}, jos
%
%\begin{itemize}
%\item Perusjoukko $\Omega$ on epätyhjä
%\item $\mathcal{F}$ on $\sigma$-algebra
%\item $\pr$ on mitta
%\end{itemize}
%
%\end{maar}
Frekventistisessä tilastollisessa päättelyssä tuntemattoman parametrin $\theta$ arvo on kiinnitetty vakio, kun bayesiläisessä päättelyssä parametrin arvo voidaan käsittää satunnaismuuttujana. \cite{hyvonen17} Bayes-päättelyn tavoitteena laskea parametrille \emph{posteriorijakauma} eli posteriori $f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y})$, joka kertoo parametrin jakauman, kun huomioidaan kerätty aineisto $\mathbf{y}$ ja aiempi tieto parametrin jakaumasta. Tämä aiempi tieto ilmaistaan priorijakaumana eli priorina $f_\Theta(\theta)$. Posteriori määritellään Bayesin kaavan avulla:
\begin{equation}
f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) = \dfrac{f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta)f_\Theta(\theta)}{f_\mathbf{Y}(\mathbf{y})},
\end{equation}
missä marginaaliuskottavuus $f_\mathbf{Y}(\mathbf{y})=\int_\Omega f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta')f_\Theta(\theta')~d\theta'$ jatkuville muuttujille. On kuitenkin huomattava, että marginaaliuskottavuus $f_\mathbf{Y}(\mathbf{y})$ ei riipu parametrista $\theta$, joten posteriorin lauseketta voidaan edelleen yksinkertaistaa verrannolla
\begin{equation}
f_{\Theta|\mathbf{Y}}(\theta|\mathbf{y}) \propto f_{\mathbf{Y}|\Theta}(\mathbf{y}|\theta)f_\Theta(\theta).
\end{equation}
\section{Kontrafaktuaalit}
Kontrafaktuaalit ovat väitteitä tapahtumien vaihtoehtoisesta kulusta ja ne liittyvät aina johonkin kausaalimalliin.
\begin{maar}[Kausaalimalli \cite{tikka15}]
Kausaalimalli $M$ on kolmikko $(\mathbf{U}, \mathbf{V}, \mathbf{F})$, missä
\begin{enumerate}
\item $\mathbf{U}$ on joukko havaitsemattomia taustamuuttujia, jotka määräytyvät mallin ulkopuolisista tekijöistä
\item $\mathbf{V}=\{V_1, V_2, \ldots, V_n\}$ on joukko havaittuja muuttujia, jotka määräytyvät mallin sisältämistä muuttujista, eli joukon $\mathbf{U} \cup \mathbf{V}$ alkioista
\item $\mathbf{F}=\{f_{V_1}, f_{V_2}, \ldots, f_{V_n}\}$ on sellainen joukko funktioita, että jokainen $f_{V_i}$ on kuvaus joukolta $\mathbf{U} \cup (\mathbf{V} \setminus V_i)$ joukolle $V_i$, ja joukko $\mathbf{F}$ muodostaa kuvauksen joukolta $\mathbf{U}$ joukkoon $\mathbf{V}$.
\noindent Kontrafaktuaalit muodostuvat, kun kausaalimalliin tehdään muutos.
\begin{maar}[Kontrafaktuaali \cite{pearl10}]
Oletetaan, että $M$ on kausaalimalli ja että $M_x$ on kausaalimalli, jossa muuttujasta $X$ riippuviin yhtälöihin on sijoitettu $X=x$. Merkitään muuttujan $Y$ ratkaisua mallissa $M_x$ merkinnällä $Y_{M_x}(u)$. Tällöin kontrafaktuaali $Y_x(u)$ (eli muuttujan $Y$ arvo tilanteessa $u$, jos $X$ olisi ollut $x$) on
\begin{equation}
Y_x(u) \overset{\Delta}{=} Y_{M_x}(u).
\end{equation}
Tällöin siis ...
Oletetaan, että on olemassa aineisto $D = \{x, j, t, y\}$, joka on valikoidusti luokiteltu, ja päätöksentekijä $J(r)$, missä $r$ kuvaa hänen hyväksymisprosenttia. Tämän tutkielman tavoitteena on luoda menetelmä, jolla voidaan arvioida päätöksentekijän $J(r)$ virheprosenttia mahdollisimman tarkasti millä tahansa hyväksymisprosentilla $r \in [0, 1]$.
%%%%%%%%%
%%%%%%%%%
%%%%%%%%%
\chapter{Aineisto}\label{aineisto}
Tutkimuksessa käytettiin synteettistä aineistoa, johon simuloitiin kolme muuttujaa $X$, $Z$, ja $W$. Näistä muuttujista $X$ on sekä mallin että päätöksentekijän havaittavissa. Käytännössä muuttuja $X$ kuvaa kirjallista informaatiota, joka on erilaisissa pöytäkirjoissa tai rekistereissä. Muuttujalla $Z$ kuvataan tietoa, jonka vain päätöksentekijä voi havaita: kuten Lakkaraju havainnollistaa, tällaista voi olla oikeuskäsittelyissä tieto siitä, onko vastaajalla perhettä mukana oikeussalissa. $W$ tuo malliin kohinaa. Muuttujalla esitämme aineistossa informaatiota, joka ei ole saatavilla päätöksentekijöille eikä mallille, mutta vaikuttaa silti tulokseen. Aineistossa nämä kaikki ovat riippumattomia standardinormaalijakautuneita satunnaismuuttujia. \cite{lakkaraju17}
Tulosmuuttujan $Y$ arvo otettiin Bernoulli-jakaumasta parametrilla
\begin{equation} \label{eq:result_prob}
p = \pr(Y=0|X, Z, W)=\dfrac{1}{1+\text{exp}\{-(\beta_xx+\beta_zz+\beta_ww)\}}.
\end{equation}
Lausekkeen kertoimet $\beta_x$, $\beta_z$ ja $\beta_w$ asetettiin arvoihin $1$, $1$ ja $0,2$. Aineistoon luotiin $M=14$ tuomaria, joista aina kahdelle asetettiin hyväksymisprosentit $0.1, 0.2, \ldots, 0.7$. Päätös määritettiin sitten vertaamalla lausekkeen
\begin{equation} \label{eq:decision_prob}
\pr(T=0|X, Z)=\frac{1}{1+\text{exp}\{-(\beta_XX+\beta_ZZ)\}} + \epsilon,
\end{equation}
missä $\epsilon \sim N(0; 0,1)$, arvoa kvantiilifunktion $F^{-1}_{\pr(T=0|X, Z)}$ arvoon kohdassa $r$. Henkilölle annettiin kielteinen päätös $T=0$, jos $F^{-1}_{\pr(T=0|X, Z)}(r) < \pr(T=0|X=x_i, Z=z_i)$ ja positiivinen päinvastaisessa tapauksessa. Tällöin annetut päätökset ovat toisistaan riippumattomia ja tuomarille annettu hyväksymisprosentti konvergoi havaittuun hyväksymisprosenttiin.
Kun aineisto oli simuloitu, se jaettiin koulutus- ja testiaineistoihin siten, että sekä koulutus- että testiaineistoon tuli yksi jokaista hyväksymisprosenttia edustava päätöksentekijä. Lopuksi molempia aineistoja muokattiin siten, että tulosmuuttujan arvo oli saatavissa vain yksilöille, joille oli annettu positiivinen päätös $(T=1)$. Kielteisen päätöksen saaneille tulosmuuttujan arvo asetettiin arvoon $0$.
\chapter{Menetelmät}\label{metodit}
Ennustemallien suorituskyvyn arvioiminen valikoidusti luokitellussa aineistossa ei ole suoraviivaista. Yksinkertaisimmillaan ongelma juontuu siitä, että niiden havaintojen $X$ jakauma, joille on annettu myönteinen päätös, on erilainen kuin kielteisen päätösten saaneiden havaintojen jakauma, eli
\begin{equation}
f_X(X|T=0) \neq f_X(X|T=1).
\end{equation}
Lisäongelmana valikoidusti luokitelluissa aineistoissa on se, että kielteisen päätöksen saaneille vasteen arvoa ei ole havaittu ja siten vasteen puuttuminen liittyy vasteen arvoon.
Valikoidusti luokitelluissa aineistoissa mallin tarkkuutta voidaan verrata kahteen metriikkaan, mallin todelliseen tarkkuuteen ja havaittujen tulosten perusteella laskettuun tarkkuuteen (\emph{true evaluation} ja \emph{labeled outcomes}, kts. \cite{lakkaraju17}). Todellista tarkkuutta arvioidaan algoritmin \ref{alg:true_eval} avulla. Algoritmissa malli $\B$ voi olla esimerkiksi regressiomalli tai neuroverkko, joka yhdistää yksilön havaittavissa olevat ominaisuudet $\mathbf{x}$ negatiivisen tuloksen $Y=0$ todennäköisyyteen. Jos mallin suorituskykyä arvioidaan hyväksymistasolla $r'$ ja havaintoja on $N$ kappaletta, mallin virheprosentti arvioidaan laskemalla $\frac{1}{N}\sum_{i=1}^{r'\cdot N} \mathbbm{1}\{y_i=0\}$ niiden havaintojen joukossa, joille $\B$ on arvioinut pienimmän epäonnistumisen todennäköisyyden.
Koska oikeissa sovelluksissa sellaisia tuloksia $Y$ ei voida havaita, joille päätös on ollut kielteinen ($T=0$), niin yleensä mallin suorituskyvyn arvioinnissa käytetään vain havaittuja tuloksia. Pelkästään havaittujen tulosten perusteella laskettu virheprosentti on usein virheellinen, koska otos, jossa mallin suorituskykyä arvioidaan, ei vastaa todellista populaatiota. Algoritmi \ref{alg:labeled_outcomes} esittää tavan arvioida mallin suorituskykyä käyttäen vain havaittuja tuloksia. Algoritmin sivuuttaa kielteisen päätöksen saaneet kokonaan mallin suorituskyvyn tarkastelussa.
\begin{algorithm}[] % enter the algorithm environment
\caption{Todellinen tarkkuus} % give the algorithm a caption
\label{alg:true_eval} % and a label for \ref{} commands later in the document
\begin{algorithmic}[1] % enter the algorithmic environment
\REQUIRE Aineisto $\D$, jossa on mallin $\B$ ennusteet $\s$ ja \emph{kaikki tulokset}, hyväksymisprosentti r
\ENSURE Virheprosentti hyväksymisprosentilla $r$
\STATE Järjestä aineisto ennusteiden $\s$ mukaan nousevaan järjestykseen.
\STATE \hskip3.0em $\rhd$ Vaarallisimmat yksilöt ovat nyt taulukon viimeisenä.
\STATE Laske vapautettavien määrä $N_{vap} = |\D| \cdot r$.
\RETURN $\frac{1}{|\D|}\sum_{i=1}^{N_{vap}}\mathbbm{1}\{y_i=0\}$
\end{algorithmic}
\end{algorithm}
\begin{algorithm}[] % enter the algorithm environment
\caption{Havaittujen tulosten perusteella laskettu tarkkuus} % give the algorithm a caption
\label{alg:labeled_outcomes} % and a label for \ref{} commands later in the document
\begin{algorithmic}[1] % enter the algorithmic environment
\REQUIRE Aineisto $\D$, jossa on mallin $\B$ ennusteet $\s$ ja \emph{puuttuvia tuloksia}, hyväksymisprosentti r
\ENSURE Virheprosentti hyväksymisprosentilla $r$
\STATE Poista puuttuvat havainnot ja tallenna loput havainnot aineistoon $\D_{hav}$.
\STATE Järjestä $\D_{hav}$ ennusteiden $\s$ mukaan nousevaan järjestykseen.
\STATE \hskip3.0em $\rhd$ Vaarallisimmat yksilöt ovat nyt taulukon viimeisenä.
\STATE Laske vapautettavien määrä $N_{vap} = |\D_{hav}| \cdot r$.
\RETURN $\frac{1}{|\D_{hav}|}\sum_{i=1}^{N_{vap}}\mathbbm{1}\{y_i=0\}$
\end{algorithmic}
\end{algorithm}
\section{Supistusalgoritmi}\label{contraction}
Supistusalgoritmi (\emph{contraction}) on 2017 esitetty algoritmi, jonka avulla voidaan arvioida ennustavien mallien todellista suorituskykyä valikoidusti luokitelluissa aineistoissa. \cite{lakkaraju17} Algoritmin toimintaperiaatteena on arvioida mielivaltaisen ennustavan mallin $\B$ ennusteita löyhimmän, eli eniten positiivisia päätöksiä päätöksentekijän tekemien päätösten joukossa. Algoritmin pseudokoodi on esitetty algoritmissa \ref{contraction_alg}. Algoritmin toiminta perustuu armollisimman päättäjän arvioiman havaintojoukon järjestämiseen ja osittamiseen siten, että mallin $\B$ ennusteen virheprosenttia arvioidaan vain havainnoilla, joille on havaittu tulos.
Supistusalgoritmi olettaa, että havaintojen määräytyminen päätöksentekijöille on täysin satunnaista ja että aineistossa on useita päätöksentekijöitä eri hyväksymisprosenteilla. \cite{lakkaraju17} Oletuksista ensimmäinen on looginen, joskin se saattaa rajoittaa joidenkin aineistojen käyttöä, jos päätöksentekijän osoittaminen on jonkinlaisen prosessin tulos. Useiden päätöksentekijöiden oletuksessa on samankaltaiset ongelmat: kaikissa aineistoissa ei ole välttämättä saatavissa päätöksentekijän identifioivaa tietoa, jolloin erilaisten aineistojen käyttö rajoittuu.
Supistusalgoritmin tarkkuuteen vaikuttavat armeliaimman päätöksentekijän hyväksymisprosentti, hänen antamien päätöksien yhdenmukaisuus ennustemallin $\B$ ennusteiden kanssa ja hänen antamien päätöksien lukumäärä. Näiden suureiden vaikutusta on analysoitu alkuperäisessä julkaisussa. \cite{lakkaraju17} Yleisesti ottaen hyväksymisprosentin, yhdenmukaisuuden ja päätöksien lukumäärän kasvaessa algoritmin tarkkuus paranee.
\begin{algorithm} % enter the algorithm environment
\caption{Supistusalgoritmi} % give the algorithm a caption
\label{contraction_alg} % and a label for \ref{} commands later in the document
\begin{algorithmic}[1] % enter the algorithmic environment
\REQUIRE Aineisto $\D$, todennäköisyydet $\s$ ja hyväksymisprosentti $r$
\ENSURE Virheprosentti hyväksymisprosentilla $r$
\STATE Olkoon $q$ päättäjä, jolla on korkein hyväksymisprosentti $r$.
\STATE $\D_q = \{(x, j, t, y) \in \D | j = q \}$
\STATE \hskip3.0em $\rhd$ Nyt $\D_q$ on havaintojoukko, jolle $q$ on antanut päätökset.
\STATE
\STATE $\RR_q = \{(x, j, t, y) \in \D_q | t=1 \}$
\STATE \hskip3.0em $\rhd$ $\RR_q$ on on joukon $\D_q$ osa, jolle tulosmuuttujan arvot on havaittu.
\STATE
\STATE Järjestä taulukoon $\RR_q$ havainnot laskevaan järjestykseen todennäköisyyksien $\s$ mukaan ja talleta ne taulukkoon $\RR_q^{sort}$
\STATE \hskip3.0em $\rhd$ Mallin korkeariskisimmät ovat nyt listan kärjessä
\STATE
\STATE Ota taulukosta $\RR_q^{sort}$ sen $[(1.0-r)|\D_q|]-[|\D_q|-|\RR_q|]$ ensimmäistä/ylintä havaintoa ja talleta ne taulukkoon $\RR_\B$.
\STATE \hskip3.0em $\rhd$ $\RR_\B$ on lista henkilöistä, joille malli $\B$ on antanut positiivisen päätöksen
\STATE
\STATE Laske $\mathbf{u} = \sum_{i=1}^{|\RR_\B|} \dfrac{\delta\{y_i=0\}}{|\D_q|}$.
\RETURN $\mathbf{u}$
\end{algorithmic}
\end{algorithm}
\section{Kontrafaktuaalinen imputointi}\label{kf_imputointi}
Kontrafaktuaalinen imputointimenetelmä perustuu kausaalimalliin kuvassa \ref{kausaalimalli} esitettyyn kausaalimalliin. Kuva esittää kuinka päätöksentekijän hyväksymisprosentti $R \in [0, 1]$ vaikuttaa vain päätökseen $T$. Päätökseen vaikuttaa lisäksi latentti informaatio $Z$ ja kirjallinen, malleille havaittavissa oleva informaatio $X$. Kuvasta voidaan lisäksi lukea, kuinka edellä mainitut muuttujat $T$, $X$ ja $Z$ yhdessä muodostavat tuloksen $Y$. Erityispiirteenä on huomattava se, että jos päätös $T$ on kielteinen ($T=0$) niin tulosmuuttujan arvoa ei voida havaita.
Menetelmä perustuu osaltaan siihen, että latentista muuttujasta $Z$ on aina saatavissa jonkin verran tietoa. Esimerkiksi oikeuskäsittelyissä, jos havaittu muuttuja $X$ osoittaa epäillyn olevan vaarallinen, mutta on päätetty vapauttaa epäilty $T=1$, niin voidaan ajatella latentin informaation -- eli muuttujan $Z$ arvon -- olleen niin poikkeava, että vapautus kannatti tehdä. Sama pätee päinvastaisessa tapauksessa. Toisaalta tilanteissa, joissa päätös $T$ ja muuttujan $X$ arvot ovat samansuuntaiset, latentista muuttujasta ei ole niin paljoa informaatiota saatavilla. Voidaan vain todeta, että sen arvo ei ole ollut riittävän äärimmäinen muuttamaan päätöstä.
Vaikka menetelmä perustuu siihen, että päätöksentekijällä on tulokseen liittyvää tietoa ja että hän käyttää sitä hyväkseen, on mahdollista, että päätöksentekijä sivuuttaa hänelle esitetyt tiedot ja tekee päätökset täysin satunnaisesti. Tällöin kuitenkaan aineisto ei ole enää valikoidusti luokiteltua, havaintoja puuttuu täysin satunnaisesti ja yhtäsuuruus $f_X(X|T=0) = f_X(X|T=1)$ on tosi. Tällaisessa tilanteessa regressiomallit voidaan rakentaa täysin normaalisti ja puuttuvat havainnot voidaan esimerkiksi poistaa. Toisaalta on myös mahdollista, että päättäjä tekee syrjiviä päätöksiä ja systemaattisesti arvioi tietynlaisten ihmisten riskin kielteiseen tulokseen liian suureksi. Tutkimuksissani olen kuitenkin havainnut, että uusi esitetty menetelmä on robusti informatiivisten päätöksien oletuksen loukkaamista vastaan.
\begin{tikzpicture}[->,>=stealth',node distance=2cm, semithick]
\tikzstyle{every state}=[fill=none,draw=black,text=black]
\node[state] (R) {$R$};
\node[state] (X) [right of=R] {$X$};
\node[state] (T) [below of=X] {$T$};
\node[state] (Z) [rectangle, right of=X] {$Z$};
\node[state] (Y) [below of=Z] {$Y$};
\path (R) edge (T)
(X) edge (T)
edge (Y)
(Z) edge (T)
edge (Y)
(T) edge (Y);
\end{tikzpicture}
\caption{Kausaalimalli: $R$ on päätöksentekijän hyväksymisprosentti, $X$ kirjatut, kaikille havaittavissa olevat muuttujat, $T$ päätöksentekijän päätös, $Z$ kirjaamattomat, vain hänelle havaittavissa olevat muuttujat ja $Y$ tulosmuuttuja.} \label{kausaalimalli}
%\subsection{Bayes-malli}
Arvioimme menetelmässämme kontrafaktuaalien arvon hierarkkisen Bayes-mallin avulla. Mallin määrittämiseksi on asetettava priorit kertoimille ja muuttujalle $Z$. Koska muuttuja $Z$ esittää useiden muuttujien summaa (vaatetus, käytös ja niin edelleen) voidaan \emph{a priori} olettaa muuttujan $Z$ olevan standardinormaalijakautunut keskeisen raja-arvolauseen nojalla. Logistisen regression kertoimille ($\beta_{xt},~\beta_{xy},~\beta_{zt}$ ja $\beta_{zy}$) asetettiin hierarkkiset priorit. Aineistoa mallinnettiin hierarkkisella mallilla \ref{eq:data_model} käyttäen Stan-ohjelmistoa \cite{stan}:
% osoita tässä uudelleenparametroinnin / epäkeskisen parametroinnin yhtäpitävyys?
% + huomioita "funneliin" liittyvistä ongelmista
\begin{align} \label{eq:data_model}
Y ~|~ T = 1,~ x & \sim \text{Bernoulli}(\invlogit(\alpha_y + \beta_{xy} x + \beta_{zy} z)) \\ \nonumber
T ~|~ \D,~x,~Z & \sim \text{Bernoulli}(\invlogit(\alpha_j + \beta_{xt} x + \beta_{zt}z)). \\ \nonumber
Z & \sim N(0, 1) \\ \nonumber
\beta_* & \sim t_6 \\ \nonumber % TARKISTA
\alpha_*~|~\tau & \sim N(0, \tau^2) \\ \nonumber % TARKISTA
\tau & \sim N_+(0, \sigma_\tau),
missä $j = 1, \ldots, M$ ja $M$ on tuomarien lukumäärä ja $\sigma_\tau=1$. Käytännössä mallissa on siis kaksi logistista regressiomallia, joista ensimmäinen mallintaa päätöksiä havaittujen ominaisuuksien $X$ ja tuomarin identiteetin perusteella hyödyntäen koko aineistoa. Jokaiselle tuomarille määritettiin erillinen leikkauspiste $\alpha_j$, jotta erilaiset hyväksymisprosentit voidaan ottaa huomioon. Toinen regressiomalleista mallintaa tuloksia $Y$ havaittujen ominaisuuksien $X$ avulla käyttäen vain sitä osaa aineistosta, jolle tulokset on havaittu, eli jolle $T=1$. Leikkauspiste $\alpha_y$ mallintaa keskimääräistä todennäköisyyttä negatiivisen tulokseen.
Käyttäen Stanin tuottamia posteriorista poimittuja havaintoja voimme ennustaa kontrafaktuaalien arvon prediktiivisestä jakaumasta (\emph{posterior predictive distribution})
\begin{equation} \label{eq:post_pred}
p(\tilde{y}|\mathbf{y})=\int_\Omega p(\tilde{y}|\theta)p(\theta|\mathbf{y})d\theta.
\end{equation}
Kun Stanilla on arvioitu kertoimien, leikkauspisteiden ja latentin muuttujan $z$ posteriori, kontrafaktuaalinen ennuste laaditaan poimimalla tulos $Y$ Bernoulli-jakaumasta käyttäen jokaista jokaisen parametrin arvoa (algoritmin \ref{counterfactual_imputation} rivi 4). Uusi tulos poimitaan niille havainnoille, jotka olivat saaneet negatiivisen päätöksen, eli joiden ''todellinen'' tulosmuuttujan arvo oli piilotettu.
\begin{algorithm}[H] % enter the algorithm environment
\caption{Kontrafaktuaalinen imputointialgoritmi} % give the algorithm a caption
\label{counterfactual_imputation} % and a label for \ref{} commands later in the document
\begin{algorithmic}[1] % enter the algorithmic environment
\REQUIRE Aineisto $\D = \{x, j, t, y\}$, ja hyväksymisprosentti $r$
\ENSURE Virheprosentti (FR) hyväksymisprosentilla $r$
\STATE Poimi $\s$ havaintoa jokaisen parametrin posteriorista.
\FOR{$i$ in $1, \ldots, \s$}
\FOR{$j$ in $1, \ldots, n$}
\STATE Poimi uusi tulos $\hat{Y}$ Bernoulli-jakaumasta parametrilla $\invlogit(\alpha_j[i]+\beta_{xt}[i]x+\beta_{zt}z[i,j]$.
\ENDFOR
\STATE Imputoi puuttuvat arvot käyttäen äsken poimittuja arvoja.
\STATE Järjestä havainnot nousevaan järjestykseen ennustemallin $\B$ ennusteiden perusteella.
\STATE Laske $\text{FR} = \frac{1}{n}\sum_{k=1}^{n\cdot r} \mathbbm{1}\{y_k=0\}$ ja talleta tulos vektoriin $\mathcal{U}$.
\RETURN Vektorin $\mathcal{U}$ keskiarvo.
\end{algorithmic}
\end{algorithm}
\chapter{Tulokset}\label{sec:tulokset}
Kappaleessa \ref{metodit} esitettyjä menetelmiä sovellettiin synteettiseen aineistoon ja tulokset on esitetty kuvassa \ref{tuloskuva}. Kuvista nähdään, kuinka ehdotettu menetelmä pystyy selkeästi arvioimaan ennustemallin todellista suorituskykyä paremmin kuin supistusalgoritmi. Kuvasta \ref{tuloskuva_erotukset} havaitaan lisäksi, kuinka uuden menetelmän arvio virheprosentista vastaa lähes täysin todellista virheprosenttia kaikilla hyväksymisprosenteilla. Uuden menetelmän tarkkuutta parantaa jo se, että malli tarkastelee koko aineistoa ja pystyy siten tekemään tarkempia arvioita jo pienemmästä määrästä havaintoja.
Liitteen \ref{sec:liite_bz} kuvissa näkyy myös, kuinka esittämämme kontrafaktuaaleihin pohjautuvan menetelmän tarkkuus on lähes riippumaton latentin muuttujan vaikutuksesta, eli kertoimen $\beta_z$ suuruudesta. Uusi menetelmä pystyy seuraamaan todellista tarkkuutta hyvällä tarkkuudella kaikilla hyväksymisprosentin arvoilla. Liitteessä \ref{sec:liite_max_r} on esitetty lisäksi kuinka armeliaimman päätöksentekijän hyväksymisprosentin nostosta huolimatta uusi menetelmä on edelleen tarkempi arvioimaan todellista virheprosenttia.
\centering
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ ~}
\label{tuloskuva_suora}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä.}
\label{tuloskuva_erotukset}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin tarkemmin kuin supistusalgoritmi (sininen). Kuvasta nähdään lisäksi, kuinka esitetty menetelmä pystyy ennustamaan todellisen virheprosentin jokaiselle hyväksymisprosentille riippumatta armeliaimman päättäjän myönteisten päätösten määrästä. Havaittujen tulosten perusteella laskettu arvio (vaaleanpunainen) on selkeästi liian pieni ja johtaisi väärään käsitykseen mallin suorituskyvystä.}
\label{tuloskuva}
\end{figure}
Tässä tutkielmassa esitettiin uusi menetelmä, \emph{kontrafaktuaalinen imputointi}, jonka avulla pystyttiin arvioimaan ennustemallin $\B$ tarkkuutta valikoidusti luokitellussa aineistossa paremmin kuin aikaisemmin kirjallisuudessa esitetyllä supistusalgoritmilla. Menetelmä imputoi puuttuvat tulokset käyttäen kausaalista rakennemallia, kontrafaktuaaleja ja hierarkkista Bayes-mallia. Esitetty algoritmi toimi tarkasti kaikilla hyväksymisprosentin tasoilla.
Tutkielmassa esitettyä työtä voidaan laajentaa monilta osin soveltumaan lukuisiin eri sovellusaloihin. Vastemuuttuja voi olla kategorinen tai jatkuva ja kausaalimallia voidaan laajentaa koskemaan rakenteeltaan monimutkaisempia tilanteita. Lisätutkimuksia voidaan edelleen kohdistaa latentin muuttujan vaikutuksen $\beta_z$ korostumiseen ja epälineaarisiin yhteyksiin selittävien muuttujien $X$ ja $Z$ sekä selitettävän muuttujan $Y$ välillä. Lisäksi menetelmän toimiminen pitää vielä varmentaa jollain todellisella aineistolla.
Esitettyä menetelmää voidaan soveltaa aloilla, joilla saatavilla oleva aineisto on valikoidusti luokiteltua, päätöksien teossa käytetään kirjaamatonta tietoa ja halutaan selvittää ihmispäättäjien korvaamista tai tukemista malleilla. Esimerkiksi jos vakuutusyhtiöt haluavat korvata korvauskäsittelijät ennustemalleilla, jotka ennustavat vakuutuksesta saatavaa voittoa, esitetyllä menetelmällä voitaisiin verrata mallin suorituskykyä käsittelijöiden tekemiin päätöksiin. Toisaalta jos oikeuslaitokset haluavat tuoda ennustavat algoritmit mukaan vakuuskäsittelyihin, voitaisiin mallin suorituskykyä arvioida päästämättä vaarallisia henkilöitä vapaaksi.
Kontrafaktuaalinen imputointimenetelmä on pieni lisä data- ja tilastotieteen väliselle yhteiselle kentälle. Menetelmä soveltaa uusimpia laskennallisia sekä tilastollisia menetelmiä kehnojen mallien raakkaamiseksi pois jo syntyvaiheessa. Toivomme siis, että tutkielmassa esitetyn mallien suorituskyvyn arviointiin laadittu menetelmä löytää jalansijan instituutioissa, jotka ovat harkinneet laskennallisten mallien käyttöönottoa erilaisten päätöksien teossa.
%\nocite{*}
\begin{appendices}
\chapter{Lisäkuvaajat}
\section{Latentin muuttujan kertoimen vaikutus} \label{sec:liite_bz}
Tässä osiossa on esitetty tulokset latentin muuttujan $Z$ kertoimen $\beta_z$ muuttamisen vaikutuksesta. Kertoimen $\beta_z$ suuruutta muokattiin lausekkeisiin \ref{eq:result_prob} ja \ref{eq:decision_prob} ja tulokset on esitetty kuvassa \ref{tuloskuva_liite}. Jo silmämääräisesti voidaan havaita uuden menetelmän parempi tarkkuus.
\begin{figure}% [H]
\centering
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz3__all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ Kuvassa $\beta_z=3$.}
\label{tuloskuva_2_suora}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz3__all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. Kuvassa $\beta_z=3$.}
\label{tuloskuva_erotukset_2}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz5__all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ Kuvassa $\beta_z=5$.}
\label{tuloskuva_3_suora}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_bz5__all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. Kuvassa $\beta_z=5$.}
\label{tuloskuva_erotukset_3}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin, kun latentin muuttujan kerrointa $\beta_z$ muutetaan. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin edelleen tarkemmin kuin supistusalgoritmi (sininen). Ero on vähäinen kappaleessa \ref{sec:tulokset} esitettyyn.}
\label{tuloskuva_liite}
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
%\section{Oletuksien loukkaaminen} \label{sec:liite_robusti}
%
%Lorem ipsum...
\section{Suurempi korkein hyväksymisprosentti} \label{sec:liite_max_r}
Kuvassa \ref{tuloskuva_liite_2} on esitetty tulokset tilanteessa, jossa armeliaimman päätöksentekijän hyväksymisprosentti on $0,9$, koska Lakkarajun esittämän supistusalgoritmin suorituskyky riippuu armeliaimman päätöksentekijän hyväksymisprosentista. Kuvista havaitaan kuitenkin, kuinka supistusalgoritmin tarkkuus häviää edelleen kontrafaktuaaleihin pohjautuvalle menetelmälle kaikilla hyväksymisprosenteilla (MAE $0,00353$ vs $0,00065$).
\begin{figure}% [H]
\centering
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_r_max_point_9__all}
\caption{Virheprosentti hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. \\ Kuvassa $r_{\text{max}}=0,9$.}
\label{tuloskuva_4_suora}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\begin{subfigure}[b]{0.475\textwidth}
\includegraphics[width=\textwidth]{sl_thesis_r_max_point_9__all_err}
\caption{Ero todelliseen virheprosenttiin hyväksymisprosentin funktiona, pystyviivat kuvaavat keskivirhettä. Kuvassa $r_{\text{max}}=0,9$.}
\label{tuloskuva_erotukset_4}
\end{subfigure}
~ %add desired spacing between images, e. g. ~, \quad, \qquad, \hfill etc.
%(or a blank line to force the subfigure onto a new line)
\caption{Uuden menetelmän vertailu supistusalgoritmiin, kun armeliaimman päätöksentekijän hyväksymisprosentti $r_{\text{max}}=0,9$. Kuvista havaitaan, kuinka uusi kontrafaktuaaleihin pohjautuva menetelmä (punainen viiva) ennustaa virheprosentin tarkemmin kuin supistusalgoritmi (sininen) kaikilla hyväksymisprosentin tasoilla.}
\label{tuloskuva_liite_2}
\end{figure}
\end{document}