Mistä tekoälyn vinouma tulee?

Datasta, jolla malli on koulutettu, ja tavoitteesta, johon se on viritetty. Jos rekrytointimalli oppii aiemmista valinnoista, se oppii myös ne perusteet, joilla aiemmin valittiin, sukupuoli, ikä ja nimi mukaan lukien, vaikka niitä ei annettaisi sille suoraan: ne näkyvät välillisesti harrastuksissa, työhistorian aukoissa ja sanavalinnoissa. Vinouma ei siis ole mallin virhe vaan sen ominaisuus, ja se havaitaan vain mittaamalla tuloksia ryhmittäin.

Saako rekrytointipäätöksen tehdä kokonaan tekoälyllä?

Tietosuoja-asetuksen 22 artiklan mukaan henkilöllä on oikeus olla joutumatta sellaisen päätöksen kohteeksi, joka perustuu pelkästään automaattiseen käsittelyyn ja vaikuttaa häneen merkittävästi. Rekrytointipäätös on tällainen. Poikkeukset ovat sopimuksen tekemisen välttämättömyys, nimenomainen suostumus ja laki. Sopimus- ja suostumusperusteessa henkilöllä on oltava vähintään oikeus vaatia ihmisen osallistumista, esittää kantansa ja riitauttaa päätös; lakiperusteessa suojatoimet säädetään siinä laissa. Käytännössä tekoäly voi seuloa ja ehdottaa, mutta ihminen päättää, ja hänen on oikeasti arvioitava eikä vain hyväksyttävä.

Mitä työnantaja voi tehdä, kun järjestelmä on ostettu valmiina?

Pyytää tarjoajalta 13 artiklan mukaiset käyttöohjeet ja tiedot datasta ja testatusta suorituskyvystä eri ryhmissä; testata järjestelmää omalla aineistollaan ennen käyttöä ja mitata, eroavatko tulokset sukupuolen, iän tai kielen mukaan; järjestää ihmisvalvonta niin, että valvoja voi ja osaa ohittaa suosituksen; seurata tuloksia käytön aikana ryhmittäin; ja kertoa hakijoille, että järjestelmää käytetään. Syrjintäkiellot sitovat työnantajaa riippumatta siitä, kuka mallin teki.

Tekoälyn vinoumat rekrytoinnissa ja HR:ssä: mistä syrjintä tulee ja mitä laki vaatii

Q: Mitä tekoälyasetus vaatii vinoumien osalta?

Korkean riskin järjestelmien, joihin rekrytoinnin ja työnjohdon järjestelmät kuuluvat, tarjoajan on 10 artiklan mukaan sovellettava koulutus-, validointi- ja testausdataan hallintakäytäntöjä, joihin kuuluu mahdollisten vinoutumien selvittäminen, erityisesti sellaisten, jotka johtavat unionin oikeudessa kiellettyyn syrjintään, sekä toimenpiteet niiden havaitsemiseksi, ehkäisemiseksi ja lieventämiseksi. Datan on oltava käyttötarkoitukseen nähden merkityksellistä, edustavaa ja mahdollisimman virheetöntä. Käyttöönottajan on 26 artiklan mukaan varmistettava omien syöttötietojensa merkityksellisyys ja järjestettävä ihmisvalvonta.

Tekoäly oppii datasta, ja data kantaa menneisyyden valinnat. Mitä tekoälyasetuksen 10 artikla vaatii datasta, mitä GDPR:n 22 artikla päätöksistä ja mitä työnantaja voi tehdä.

Lyhyesti

Tekoäly ei syrji tahallaan, vaan oppii syrjimään datasta, joka kantaa menneisyyden valinnat. Rekrytoinnissa, työnjohdossa ja etuuskäsittelyssä tämä on sekä tekoälyasetuksen että syrjintälainsäädännön kysymys. Tekoälyasetus luokittelee rekrytoinnin ja työnjohdon järjestelmät korkean riskin järjestelmiksi ja vaatii niiden tarjoajalta 10 artiklassa datan hallintaa, johon kuuluu vinoutumien selvittäminen ja lieventäminen; tietosuoja-asetuksen 22 artikla rajoittaa pelkästään automaattisia merkittäviä päätöksiä; yhdenvertaisuuslaki ja tasa-arvolaki kieltävät syrjinnän työelämässä riippumatta siitä, teki valinnan ihminen vai malli. Työnantaja, joka ostaa järjestelmän valmiina, ei osta vastuuta pois.

Mistä vinouma tulee

Kielimalli ja luokittelija oppivat esimerkeistä. Jos rekrytointimalli koulutetaan organisaation aiemmilla hakemuksilla ja niiden lopputuloksilla, se oppii ennustamaan, kenet olisi aiemmin valittu. Se oppii samalla kaiken, mikä aiempiin valintoihin vaikutti: alan sukupuolijakauman, iän, nimen tuttuuden, koulutuksen prestiisin. Näitä ei tarvitse antaa mallille suoraan. Ne näkyvät välillisesti harrastuksissa, työhistorian aukoissa, sanavalinnoissa ja oppilaitosten nimissä, ja malli löytää ne, koska ne ennustavat lopputulosta.

Toinen lähde on tavoite. Malli, joka optimoi "menestyy tehtävässä", mittaa menestystä sillä, mitä datassa on: ehkä pysyvyyttä, ehkä esihenkilön arvioita, ehkä ylennyksiä. Jokainen näistä mittareista kantaa omat vinoumansa. Kolmas lähde on edustavuus: jos jostakin ryhmästä on vähän esimerkkejä, malli ennustaa heitä huonommin, ja huono ennuste näyttää hylkäykseltä.

Vinouma ei siis ole bugi, joka korjataan kertaalleen, vaan ominaisuus, joka havaitaan mittaamalla tuloksia ryhmittäin ja hallitaan jatkuvasti. Siksi laki puhuu datan hallinnasta eikä vinoumattomuudesta.

Mitä tekoälyasetus vaatii

Rekrytointi, valinta, työnjohdon päätökset ja työsuorituksen arviointi ovat liitteen III korkean riskin käyttöaloja. Niiden järjestelmien tarjoajaa sitoo 10 artikla datasta ja datanhallinnasta. Sen 2 kohdan mukaan koulutus-, validointi- ja testausdatajoukkoihin on sovellettava käyttötarkoitukseen soveltuvia hallintakäytäntöjä, joihin kuuluvat muun muassa datan keruuprosessit ja alkuperä, oletusten muotoilu siitä, mitä datan on tarkoitus mitata, ja erityisesti f ja g alakohtien mukaan sellaisten mahdollisten vinoutumien selvittäminen, jotka todennäköisesti vaikuttavat terveyteen ja turvallisuuteen, perusoikeuksiin tai johtavat unionin oikeudessa kiellettyyn syrjintään, sekä toimenpiteet niiden havaitsemiseksi, ehkäisemiseksi ja lieventämiseksi. Artiklan 3 kohdan mukaan datan on oltava merkityksellistä, riittävän edustavaa ja mahdollisimman virheetöntä ja täydellistä, tarvittaessa myös niiden henkilöryhmien osalta, joihin järjestelmää on tarkoitus käyttää.

Artiklan 5 kohta sallii tarjoajan poikkeuksellisesti käsitellä erityisiä henkilötietoryhmiä, kuten etnistä alkuperää, vinoumien havaitsemiseksi ja korjaamiseksi, tiukoin ehdoin: vain jos sama ei onnistu muulla datalla, pseudonymisoituna, pääsyä valvoen, luovuttamatta eteenpäin ja poistamalla tiedot, kun vinouma on korjattu. Tämä on tärkeä yksityiskohta: vinoumaa ei voi mitata, jos ryhmää ei saa tunnistaa, ja asetus ratkaisee ristiriidan sallimalla mittauksen rajatusti.

Käyttöönottajan, siis työnantajan, velvoitteet ovat 26 artiklassa: käyttö ohjeiden mukaan, ihmisvalvonta päteville ja koulutetuille henkilöille, syöttötietojen merkityksellisyys siltä osin kuin käyttöönottaja niitä hallitsee, toiminnan seuranta ja työntekijöille kertominen ennen käyttöä. Siitä kerrotaan artikkelissa Korkean riskin tekoäly. Velvoitteita sovelletaan liitteen III järjestelmiin 2.12.2027 alkaen, mutta syrjintäkiellot ovat voimassa nyt.

Mitä tietosuoja-asetus vaatii

Tietosuoja-asetuksen 22 artiklan 1 kohta antaa rekisteröidylle oikeuden olla joutumatta sellaisen päätöksen kohteeksi, joka perustuu pelkästään automaattiseen käsittelyyn, kuten profilointiin, ja jolla on häntä koskevia oikeusvaikutuksia tai joka vaikuttaa häneen vastaavalla tavalla merkittävästi. Rekrytointipäätös, irtisanominen ja etuuspäätös ovat tällaisia.

Artiklan 2 kohdan poikkeukset ovat sopimuksen tekemisen tai täytäntöönpanon välttämättömyys, laki, joka säätää suojatoimista, ja nimenomainen suostumus. Sopimukseen ja suostumukseen perustuvissa poikkeuksissa 3 kohta vaatii asianmukaiset toimenpiteet: vähintään oikeuden vaatia, että tiedot käsittelee ihminen, oikeuden esittää kantansa ja oikeuden riitauttaa päätös. Lakiin perustuvassa poikkeuksessa suojatoimet vahvistetaan siinä laissa, joka päätöksen sallii. Artiklan 4 kohta kieltää tällaiset päätökset erityisten henkilötietoryhmien perusteella lähes kokonaan.

Rekrytoinnissa, jota mikään laki ei erikseen salli automatisoitavaksi, tämä tarkoittaa, että tekoäly saa seuloa, järjestää ja ehdottaa, mutta päätöksen tekee ihminen, ja ihmisen on oikeasti arvioitava. Valvoja, joka hyväksyy jokaisen suosituksen tarkistamatta, ei ole ihmisvalvonta vaan kumileimasin, ja silloin päätös on tosiasiassa pelkästään automaattinen. Rekisteröidyn oikeuksista kokonaisuutena kerrotaan artikkelissa Rekisteröidyn oikeudet.

Syrjintäkielto ei katso, kuka päätti

Yhdenvertaisuuslaki (1325/2014) kieltää syrjinnän muun muassa iän, alkuperän, kielen, uskonnon, vakaumuksen, terveydentilan ja vammaisuuden perusteella, myös työhönotossa, ja tasa-arvolaki (609/1986) kieltää sukupuoleen perustuvan syrjinnän työelämässä. Molemmat sitovat työnantajaa riippumatta siitä, tekikö valinnan ihminen, taulukko vai malli. Välillinen syrjintä, jossa näennäisesti neutraali peruste asettaa jonkin ryhmän epäedulliseen asemaan ilman hyväksyttävää syytä, on juuri se, mitä vinoutunut malli tuottaa.

Työnantaja ei voi vedota siihen, ettei tiennyt, miten malli päätti. Siksi tekoälyasetuksen 13 artiklan mukaiset tarjoajan käyttöohjeet ja tiedot suorituskyvystä eri ryhmissä ovat työnantajalle tärkeät: ne ovat se, millä hän voi osoittaa arvioineensa järjestelmää ennen käyttöä.

Mitä työnantaja tekee

Vaihe	Toimenpide	Peruste
Ennen hankintaa	Pyydetään tarjoajalta 13 artiklan käyttöohjeet, tiedot koulutusdatasta ja testatusta suorituskyvystä ryhmittäin	Tekoälyasetus 10, 13 art.
Ennen käyttöä	Testataan omalla aineistolla: eroavatko tulokset sukupuolen, iän tai kielen mukaan	Yhdenvertaisuuslaki, tasa-arvolaki
Ennen käyttöä	Tietosuojan vaikutustenarviointi ja julkishallinnossa perusoikeusvaikutusten arviointi	Tietosuoja-asetus 35 art., tekoälyasetus 27 art.
Ennen käyttöä	Kerrotaan työntekijöiden edustajille ja hakijoille	Tekoälyasetus 26(7), 26(11) art.
Käytössä	Ihmisvalvonta, jolla on aikaa, osaaminen ja valtuus ohittaa suositus	Tekoälyasetus 26(2), tietosuoja-asetus 22(3) art.
Käytössä	Seurataan tuloksia ryhmittäin ja kirjataan poikkeamat	Tekoälyasetus 26(5) art.

Taitokatalogimme pitää tekoälyn vinoumia ja syrjimättömyyttä tekoälyvastaavan tason 3 taitona, ja se on yksi Tekoälyvastaavan osaaminen -opintopolun vaatimuksista. Tekoälyvastaavan roolista kerrotaan artikkelissa Kuka organisaatiossa vastaa tekoälyn käytöstä?. Rekrytoinnin tekoäly on myös se kohta, jossa käyttöpolitiikan raja "mitä ei saa tehdä ilman erillistä arviointia" tulee vastaan ensimmäisenä; politiikasta kerrotaan artikkelissa Tekoälyn käyttöpolitiikka työpaikalle.