Koe ja todistus: miten osaaminen todennetaan, ja miksi tekoälyn arvio ei kelpaa todistukseen
CoreSkillsin todistus perustuu monivalintakokeeseen, jonka kysymykset ihminen on hyväksynyt. Tekoälyopettaja ei vaikuta kokeeseen. Näin koe ja todistus toimivat.
· 4 min lukuaika
Lyhyesti
CoreSkillsissä osaaminen varmistetaan kahdessa vaiheessa, jotka on erotettu toisistaan tarkoituksella. Koulutus kirjaa taidon, kun sen viimeinen vaihe on tehty. Sertifioivan opintopolun koe avautuu, kun kaikki vaaditut taidot on kirjattu. Koe on monivalintakoe, jonka pisteytys on deterministinen: oikeat vastaukset lasketaan, eikä mikään malli arvioi niitä. Ihminen on hyväksynyt jokaisen kysymyksen, ja todistus perustuu vain kokeeseen. Tekoälyopettaja, harjoittelu ja osaamiskartoituksen haastattelu ovat oppimista varten. Ne eivät vaikuta todistukseen. Todistus on voimassa 12 kuukautta, ja sen voi tarkistaa tunnisteella julkisella sivulla.
Taito kirjautuu koulutuksesta
Opintopolku on joukko taitoja ja kullekin taidolle vaadittu taso yhdestä neljään. Taito kertyy koulutuksista: kun koulutuksen viimeinen vaihe on tehty, taito kirjautuu sillä tasolla, jota koulutus opettaa. Taso ei koskaan laske, eikä oppijan itse tekemä asetus korvaa sitä.
Tasojen 3 ja 4 koulutuksissa on tehtävä. Tehtävä on tehty, kun vastaus on palautettu. Arvioijan hyväksyntää ei tarvitse odottaa. Tämä on tietoinen valinta. Tasot 3 ja 4 tarkoittavat, että henkilö vastaa asiasta ja ohjaa muita tai ratkaisee rajatapaukset. Siksi tällaista tasoa ei kirjata pelkällä klikkauksella. Hidas arvioija tai organisaatio, jolla ei ole arvioijaa, ei silti saa pysäyttää ketään kesken opintopolun.
CoreSkillsin opintopolkuihin kelpaavat vain CoreSkillsin kirjaston koulutukset. Organisaation omat koulutukset kertyvät organisaation omiin opintopolkuihin. Näin todistus tarkoittaa samaa jokaisella asiakkaalla.
Koe
Koe avautuu, kun kaikki opintopolun vaatimat taidot on kirjattu. Lisäksi kysymyspankissa on oltava kokeen kielellä hyväksyttyjä kysymyksiä vähintään kaksi kertaa kokeen verran. Koe on sillä kielellä, jonka oppija on valinnut asetuksissa, jos opintopolkua tarjotaan tällä kielellä. Muussa tapauksessa koe on opintopolun omalla kielellä. Jos kysymyksiä ei ole riittävästi, koe ei aukea, ja sivu kertoo sen.
Jokainen koe on samanmuotoinen. Siinä on kolme osaa. Jokaisessa osassa on kymmenen kysymystä ja kuusi minuuttia aikaa. Osat voi tehdä eri päivinä. Aika alkaa, kun osa avataan. Vastaukset tallentuvat sitä mukaa kuin oppija vastaa niihin. Jos aika loppuu, osa arvioidaan tallennettujen vastausten perusteella. Koe arvioidaan kokonaisuutena, kun kaikki osat on tehty. Vastaamaton kysymys lasketaan vääräksi. 75 prosentin rajalla tarvitaan 23 oikeaa vastausta 30:stä, ja 80 prosentin rajalla tarvitaan 24. Jos koe ei mene läpi, sen voi tehdä heti uudelleen.
Kysymykset arvotaan niin, että jokaisesta opintopolun taidosta tulee vähintään yksi kysymys. Vastuuhenkilön opintopolku vaatii enemmän korkeammalla kynnyksellä ja tasolla, ei pidemmällä kokeella.
Kysymyspankki, jota koulutus ei näytä
Koekysymykset eivät ole oppitunnin tarkistuskysymyksiä. Ne kirjoitetaan koulutusten tekstistä erilliseen pankkiin osaamisalueittain. Niitä ei näytetä koulutuksen aikana. Jokaisen kysymyksen on hyväksynyt ihminen. Hyväksyjän nimi ja hyväksynnän aika on tallennettu. Tekoäly voi hyväksyä kysymyksen omien hyväksymisvaiheidensa kautta osaamisesta, jota mikään todistukseen johtava opintopolku ei vaadi. Koe ei kuitenkaan koskaan kysy tällaista kysymystä. Jos osaaminen otetaan myöhemmin opintopolkuun, sen kysymykset tarkistaa ensin ihminen.
Kysymys viittaa pykälään. Kun säädöksestä tulee uusi versio, muuttuneeseen kohtaan nojaavat kysymykset merkitään tarkistettaviksi. Koe ei kysy niitä ennen kuin ihminen on tarkistanut ne. Eri kielten kysymykset kirjoitetaan erikseen samasta aineistosta. Niitä ei käännetä. Jokaisen kielen kysymykset tarkistetaan sillä kielellä.
Todistus ja sen tarkistus
Kun oppija on läpäissyt kokeen, hän lunastaa todistuksen. Todistusta ei myönnetä automaattisesti. Lunastus on oppijan oma teko. Se edellyttää, että vaatimukset täyttyvät ja koe on läpäisty. Todistus on voimassa 12 kuukautta lunastuksesta. Kun voimassaoloaikaa on jäljellä alle 60 päivää, todistus näkyy vanhenevana. Todistus uusitaan tekemällä koe uudelleen, ja uusi todistus korvaa vanhan.
Jokaisella todistuksella on luettava tunniste, esimerkiksi CS-4KRT-9WQM-2FHD. Tulosta avaa todistuksen A4-arkkina, jossa ovat tunniste ja tarkistusosoite. Tarkista avaa julkisen sivun. Siellä kuka tahansa voi tarkistaa tunnisteella, onko todistus voimassa, kenelle se on myönnetty, mistä opintopolusta ja milloin se vanhenee. Todistuksia ei voi selata eikä hakea nimellä. Tiedot näkyvät vain sillä tunnisteella, jonka todistuksen haltija on itse antanut. Todistus, jota kukaan ei voi tarkistaa, olisi koriste.
Työnantaja näkee todistukset organisaation raporteista: kuka on sertifioitu, kuka on valmiina kokeeseen ja kenen todistus on vanhenemassa. Siitä kerrotaan artikkelissa Koulutusnäyttö valvojalle.
Miksi tekoälyn arvio ei kelpaa todistukseen
CoreSkillsissä on tekoälyopettaja, jonka kanssa tehtävän voi käydä läpi. Sen rinnalla ovat moduulin harjoittelukeskustelu ja osaamiskartoituksen haastattelu, jotka ovat omia keskustelujaan. Mikään niistä ei kirjaa taitoa eikä vaikuta kokeeseen tai todistukseen. Tämä on tuotteen perusratkaisu, ja sille on kaksi syytä.
Ensimmäinen syy on luotettavuus. Tekoälyn tekemää arviota voi huijata tekoälyllä. Sama malli, joka arvioi vastauksen, osaa myös kirjoittaa sen. Jos todistus perustuisi tekoälyn arvioon, se ei kertoisi valvojalle, osaako henkilö asian. Se kertoisi, osaako henkilö käyttää kielimallia. Deterministinen koe, jossa kysymykset ovat ihmisen hyväksymiä, kertoo sen, mitä kysytään.
Toinen syy on tekoälyasetus. Sen liitteessä III suuririskisiin käyttötarkoituksiin luetaan tekoälyjärjestelmät, joita käytetään työsuhteessa olevien henkilöiden suorituksen ja käyttäytymisen arviointiin. Työntekijän osaamisen arviointi tekoälyllä ja siitä seuraava todistus olisi juuri tätä. Se toisi työnantajalle suuririskisen järjestelmän käyttöönottajan velvoitteet. CoreSkills ei tee niin: tekoäly opettaa ja ehdottaa, ihminen vastaa ja päättää, ja koe todentaa.
Sama raja koskee itsearviota. Osaamiskartoituksen haastattelussa tekoäly ehdottaa tasoja. Vain henkilön oma vahvistus tallentaa ne. Ne tallentuvat omaksi arvioksi, joka ohjaa suosituksia mutta ei koskaan todistusta.
Opintopolku ilman koetta
Kaikki opintopolut eivät pääty kokeeseen. Sertifioiva opintopolku päättyy kokeeseen ja todistukseen. Muu opintopolku on suoritettu, kun sen koulutukset on suoritettu, ja suoritus näkyy koulutusnäytössä. Organisaation omat opintopolut voivat olla kumpaa tahansa. Ero näkyy raportissa: siinä lukee joko suoritus tai todistus tunnisteineen.
Usein kysyttyä
Millainen CoreSkillsin koe on?
Kokeessa on kolme osaa. Jokaisessa osassa on kymmenen monivalintakysymystä ja kuusi minuuttia aikaa. Osat voi tehdä eri päivinä, ja vastaukset tallentuvat sitä mukaa. Koe arvioidaan kokonaisuutena: 75 prosentin rajalla tarvitaan 23 oikeaa vastausta 30:stä, 80 prosentin rajalla 24. Jos koe ei mene läpi, sen voi tehdä uudelleen heti.
Mistä koekysymykset tulevat?
Koe perustuu erilliseen kysymyspankkiin. Kysymykset on kirjoitettu koulutusten tekstistä taidoittain. Kysymyksiä ei näytetä koulutuksen aikana, ja jokaisen kysymyksen on hyväksynyt ihminen. Koe ei koskaan esitä kysymystä, jonka vain tekoäly on hyväksynyt. Se ei myöskään esitä kysymystä, joka on merkitty tarkistettavaksi lakimuutoksen jälkeen.
Kauanko todistus on voimassa ja miten se tarkistetaan?
Todistus on voimassa 12 kuukautta lunastuksesta. Se näkyy vanhenevana, kun aikaa on jäljellä alle 60 päivää. Todistus uusitaan tekemällä koe uudelleen. Jokaisella todistuksella on tunniste. Sen avulla kuka tahansa voi tarkistaa julkisella sivulla, onko todistus voimassa, kenelle se on myönnetty ja mistä opintopolusta.
Vaikuttaako tekoälyopettajan kanssa käyty keskustelu todistukseen?
Ei. Opettaja, harjoittelu ja osaamiskartoitushaastattelu eivät vaikuta taitoihin, kokeeseen eivätkä todistuksiin. Todistus perustuu vain kokeeseen. Raja on tarkoituksellinen. Tekoälyn arviota voi huijata tekoälyllä. Lisäksi työntekijän arviointi tekoälyllä on tekoälyasetuksessa suuririskistä käyttöä.